DGC可管理哪些数据源类型
数据湖探索(Data Lake Insight,简称DLI)是一款大数据分析工具,提供标准SQL,完全兼容Spark接口,支持自动弹性扩展,云上多数据源联邦分析,提供资源和数据细粒度管控的多租户能力,广泛应用于IoT,互联网,游戏等行业统计报表,行为日志分析,历史数据查询审计等场景
CDM产品文档 新手入门 创建数据迁移任务 常见问题 CDM可以迁移哪些业务数据? 查看更多 收起 产品新特性 为您推荐 API 通过HTTP/HTTPS调用API的方式来使用CDM 地区和终端节点 华为云当前可服务节点区域和各服务的Endpoint 服务论坛 欢迎讨论CDM服务使用过程中遇到的问题
程也不具备在线能力。通过磁盘扩容可快速缓解存储资源瓶颈现象,操作过程中无需暂停业务,并且不会造成CPU、内存等资源浪费。用户可在没有其他业务情况下选择磁盘扩容操作,扩容成功后可以继续磁盘扩容,若扩容失败用户可尝试重新进行磁盘扩容操作。 7)资源管理 当您有多个数据库用户同时查询作
数据治理运营过程可视,拖拉拽配置,无需编码 数据资产管理可视,支持钻取、溯源等 多层面数据安全防护,保障数据可审计、可回溯 多层面数据安全防护,保障数据可审计、可回溯 统一安全认证,数据全周期分类管理,保障数据隐私合规 基于角色的访问控制,支持细颗粒度权限策略,可满足不同的授权需求 覆盖端到端业务场景,满足千行百业业务需求
移动互联网、IoT场景下会产生大量实时数据,为了快速获取数据价值,需要对数据进行实时分析,DWS的快速入库和查询能力可支持实时数据分析 优势 流式数据实时入库 IoT、互联网等数据经过流计算及AI服务处理后,可实时写入DWS 实时监控与预测 围绕数据进行分析和预测,对设备进行监控,对行为进行预测,实现控制和优化
云客服 CEC产品类型 云客服 CEC产品类型 坐席产品 描述 电销型坐席 适用于客服、呼叫中心 外呼任务管理、外呼号码导入、人工语音外呼、自动语音呼出(包括预测外呼)、外呼数据统计、录音 基础型坐席 适用于大多数电销行业 语音呼入、人工语音呼出、排队路由、通话控制、软电话、录音
。用户通过画布可实现对组件布局编排、样式配置以及数据源与图表之间绑定 画布、可视化界面编辑器和所见及所得的大屏编辑区域,是数据湖可视化最主要的功能区域。用户通过画布可实现对组件布局编排、样式配置以及数据源与图表之间绑定 公开与加密发布 开发过程支持预览,开发完成后可支持公开与加密发布
控制台 文档 需求管理 CodeArts Req(原ProjectMan)是华为多年研发实践沉淀的需求管理与团队协作服务,内置多种开箱即用的场景化需求模型和对象类型(需求/缺陷/任务等),可支撑IPD、DevOps、精益看板等多种研发模式,还包含跨项目协同、基线与变更管理、自定义报表、Wiki在线协作、文档管理等功能。
批量发起迁移任务 优势 资源分组 将资源进行分组,可快速为分组内的资源创建迁移任务。 工作流模板 提供由实践总结而来的迁移工作流模板,可以根据不同迁移场景,灵活添加脚本,实施批量迁移。 自定义迁移步骤 在迁移工作流标准模板上,可自行添加工作流阶段、工作流步骤。 搭配使用 主机迁移服务
功 支持区域:全部 创建代码检查任务 执行代码检查任务 查看代码检查详情 计费说明 代码检查是软件开发生产线CodeArts中的一个服务,可单独购买使用,也可以开通CodeArts基础版或购买CodeArts专业版即可使用代码检查服务。 支持区域:全部 代码检查计费说明 规则集设置
基于华为云数据治理平台DGC服务,并融合国双团队专业化的数据治理规划、咨询、实施、部署、运维、培训及运营服务。以完善的数据治理策略为根基,对接各类数据源实现跨数据源的查询、建模、预计算,通过丰富的可视化组件进行数据展示和交互式分析,结合人工智能对数据进行深入挖掘。 提供从数据采集
本商品提供一本适用于个人、中小型企业的一种HTTPS加密访问为主的一款商用类型数字证书,让用户用得起,也可以解决主要的一些问题,让网站可以尽快的投入HTTPS加密访问系列中来。 含发票,1-15签发,官方自营,包安装
号验证、汽车维修、车辆保险、企业查询、企业验证、快递查询、天气详情、条码查验、自动开票、短链生成 等环节。可返回银行卡归属地信息,可查询银行卡风险类型,可判断银行卡账户类型
华为云数据治理高级工程师培训面向需要了解数据治理理论,使用华为数据湖治理中心 DGC进行数据治理、建模及集成的工程师。课程内容:深入讲解华为云数据湖治理中心 DGC产品知识及特性,提供数据治理概述指导,数据治理技术指导,使用DGC进行任务调度与编排、案例实战等。规格:培训时长5天,每班最大人数20人 开发者认证培训1
项的分布、使用情况,如:身份证信息分布在系统的哪些位置、使用热度情况。产品功能:数据库管理:AiSort支持数据源手动添加和自动发现两种模式,数据源手工添加可针对不同的数据源添加附加信息,包括业务系统名称、所属部门、所属责任人;数据源自动发现基于网络嗅探技术进行周期性探测,在指定
全组端口80是否打开,参考:华为云安全组设置常见问题1. 已有服务器,怎么使用Kodbox 可道云 镜像?登录云控制台,对服务器进行【切换操作系统】操作,切换过程中在【市场镜像】搜索 可道云 或 kod2. 服务器购买方式是使用【推荐配置】还是【自定义云主机】?推荐配置仅供参考,建议通过【自定义云主机】购买服务器基于
管理设计制造知识:3DDFM提供了知识获取的框架,企业可定制自己的知识以及工程师的产品设计实践经验,实现知识共享与传承。详细功能: 3DDFM系统主要分成四大模块: 1、制造规则知识库:该模块进行制造规则知识的管理,包括系统内置知识
调度执行。运行状态:查看所有交换任务的执行状态,统计传输记录数,排查任务日志。管理:包含数据源系统管理、组织管理、权限管理、用户管理、命名空间等平台管理功能平台易扩展,根据系统业务量可伸缩任务执行引擎节点,实时传输,在内存中同时完成读取和写入,高性能,支持并发读写
统连接学生、家长、老师和学校管理端;实现线上报名、上课管理、智能排班、教学管理、系统报表,实现精细化管理,推动业务发展。 同时通过标准化APP校区管理实施,可迅速复制管理其他校区教学管理,实现教育机构快速拓展的过程中,软件管理可复制性,从而大大提高管理效率。 方案核心功能 课程购
靠性,可拓展能力。 仅限 RDS for SQL Server使用。 ①RDS for SQL Server 2019企业版和2017企业版支持只读实例。 ②用户可以在云数据库RDS系统中自助创建及管理各种数据库引擎的实例。 ③不同实例类型之间的区别和功能对比请参考产品类型简介。
网络隔离。虚拟私有云允许租户通过配置虚拟私有云入站IP范围,来控制连接数据库的IP地址段。云数据库RDS实例运行在租户独立的虚拟私有云内,可提升云数据库RDS实例的安全性。您可以综合运用子网和安全组的配置,来完成云数据库RDS实例的隔离。 访问控制 通过主/子帐号和安全组实现访问
分析服务。企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值 数据仓库服务 数据仓库服务 GaussDB(DWS)实时、简单、安全可信的企业级融合数据仓库,可借助DWS Express将查询分析扩展至数据湖。基于华为GaussDB
· 非共享云硬盘只可以挂载至1台云服务器。 详细内容可参见挂载非共享云硬盘 挂载共享云硬盘 单独购买的云硬盘为数据盘,可以在云硬盘列表中看到磁盘属性为“数据盘”,磁盘状态为“可用”。此时需要将该数据盘挂载给云服务器使用。 详细内容可参见挂载共享云硬盘 收起 展开 初始化数据盘 收起
十、好会计:税务管理-运输服务抵扣表 1、发票管理模块的费用类型发票,可以统计在运输服务抵扣表中。 2、现更新发票模块后,费用票在【发票管理】【发票】【费用小票】界面查看操作。 温馨提醒:费用小票【新增】功能搬家啦,请到【发票管理】-【费用小票页签】新增。 十一、好会计:税务管理-税务风险检测
搭建“营-销 服”一体化管理CRM平台,涵 盖客户分级分类管理、精细化Pipeline管理,POC测试管理等功能,助力企业实现赢盈并重, 风险可控。 工业自动化 实现企业业务流程数字化,优化项目管理能力,提升商务协作效率,构建智能制造服务体系,实现企业可持续健康发展。 快消品 通过渠道精耕、渠道赋能
DSC支持管理OBS、数据库、大数据和MRS数据资产。 可添加资产的约束条件详见使用约束。 云资产委托授权/停止授权 敏感数据识别,数据分类分级 1、数据自动分级分类:在AI和专家知识库的双重加权下,精准识别敏感数据和文件,覆盖结构化(RDS)和非结构化(OBS)两种数据类型,实现云上全场景覆盖。
政企OA/办公 安全可信,支持主流软硬件,适用于政府和企业OA/办公等管理支撑系统业务。 优势 开放生态:支持线下主备开源版本,支持线上托管型主备实例和分布式实例,不锁定用户,拥有开放生态 灵活管理:支持多租户资源管理方案,灵活管理应用用户 企业级服务:提供丰富的企业级特性,支持高可用,统一监控平台,不断提升开发&运维的效率
数据安全中心支持管理华为云OBS、数据库、大数据和MRS数据资产。可添加资产的约束条件详见使用约束 资产中心 敏感数据识别、数据分类分级 数据自动分级分类:在AI和专家知识库的双重加权下,精准识别敏感数据和文件,覆盖结构化(RDS)和非结构化(OBS)两种数据类型,实现云上全场景覆盖。
DGC可管理哪些数据源类型
介绍集群各类节点类型(数据节点、Master节点、Client节点、冷数据节点)的适用场景和配置建议,帮助用户根据业务需求合理选择和配置节点类型。同时,给出节点规格、存储类型和容量、节点数量的配置建议,方便用户合理规划集群的规格容量。
规划节点类型
在创建集群时,应根据业务需求、查询负载、数据增长模式和性能目标来确定添加哪些类型的节点,以实现合适的集群性能和资源管理。
节点类型 |
选择建议 |
---|---|
数据节点(ess) |
数据节点用于存储集群数据,当集群启用的节点类型不同时,数据节点的功能会有差异:
|
Master节点(ess-master) |
Master节点负责管理集群中所有节点任务,如集群元数据、索引及分片分配,保障大规模集群稳定运行,适用于需高可用性与集中管控的场景。
|
Client节点(ess-client) |
Client节点负责接收并协调外部请求(如搜索和写入),优化高负载查询和集群扩展性,适用于处理复杂查询和大规模分片场景。
|
冷数据节点(ess-cold) |
冷数据节点用于存储查询时延要求不高且数据量大的历史数据,适用于大规模数据集存储,有利于优化存储成本和查询性能。
注意:
如果创建集群时未启用冷数据节点,则集群创建完成后不支持单独添加冷数据节点,请在创建集群时合理选择是否启用冷数据节点。 |

- 如果创建集群时未启用Master节点或Client节点,当业务运行一段时间后,发现数据节点压力太大时,支持单独添加Master节点或Client节点,具体操作请参见增加节点类型。
- 开启冷数据节点之后,支持切换集群的冷热数据,请参见切换OpenSearch集群冷热数据。如果未启用冷数据节点,又想优化存储成本,则推荐使用存算分离功能,请参见配置OpenSearch集群存算分离。
数据节点配置建议
参数 |
配置建议 |
---|---|
节点规格 |
规格列表的“vCPUs | 内存”呈现了规格的CPU核数和内存,“建议存储范围”呈现了该规格支持的存储容量。建议根据业务需求(如数据规模、性能要求、成本预算等)进行选择。 不同节点规格的适用场景及核心特性说明请参见节点规格介绍,帮助您合理规划集群架构。 各个规格的详细说明请参见实例类型。 |
节点存储类型和容量 |
|
节点数量 |
当数据节点数量与可用区数量非整数倍时,数据分布可能不均衡,影响集群的查询或写入性能。 |
节点规格介绍
规格的不同会影响磁盘的部署方式,磁盘分为本地盘和云硬盘。例如,高性能的节点规格可能使用本地盘,而标准规格的节点则可能使用成本更低的云硬盘。
- 本地盘是部署在弹性 云服务器 ( ECS )实例所在宿主机上的本地存储设备,提供高I/O性能、低时延和高吞吐量的存储能力。适合对性能要求极高且数据无需长期保存的业务场景。
- 云硬盘( EVS )是云服务提供的一种虚拟块存储服务,独立于E CS 实例存在,提供高可靠性和弹性扩展能力。适合对数据可靠性要求较高且需要灵活扩展存储能力的业务场景。

- 本地盘存在异常退出风险,可能导致数据丢失且不可恢复,因此不适用于核心业务数据存储场景。建议关键业务数据优先选用云硬盘存储。
- 如果选用本地盘存储数据,建议在创建集群时启用“自动创建集群快照”功能,并在创建索引时启用副本功能。以此降低数据丢失风险。
CPU架构 |
节点规格 |
描述 |
---|---|---|
X86计算 |
计算密集型 |
核心优势
适用场景
注意事项
|
通用计算增强AC型 |
核心优势
适用场景
|
|
通用计算型 |
核心优势
适用场景 适合通用场景,标准化部署,无需特殊调优即可满足基础需求。
|
|
内存优化型 |
核心优势
适用场景 适用于单节点数据量在100~2000GB间的搜索与分析场景。
注意事项 时延容忍度较高,适合对响应时间要求不极端的场景。 成本较高,内存成本占比大,需评估业务需求与预算。 |
|
超高I/O型 |
核心优势
适用场景
注意事项
|
|
鲲鹏计算 |
鲲鹏通用计算型 |
核心优势 性价比高:ARM架构相比X86机型成本更低。 适用场景
注意事项 生态兼容性:确保应用与ARM架构的兼容性(如Java虚拟机、第三方插件)。 |
节点存储容量的选择建议
当选择云硬盘时,可以在节点规格支持的存储容量范围内的选择节点存储容量。
在规划节点存储容量时,应考虑数据量、副本因子、数据膨胀率和磁盘使用率等多个关键因素。以下是一个推荐的计算方法,用以确定所需的集群存储容量。
存储容量 = 源数据 x(1 + 副本数量)x(1 + 数据膨胀率)x(1 + 预留空间比例)
其中:
- 源数据:首先确定预期存储的原始数据量。
- 副本数量:设置副本因子,默认建议值为1,以保证数据的高可用性。
- 数据膨胀率:集群在索引过程中可能会产生额外的数据膨胀,通常建议按照25%的膨胀率进行计算。
- 磁盘空间使用率:考虑到操作系统和文件系统本身占用的空间,以及留出一定的空间以优化磁盘性能和冗余,建议将磁盘使用率控制在70%,即预留空间比例为30%。
将具体数值代入公式,简化计算:存储容量 = 源数据 x 2 x 1.25 x 1.3 = 源数据 x 3.25
这个计算方法提供了一个基础的估算,但实际配置时还需要根据具体业务场景和增长预期进行调整,且存储容量必须是20的倍数。
节点数量选择建议
数据节点和冷数据节点都是用于存储集群数据的,因此节点数量和业务性能基线强相关,下面提供了数据节点和冷数据节点的节点数量估算公式:
数据节点数 + 冷数据节点数 = 写入节点数 + 查询节点数
写入节点数 = 业务峰值时的流量(MB/s) ÷ 单节点的核数 ÷ 单核写入性能基线(MB/s) x 索引副本数
查询节点数 = 查询QPS ÷ [ 单节点的核数 x 3 ÷ 2 ÷ 平均查询响应时间(秒)] x 索引分片数
其中:
- 单节点的核数由选择的节点规格决定。
- 单核写入性能基线由节点规格适用的磁盘类型决定:挂载云硬盘的节点,其单核写入性能基线为1MB/s;挂载本地盘的节点,其单核写入性能基线为1.5MB/s。
- 查询QPS表示每秒能够处理的查询请求数量。
- 平均查询响应时间作为查询性能基线。
- 在写入性能要求高的场景,建议索引分片数和“数据节点数+冷数据节点数”保持一致,确保各节点写入压力均衡。
- 在查询QPS要求高的场景,建议索引副本数和“数据节点数+冷数据节点数-1”保持一致,确保各节点查询压力均衡。
例如:
业务峰值时的流量是100MB/s,节点规格使用的是云硬盘,规格是16u64g,查询QPS要求为1000,平均查询响应时间要求为100ms,索引规划3个分片、2个副本,则:
写入节点数=100÷16÷1x2=12
查询节点数=1000÷(16x3÷2÷0.1)x3=12
数据节点数+冷数据节点数=写入节点数+查询节点数=12+12=24
Master节点配置建议
参数 |
配置建议 |
---|---|
节点规格 |
规格列表的“vCPUs | 内存”呈现了规格的CPU核数和内存,“建议存储范围”呈现了该规格支持的存储容量。 对于集群规模大、分片数多的场景,建议Master节点规格选择计算规格比较大的型号。 Master节点只支持部署在云硬盘的节点规格。各个规格的详细介绍请参见实例类型。 |
节点存储类型和容量 |
给集群节点选择合适的存储类型和容量。
|
节点数量 |
Master节点数量的取值范围:3、5、7、9 为避免集群发生脑裂,Master节点数量必须是奇数,推荐值请参见Master节点数量选择建议。 |
Master节点数量选择建议
增加Master节点数量可以增加集群的故障容错能力,但是Master节点数量过多也会带来其他问题,如通信开销增加、选举时间变长、资源浪费等,建议根据业务需求合理选择节点数量。
以下是基于集群规模给出的Master节点数量的推荐值,供参考。
集群规模 |
Master节点数量的推荐值 |
配置效果 |
---|---|---|
小型,节点数量总和小于10 |
3 |
提供基本的高可用性。 |
中型,节点数量总和大于或等于10、小于50 |
3、5 |
平衡性能和可用性。 |
大型,节点数量总和大于或等于50 |
5、7 |
提升抗故障能力和稳定性。 |
极大型,节点数量总和大于或等于100 |
5、7 |
避免过度增加通信开销。 |
Client节点配置建议
Client节点数量选择建议
Client节点负责接收并协调外部请求(如搜索和写入),节点数量和集群流量压力相关,以下是基于数据节点数量给出的Client节点数量的推荐值,供参考。
数据节点数量 |
Client节点数量的推荐值 |
---|---|
小于5 |
不启用Client节点 |
大于或等于5、小于10 |
2 |
大于或等于10 |
Client节点数量 : 数据节点数量 = 1:5 |
冷数据节点配置建议
参数 |
配置建议 |
---|---|
节点规格 |
规格列表的“vCPUs | 内存”呈现了规格的CPU核数和内存,“建议存储范围”呈现了该规格支持的存储容量。建议根据业务需求(如数据规模、性能要求、成本预算等)进行选择。 不同节点规格的适用场景及核心特性说明请参见节点规格介绍,帮助您合理规划集群架构。 各个规格的详细说明请参见实例类型。 |
节点存储类型和容量 |
|
节点数量 |
冷数据节点数量的取值范围:1~32 节点数量的推荐计算方式请参见节点数量选择建议。 当冷数据节点数量与可用区数量非整数倍时,数据分布可能不均衡,影响集群的查询或写入性能。 |
DGC可管理哪些数据源类型常见问题
更多常见问题 >>-
数据管理服务DAS的3个类型介绍。
-
弹性负载均衡类型分为:经典型负载均衡、共享型负载均衡、公网负载均衡、私网负载均衡、四层负载均衡(TCP/UDP)和七层负载均衡(HTTP/HTTPS)。
-
华为云提供丰富的计算服务族:从通用计算型、内存密集性,存储密集性、计算密集型、计算加速型、裸金属主机六大类计算服务家族。
-
数据类型一般有:数值类型、字符类型、日期类型 、布尔类型、空间数据类型、JSON数据类型。
-
云专线常见问题汇总解答。
-
常见的NoSQL类型分为键值数据库、图数据库、文档数据库、列式数据库4种。
更多相关专题
增值电信业务经营许可证:B1.B2-20200593 | 域名注册服务机构许可:黔D3-20230001 | 代理域名注册服务机构:新网、西数