华为云用户手册

  • 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS) 数据仓库:数据仓库服务(DWS), 数据湖探索 DLI ), MRS ClickHouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储: 对象存储服务 (OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL: 表格存储服务 (CloudTable) 搜索:Elasticsearch, 云搜索服务 CSS ) 不支持DWS物理机纳管模式。 数据湖 探索(DLI) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL: 表格存储 服务(CloudTable),MongoDB 搜索:Elasticsearch, 云搜索 服务( CS S) MongoDB建议使用的版本:4.2。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X MRS HBase MRS Hive 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS Clickhouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) MRS Hudi 数据仓库:数据仓库服务(DWS) Hadoop:MRS HBase FusionInsight HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本: 2.8.X 3.1.X FusionInsight HBase建议使用的版本: 2.1.X 1.3.X FusionInsight Hive建议使用的版本: 1.2.X 3.1.X FusionInsight HBase FusionInsight Hive Apache HBase 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Apache数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本: 2.1.X 1.3.X Apache Hive暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X Apache HDFS建议使用的版本: 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用 对象存储迁移 服务 OMS 。 不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 文件系统到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过 数据复制服务 DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) PostgreSQL Oracle Microsoft SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) SAP HANA 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS Hive SAP HANA数据源存在如下约束: SAP HANA不支持作为目的端。 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 神通(ST) Hadoop:MRS Hive,MRS Hudi - NoSQL 分布式缓存服务(DCS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Cassandra 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 消息系统 数据接入服务 (DIS) 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) MRS Kafka不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 搜索 Elasticsearch 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Elasticsearch仅支持非安全模式。 云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。
  • 操作步骤 登录 CDM 管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 图1 集群列表 “创建来源”列仅通过 DataArts Studio 服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。 (可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。
  • 添加事件源 函数创建以后,可以为函数添加事件源,本例通过配置DIS测试事件,模拟DIS输入数据,步骤如下。 用户进入DISDemo函数详情页,在“代码”页签下,选择配置测试事件,如图1所示,弹出“配置测试事件页”。 图1 配置测试事件 在“配置测试事件页”,输入配置信息,如图2所示。 配置测试事件:选择“创建新的测试事件”。 事件模板:选择“数据接入服务(DIS)”。 事件名称:输入“dis-test”。 图2 测试事件 单击“创建”,完成测试事件配置。 父主题: 使用函数处理DIS数据
  • 创建函数流 返回 函数工作流 控制台,在左侧导航栏选择“函数流”,进入函数流列表界面。 单击“创建快速函数流”,进入创建快速函数流流程。 图2 创建快速函数流 拖拽一个函数节点,点击函数节点配置元信息: 应用:默认“default”; 函数:选择上一步创建好的函数test-rotate; 版本:默认“latest”; 其他参数默认值即可。 图3 配置元信息 参数配置完成后,单击“确定”。 函数流节点创建完成后,单击右上角“保存”,配置如下函数流基本信息,完成后单击“确定”,完成函数流创建。 名称:test-rotate-workflow; 企业项目:默认“default”; 日志记录:默认“ALL”; 其他参数保持默认值。 图4 保存函数流
  • VPC网络连通方式接入MySQL数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据源MySQL。 接入网络类型:云数据库 RDS,云数据库 GaussDB(for MySQL)。 在配置连接对话框,填写以下配置。 图2 数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为MySQL。更多数据源类型连接请参考表1。 接入网络类型 是 云数据库 GaussDB方式或云数据库 GaussDB(for MySQL)方式接入。 所属地域 是 MySQL服务主机所在的局点。 名称 是 数据源配置列表的显示名称。 说明: 名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 对连接数据源的描述。 实例 是 云数据库 RDS for MySQL服务对应的角色实例。 主机 是 云数据库 RDS for MySQL所在的服对应的主机名称。 端口 是 云数据库 RDS for MySQL所在的服对应的端口。 数据库 是 登录的数据库名称。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 公网方接入MySQL数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目。 源库类型:MySQL。 接入网络类型:公网。 在配置连接对话框,填写以下配置。 图1 接入MySQL数据源 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为MySQL。更多数据源类型连接请参考表1。 接入网络类型 是 公网方式接入。 名称 是 数据源配置列表的显示名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 域名 是 数据源的IP地址。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 端口 是 对应数据库的登录端口。 数据库 是 登录的数据库名称。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • VPC网络连通方式接入ClickHouse数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据源ClickHouse。 接入网络类型: MapReduce服务 ClickHouse。 在配置连接对话框,填写以下配置。 MRS实例选择仅决定连接VPC与子网,与服务器列表无对应关系。 图2 数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为ClickHose。更多数据源类型连接请参考表1。 接入网络类型 是 MapReduce服务ClickHouse方式接入。 所属地域 是 GaussDB(DWS)服务主机所在的局点。 名称 是 数据源配置列表的显示名称。 说明: 名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 对连接数据源的描述。 实例 是 ClickHouse服务对应的角色实例。 服务器列表 是 ClickHouse所在的服务器列表。 端口 是 对应数据库的登录端口。 数据库 是 登录的数据库名称。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 公网方式接入ClickHouse数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目, 源库类型:ClickHouse。 接入网络类型:公网。 在配置连接对话框,填写以下配置。 图1 数据源参数 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为ClickHose。更多数据源类型连接请参考表1。 接入网络类型 是 公网方式接入。 名称 是 数据源配置列表的显示名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 域名 是 数据源的IP地址。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 端口 是 对应数据库的登录端口。 数据库 是 登录的数据库名称。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 操作步骤 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据源API数据。 在配置连接对话框,填写以下配置。 图1 API数据配置项 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为API数据。更多数据源类型连接请参考表1。 名称 是 API数据源在数据源列表显示的名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 URL 是 连接API数据使用的URL。 协议 是 连接API数据使用的协议。 请求类型 是 连接API数据源使用的请求类型,有GET和POST两种方式。 超出时间 是 连接API所设置的超出时间单位为秒,设置的范围为1秒到999999秒。 认证方式 是 API数据源的认证方式,有两种认证方式HIS Token和No Auth。 APP ID 是 接口订阅方的应用ID。 APP 静态Token 是 API数据的认证方式。 请求示例 是 API数据的请求示例。 请求参数 是 API数据源请求示例中的请求参数。详细内容请参考表2。 表2 请求参数的参数说明 参数名称 是否必填 说明 参数名称 是 API数据的参数名称。 参数别名 否 API数据的参数的别称。 参数位置 是 参数所处的位置,可以是Header、Body、Parameter。 参数类型 是 参数的类型。 参数来源 是 参数的来源,可以是固定值。 参数值 否 参数的值。 是否敏感数据 否 参数内容是否涉及敏感数据。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“下一步”,选择响应参数。 选择后响应参数后,单击“确定”,完成数据源的添加。
  • 操作步骤 登录智能数据洞察控制台。 单击“创建仪表板”,选择对应的项目,单击“确定”进入仪表板编辑页面。 图1 仪表板编辑页 在仪表板右上侧数据列下选择需要的数据集。 数据选择完成后,选择需要的可视化控件。 将所需的数据字段从数据列下的维度或度量拖拽至可视化控件页面设置字段下。 图2 选择字段 字段选择完成后,单击“更新”图表自动完成绘制。 保存仪表板或保存并发布仪表板 单击右侧的“保存”,输入仪表板的名称,单击“确定”保存成功,不支持仪表板的查看功能,支持删除仪表板。 单击“保存并发布”,不仅保存了仪表板也发布了仪表板。支持仪表板查看功能,若要删除仪表板需要先将仪表进行下线操作。
  • VPC网络连通方式接入GaussDB(DWS)数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据GaussDB(DWS)。 接入网络类型选云数据仓库GaussDB(DWS)。 在配置连接对话框,填写以下配置。 图2 数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为GaussDB(DWS)。更多数据源类型连接请参考表1。 接入网络类型 是 GaussDB(DWS)方式接入。 所属地域 是 GaussDB(DWS)服务主机所在的局点。 名称 是 数据源配置列表的显示名称,用户自定义。 说明: 名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 对连接数据源的描述。 实例 是 GaussDB(DWS)服务对应的角色实例。 服务器列表 是 GaussDB(DWS)服务器列表。 说明: 若集群绑定elb,服务器列表默认填充elb地址,若未绑定elb,默认填充第一个节点ip:port。 数据库 是 登录的数据库名称。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 公网方式接入GaussDB(DWS)数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据GaussDB(DWS)。 接入网络类型选公网。 在配置连接对话框,填写以下配置。 图1 数据源参数 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为GaussDB(DWS)。更多数据源类型连接请参考表1。 接入网络类型 是 公网方式接入。 名称 是 数据源配置列表的显示名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 域名 是 数据源的IP地址。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 端口 是 对应数据库的登录端口。 数据库 是 登录的数据库名称。 SASL_SSL 是 实DataArts Insight能数据洞察之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 公网方式接入GaussDB数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目, 源库类型:GaussDB。 接入网络类型:公网。 在配置连接对话框,填写以下配置。 图1 接入GaussDB数据源 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为GaussDB。更多数据源类型连接请参考表1。 接入网络类型 是 公网方式接入。 名称 是 数据源配置列表的显示名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 域名 是 数据源的IP地址。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 端口 是 对应数据库的登录端口。 数据库 是 登录的数据库名称。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • VPC网络连通方式接入GaussDB数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据源GaussDB。 接入网络类型:云数据库GaussDB。 在配置连接对话框,填写以下配置。 图2 数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为GaussDB。更多数据源类型连接请参考表1。 接入网络类型 是 云数据库GaussDB方式接入。 所属地域 是 GaussDB(DWS)服务主机所在的局点。 名称 是 数据源配置列表的显示名称。 说明: 名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 对连接数据源的描述。 实例 是 GaussDB服务对应的角色实例。 服务器列表 是 GaussDB所在的服务器列表。 数据库 是 登录的数据库名称。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 样式 设置地铁图的样式参数。 表2 表格样式参数 参数 说明 卡片标题 卡片支持有和无标题的设置。设置卡片的标题,在卡片的左上角展示。 无标题:当未勾选框时,为无标题格式。 有标题:当勾选框时,为有标题格式。 文本 设置文本字体的大小和字体颜色。可通过输入修改字体大小也可通过和修改字体的大小。 说明: 输入不能为空,且输入值必须在14到32之间。 对齐方式 支持左对齐和居中对齐方式。 下边距 设置矩形树图标题与图表之间的距离。可通过输入修改边距的大小也可通过和修改边距的大小。 说明: 输入不能为空,且输入值必须在0到32之间。 分割线 卡片支持无和有分割线的设置。 无分割线:当未勾选框时,为无分割线格式。 有分割线:当勾选框时,为有分割线格式。支持对分割线的样式和下框边距进行设置。分割线样式和下边框支持输入设置,也可通过和进行设置。 说明: 分割线样式的输入不能为空,且输入值必须在0到8之间。在设置样式之后才可以设置下边距,分割线的下边距输入不能为空,且输入值必须在0到32之间。 卡片背景 卡片背景支持有有背景和无背景设置。 无背景:当未勾选框时,为无背景格式。 有背景:当勾选框时,为有背景格式。支持背景颜色的设置。 状态icon 可以设置icon的显示方式和颜色,支持始终显示和悬停显示。卡片icon支持有状态icon和无状态icon设置。 无背景:当未勾选框时,为无状态icon。 有背景:当勾选框时,为有状态icon。 表3 图表样式参数 参数 说明 可视化样式 支持设置节点的颜色。 折叠箭头 支持折叠箭头或不支持折叠,箭头位置也可设置。 数值设置 支持对数值的语境、单位、科学计数法、使用千分位分割符、小数位的设置。 表4 系列设置 参数 说明 选择度量 根据字段里面选择的度量选择。 语境 对系列的语境进行设置,支持中文(简体)和English 单位 单位支持自动、无、百、千、万、亿、百亿、万亿。 科学计数法 支持使用科学计数法或不支持。 使用千分位分割符 支持使用千分位分割符或不支持。 小数位 支持设置小数位或不支持。
  • 约束与限制 数据源与DataArts Insight的项目所属的企业项目必须相同。 数据源与DataArts Insight的项目所属的区域必须相同,即仅支持链接当前区域的数据源。 添加数据源时,DataArts Insight对数据源的网络类型有以下要求: 如果数据源为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、ClickHouse等),则网络互通需满足如下条件: DataArts Insight与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Insight与云上服务同区域情况下: 同虚拟私有云、同子网、同安全组的不同实例默认网络互通。 同虚拟私有云,但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则参考如何配置路由规则章节,配置安全组规则参考安全组配置章节。 不同虚拟私有云的数据源接入时,DataArts Insight自动为您创建VPCEP连通VPC网络。
  • DataArts Insight支持的数据源类型 表1 DataArts Insight支持的数据源类型 数据源 数据源类型 与数据库的连通方式 具体操作 GaussDB(DWS) 大数据平台 公网/VPC 接入GaussDB(DWS)数据源 GaussDB 大数据平台 公网/VPC 接入GaussDB数据源 MySQL 关系型数据库 公网/VPC 接入MySQL数据源 PostgreSQL 大数据平台 公网/VPC 接入PostgreSQL数据源 Doris 大数据平台 公网/VPC 接入Doris数据源 ClickHouse 大数据平台 公网/VPC 接入ClickHouse数据源 API数据源 API数据 API访问 接入API数据源 静态数据源 xlsx、xls、csv格式的数据文件 静态上传 上传文件 DLI 大数据平台 - 接入DLI数据源 Hive 大数据平台 公网/VPC 接入Hive数据源
  • VPC网络连通方式接入PostgreSQL数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据源PostgreSQL。 接入网络类型:云数据库RDS。 在配置连接对话框,填写以下配置。 图2 数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为PostgreSQL。更多数据源类型连接请参考表1。 接入网络类型 是 云数据库RDS方式接入。 所属地域 是 PostgreSQL服务主机所在的局点。 名称 是 数据源配置列表的显示名称。 说明: 名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 对连接数据源的描述。 实例 是 云数据库 RDS for PostgreSQL服务对应的角色实例。 主机 是 云数据库 RDS for PostgreSQL服务对应的主机名称。 端口 是 云数据库 RDS for PostgreSQL服务对应的端口。 数据库 是 登录的数据库名称。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 公网方式接入PostgreSQL数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目, 源库类型: PostgreSQL。 接入网络类型:公网。 在配置连接对话框,填写以下配置。 图1 接入PostgreSQL数据源 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为PostgreSQL。更多数据源类型连接请参考表1。 接入网络类型 是 公网方式接入。 名称 是 数据源配置列表的显示名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 域名 是 数据源的IP地址。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 端口 是 对应数据库的登录端口。 数据库 是 登录的数据库名称。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 公网方式接入Doris数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目。 源库类型:Doris。 接入网络类型:公网。 在配置连接对话框,填写以下配置。 图1 接入Doris数据源 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为Doris。更多数据源类型连接请参考表1。 接入网络类型 是 公网方式接入。 名称 是 数据源配置列表的显示名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 域名 是 数据源的IP地址。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 端口 是 对应数据库的登录端口。 数据库 是 登录的数据库名称。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • VPC网络连通方式接入Doris数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据源Doris。 接入网络类型:MapReduce服务 Doris。 在配置连接对话框,填写以下配置。 MRS实例选择仅决定连接VPC与子网,与服务器列表无对应关系。 图2 数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为Doris。更多数据源类型连接请参考表1。 接入网络类型 是 MapReduce服务 Doris方式接入。 所属地域 是 Doris服务主机所在的局点。 名称 是 数据源配置列表的显示名称。 说明: 名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 对连接数据源的描述。 实例 是 Doris服务对应的角色实例。 服务器列表 是 Doris所在的服务器列表。 数据库 是 登录的数据库名称。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 SASL_SSL 是 实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 样式 本章节介绍视频样式各项配置项的含义。 尺寸位置 W:设置图表的宽,单位为px。 H:设置图表的高,单位px。 X:设置图表在画布中的位置。单位为px。 Y:设置图表在画布中的位置。单位为px。 不透明度:设置图表在画布上的途明度,可通过滑动条进行设置,也可手动输入百分比,比例越大透明程度越低。 图5 尺寸位置 自动播放 显示/隐藏自动播放:单击“显示自动播放”左侧的勾选框,表示显示自动播放,表示隐藏自动播放。 图6 自动播放 循环播放 显示/隐藏循环播放:单击“显示循环播放”左侧的勾选框,表示显示循环播放,表示隐藏循环播放。 图7 循环播放 控制条 显示/隐藏控制条:单击“显示控制条”左侧的勾选框,表示显示控制条,表示隐藏控制条。 图8 控制条 静音 显示/隐藏静音:单击“显示静音”左侧的勾选框,表示显示控静音,表示隐藏静音。 图9 静音
  • 样式 本章节介绍世界地图的样式各配置项的含义。 尺寸位置 W:设置图表的宽,单位为px。 H:设置图表的高,单位px。 X:设置图表在画布中的位置。单位为px。 Y:设置图表在画布中的位置。单位为px。 不透明度:设置图表在画布上的途明度,可通过滑动条进行设置,也可手动输入百分比,比例越大透明程度越低。 图1 尺寸位置 全局样式 地图中心:设置地图中心在图层中的位置。 维度:设置地图中心的维度,输入值必须在-180到180之间。 经度:设置地图中心的经度,输入值必须在-180到180之间。 地图缩放:设置地图中心在图层中的缩放比例,输入值必须在0.1到50之间。 图2 全局样式 填充设置 透明度:设置填充的途明度,输入值必须在0到1之间。 填充颜色:设置填充的颜色。 宽度:设置填充的宽度,输入值必须在0到10之间。 边线选择:设置边线的颜色和宽度。 图3 填充设置 视觉映射 显示/隐藏视觉映射:单击“标签”右侧的勾选框,表示显示视觉映射,表示隐藏视觉映射。 映射类型:单击下拉选项设置视觉映射的映射类型,可以设置为连续型或分段型。 方向:单击下拉选项设置视觉映射的映射方向,可以设置为水平或垂直。 宽度:设置视觉映射的宽度。 高度:设置视觉映射的高度。 左侧:设置视觉映射时距离图层左侧的距离。 底部:设置视觉映射时距离图层底部的距离。 文字:设置视觉映射时文本的字体颜色和字号大小。 颜色范围:设置视觉映射时颜色范围。 图4 视觉映射 选中样式 颜色:单击颜色编辑器设置颜色。 标签颜色:单击颜色编辑器设置标签颜色。 数据值:单击“数据值”右侧的勾选框,表示显示数据值,表示隐藏数据值。 数据名:单击“数据名”右侧的勾选框,表示显示数据名,表示隐藏数据名。 文本样式:设置文本的颜色、字号和字体粗细样式。 图5 选中样式
  • 样式 本章节介绍中国地图的样式各配置项的含义。 尺寸位置 W:设置图表的宽,单位为px。 H:设置图表的高,单位px。 X:设置图表在画布中的位置。单位为px。 Y:设置图表在画布中的位置。单位为px。 不透明度:设置图表在画布上的途明度,可通过滑动条进行设置,也可手动输入百分比,比例越大透明程度越低。 图1 尺寸位置 全局样式 地图中心:设置地图中心在图层中的位置。 顶部:设置地图中心的顶部,输入值必须在0到200之间。 左侧:设置地图中心的左侧,输入值必须在0到200之间。 地图缩放:设置地图中心在图层中的缩放比例,输入值必须在0.1到50之间。 图2 全局样式 填充设置 透明度:设置填充的途明度,输入值必须在0到1之间。 填充颜色:设置填充的颜色。 宽度:设置填充的宽度,输入值必须在0到10之间。 边线选择:设置边线的颜色和宽度。 图3 填充设置 视觉映射 显示/隐藏视觉映射:单击“标签”右侧的勾选框,表示显示视觉映射,表示隐藏视觉映射。 方向:单击下拉选项设置视觉映射的映射方向,可以设置为水平或垂直。 映射类型:单击下拉选项设置视觉映射的映射类型,可以设置为连续型或分段型。 宽度:设置视觉映射的宽度。 高度:设置视觉映射的高度。 左侧:设置视觉映射时距离图层左侧的距离。 底部:设置视觉映射时距离图层底部的距离。 文字:设置视觉映射时文本的字体颜色和字号大小。 映射类型:支持连续型金额自定义范围设置。范围支持对数值范围、数值颜色、对应文本设置。 范围外:支持对范围外颜色进行设置。 图4 视觉映射 标签 显示标签:是否显示标签。 字体:设置标签字体的类型。 颜色:设置标签的颜色。 字号:设置标签的字号。 字体粗细:设置标签的字体粗细。 图5 标签 选中样式 颜色:单击颜色编辑器设置颜色。 标签颜色:单击颜色编辑器设置标签颜色。 数据值:单击“数据值”右侧的勾选框,表示显示数据值,表示隐藏数据值。 数据名:单击“数据名”右侧的勾选框,表示显示数据名,表示隐藏数据名。 文本样式:设置文本的颜色、字号和字体粗细样式 提示框内边距:设置提示框的内边距,输入值不能小于0。 提示框背景色:设置提示框的背景颜色。 提示框自定义大小:设置提示框的大小。 提示框边框颜色:设置提示框的边框颜色。 提示框边框宽度:设置提示框的边框宽度,输入值不能小于0。 图6 选中样式 开启缩放:支持设置是否开启缩放。 开启平移:支持设置是否开启平移。
  • 样式 本章节介绍中国地图的样式各配置项的含义。 尺寸位置 W:设置图表的宽,单位为px。 H:设置图表的高,单位px。 X:设置图表在画布中的位置。单位为px。 Y:设置图表在画布中的位置。单位为px。 不透明度:设置图表在画布上的途明度,可通过滑动条进行设置,也可手动输入百分比,比例越大透明程度越低。 图1 尺寸位置 全局样式 地图中心:设置地图中心在图层中的位置。 顶部:设置地图中心的顶部,输入值必须在0到200之间。 左侧:设置地图中心的左侧,输入值必须在0到200之间。 缩放范围:设置地图中心在图层中的缩放比例,输入值必须在0.1到50之间。 边界数据来源:地图数据的来源方式,有链接和素材两种类型。 链接:从其他地方复制链接粘贴此处,可以获取边界数据。 素材:用户自定义素材,或者从其他地方获取到的json文件,上传获取边界数据。 图2 全局样式 填充设置 透明度:设置填充的途明度,输入值必须在0到1之间。 边线选择:设置边线的颜色和宽度。 填充颜色:设置填充的颜色。 宽度:设置填充的宽度,输入值必须在0到10之间。 图3 填充设置 视觉映射 显示/隐藏视觉映射:单击“标签”右侧的勾选框,表示显示视觉映射,表示隐藏视觉映射。 方向:单击下拉选项设置视觉映射的映射方向,可以设置为水平或垂直。 映射类型:单击下拉选项设置视觉映射的映射类型,可以设置为连续型或自定义范围。 宽度:设置视觉映射的宽度。 高度:设置视觉映射的高度。 左侧:设置视觉映射时距离图层左侧的距离。 底部:设置视觉映射时距离图层底部的距离。 间距:设置映射之间间距。 文字:设置视觉映射时文本的字体颜色和字号大小。 映射类型:支持连续型金额自定义范围设置。范围支持对数值范围、数值颜色、对应文本设置。 范围外:支持对范围外颜色进行设置。 图4 视觉映射 标签 显示标签:是否显示标签。 字体:设置标签字体的类型。 颜色:设置标签的颜色。 字号:设置标签的字号。 字体粗细:设置标签的字体粗细。 图5 标签 选中样式 颜色:单击颜色编辑器设置颜色。 数据值:单击“数据值”右侧的勾选框,表示显示数据值,表示隐藏数据值。 数据名:单击“数据名”右侧的勾选框,表示显示数据名,表示隐藏数据名。 文本样式:设置文本的颜色、字号和字体粗细样式 提示框内边距:设置提示框的内边距,输入值不能小于0。 提示框背景色:设置提示框的背景颜色。 提示框自定义大小:设置提示框的大小。 提示框边框颜色:设置提示框的边框颜色。 提示框边框宽度:设置提示框的边框宽度,输入值不能小于0。 图6 选中样式 开启缩放:支持设置是否开启缩放。 开启平移:支持设置是否开启平移。
  • VPC网络连通方式接入Hive数据源 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据Hive。 接入网络类型MapReduce服务 Hive。 在配置连接对话框,填写以下配置。 MRS实例选择仅决定连接VPC与子网,与服务器列表无对应关系。 图2 数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为Hive。更多数据源类型连接请参考表1。 接入网络类型 是 MapReduce服务 Hive方式接入。 所属地域 是 Hive服务主机所在的局点。 名称 是 数据源配置列表的显示名称,用户自定义。 说明: 名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 对连接数据源的描述。 实例 是 Hive服务对应的角色实例。 服务器列表 是 Hive服务器列表。 数据库 是 登录的数据库名称。 用户名 是 登录云数据库的用户名。 密码 是 登录数据库的密码。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 接入DLI数据源步骤 登录智能数据洞察控制台。 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目。 源库类型:DLI。 在配置连接对话框,填写以下配置。 图1 接入DLI数据源 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为DLI。更多数据源类型连接请参考表1。 名称 是 数据源配置列表的显示名称。 说明: 输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。 描述 否 新建数据源的相关描述,由用户自定义。 资源类型 是 资源类型有自有和其他两种类型。 自有:当前账号下的DLI资源。 其他:其他账号下的DLI资源。 SQL队列 是 队列即为计算资源,计算资源是使用服务的基础,用户执行的一切作业都需要使用计算资源,SQL队列用于运行SQL作业。 项目ID 否 当资源类型选择“其他”时,此选项为必填项。 DataArts Insight服务为每个项目分配的唯一ID。 数据库 是 登录的数据库名称。 认证方式 是 接入DLI数据源的认证方式,有AKSK、TOKEN两种方式。 AK 否 当认证方式选择AKSK时,此参数为必填项。 访问密钥ID。与私有访问密钥关联的唯一标识符,访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK 否 当认证方式选择AKSK时,此参数为必填项。 与访问密钥ID结合使用的私有访问密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 单击“连接测试”,进行数据源连通性测试。 测试成功后单击“确定”,完成数据源添加。
  • 访问控制 您可以使用 统一身份认证 服务(Identity and Access Management,简称 IAM )进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 关于IAM的详细介绍,参考IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:不允许某用户组删除集群,仅允许DataArts Insight基本操作(如创建、查询作业等)。 DataArts Insight支持的授权项参考权限管理概述。 如表1所示,包括了DataArts Insight的所有系统权限。 表1 DataArts Insight系统权限 系统角色/策略名称 描述 类别 DataArts Insight FullAccess DataArts Insight管理员权限,拥有该权限的用户具有DataArts Insight所有权限,如管理DataArts Insight项目、新建资源等。 系统策略 DataArts Insight DevelopAccess DataArts Insight开发者权限,拥有该权限的用户可以新建数据源、数据集、仪表板、大屏。 系统策略 DataArts Insight AnalysisAccess DataArts Insight分析师权限,拥有该权限的用户可以使用已创建的数据集创建仪表板、大屏等。 系统角色 DataArts Insight ReadOnlyAccess DataArts Insight只读权限,拥有该权限的用户仅能查看DataArts Insight的仪表板、大屏等资源。 系统角色
  • 应用场景 数据大屏是面向企业数据消费者,将可视化和场景叙事技术结合,运行在智能设备上,非接触式连接的酷炫大屏,满足业务监控数字屏、项目会议演示屏,以及对外媒体大屏等场景,从而推动企业数据群体消费。 数据大屏常见应用场景包括活动数据监控、项目会议演示、对外接待,是DataArts Insight分析场景的重要组成部分。 本案例模拟某公司用户、商品销售数据为基础,利用DataArts Insight来制作用户和商品的各种数据特征的大屏。
  • 申请公测 如果您已有华为账号并已开通华为云,请继续执行以下步骤。如果您还没有华为账号,请参见 注册华为账号 并开通华为云。 登录智能数据洞察 DataArts Insight申请公测页面。 填写公测申请表。 在申请公测页面,填写公测申请表。勾选“同意《公测试用服务协议》”,单击“申请公测”。 提交公测申请。 系统提示已提交公测申请,预计5个工作日以内完成审核,请您耐心等待。 审批成功。 系统后台审批通过之后,会通过邮件(如果在申请表中填写了邮箱地址)或短消息的方式通知您。 在“我的公测”页面单击“前往控制台”,或者重新进入DataArts Insight管理控制台即可使用DataArts Insight服务。
共100000条