管理数据连接-华为云

数据治理中心 DATAARTS STUDIO-配置主机连接

配置主机连接表1 主机连接参数是否必选说明数据连接类型是主机连接固定选择为主机连接。数据连接名称是数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。标签否标识数据连接的属性。设置标签后，便于统一管理。说明：标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。适用组件是选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。默认全选。全选适用组件后，在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考 DataArts Studio 支持的数据源。基础与网络连通配置主机地址是 Linux操作系统主机的IP地址。请参考“查看云服务器详细信息”获取。绑定Agent 是选择 CDM 集群，CDM集群提供Agent。说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。在调度Shell、Python脚本时，Agent会访问E CS 主机，如果Shell、Python脚本的调度频率很高，ECS主机会将Agent的内网IP加入黑名单。为了保障作业的正常调度，强烈建议您使用ECS主机的root用户将绑定Agent（即CDM集群）的内网IP加到/etc/hosts.allow文件里面。 CDM集群的内网IP获取方式请参见查看集群基本信息/修改集群配置。端口是主机的SSH端口号。 Linux操作系统主机的默认登录端口为22，如有修改可通过主机路径“/etc/ssh/sshd_config”文件中的port字段确认端口号。 KMS密钥是通过KMS加解密数据源认证信息，选择KMS中已创建的密钥。数据源认证及其他功能配置用户名是主机的登录用户名。登录方式是选择主机的登录方式：密钥对密码密钥对是 “登录方式”为“密钥对”时，显示该配置项。主机的登录方式为密钥对时，您需要获取并上传其私钥文件至OBS，在此处选择对应的OBS路径。说明：此处上传的私钥文件应和主机上配置的公钥是一个密钥对，详情请参见密钥对使用场景介绍。密钥对密码是如果密钥对未设置密码，则不需要填写该配置项。密码是 “登录方式”为“密码”时，显示该配置项。主机的登录方式为密码时，填写主机的登录密码。主机连接描述否主机连接的描述信息。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往ECS主机的/tmp目录下去运行的，需要确保/tmp目录磁盘不被占满。父主题：管理数据连接

数据治理中心 DATAARTS STUDIO 管理数据连接

MAPREDUCE服务 MRS-配置数据连接:创建数据连接

创建数据连接登录 MRS 控制台，在导航栏选择“数据连接”。单击“新建数据连接 ”。配置RDS数据连接相关操作请参考创建RDS数据连接相关操作进行配置。 RDS服务PostgreSQL数据库，MRS支持Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库，支持Hive或Ranger组件的集群支持连接该类型数据库。云数据库 GaussDB (for MySQL)，仅MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本支持连接该类型数据库。当前MRS支持的RDS上Postgres数据库版本号为PostgreSQL14。当前MRS仅支持RDS上MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。配置LakeFormation数据连接相关操作请参考创建LakeFormation数据连接相关操作进行配置。单击“确定”完成创建。

MAPREDUCE服务 MRS 管理数据连接

MAPREDUCE服务 MRS-配置数据连接:创建集群时配置数据连接

创建集群时配置数据连接进入购买MRS集群页面。在购买集群页面，选择“自定义购买”。根据不同的外置数据连接场景，进行相关配置。其他参数请参考购买自定义集群进行配置并创建集群。配置RDS数据连接相关操作请参考创建集群时配置RDS数据连接相关操作进行配置。针对MRS 3.3.0-LTS版本，配置LakeFormation数据连接相关操作请参考创建集群时配置LakeFormation数据连接相关操作进行配置。

MAPREDUCE服务 MRS 管理数据连接

数据治理中心 DATAARTS STUDIO-新建数据连接:编辑数据连接

编辑数据连接登录DataArts Studio管理中心控制台，单击“数据连接”，进入数据连接页面。在数据连接列表中，找到所需编辑的连接，然后单击“编辑”。在“编辑数据连接”对话框中，根据需要修改连接参数，参数描述可参考表1。编辑时如果不涉及修改密码，可不填写此项，系统会自动带入上次连接创建时的密码。完成修改后，单击“测试”测试数据连接的是否可以正常连接，如果可以正常连接，单击“确定”。如果测试连接无法连通，数据连接将无法创建，请根据错误提示重新修改连接参数后再进行重试。

数据治理中心 DATAARTS STUDIO 管理数据连接

数据治理中心 DATAARTS STUDIO-新建数据连接:删除数据连接

删除数据连接若删除数据连接，此数据连接下的数据表信息也会被删除，请谨慎操作。登录DataArts Studio管理中心控制台，单击“数据连接”，进入数据连接页面。在数据连接列表中，找到所需删除的连接，然后单击“删除”。在删除确认对话框中，了解删除连接的影响后，若要删除，单击“确定”。如果待删除的连接已被引用，则不可直接删除。删除前需要根据删除提示窗口中的数据连接引用列表，到各组件中解除对该连接的引用，然后再尝试重新删除。

数据治理中心 DATAARTS STUDIO 管理数据连接

数据治理中心 DATAARTS STUDIO-新建数据连接:前提条件

前提条件在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。在创建MRS HBase、MRS Hive等MRS类型的数据连接前，需确保您已购买MRS集群，并且在创建数据链接时已购买选择所需要的组件。在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。如果使用企业模式，您还需要注意以下事项：由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境：对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数据连接的详细操作请参见新建数据连接。对于Serverless服务（例如 DLI ），DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系，在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源，建议通过名称后缀进行区分，详细操作请参见配置企业模式环境隔离。对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，详细操作请参见DB配置。例如，当您的数据湖服务为MRS集群时，需要准备两套MRS集群，且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置，也需要同步到另一套MRS集群上。

数据治理中心 DATAARTS STUDIO 管理数据连接

数据治理中心 DATAARTS STUDIO-新建数据连接:创建数据连接

创建数据连接在DataArts Studio控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。图1 选择管理中心在管理中心页面，单击“数据连接”，进入数据连接页面。图2 创建数据连接单击“创建数据连接”，在弹出的对话框中，选择“数据连接类型”，并参见表1配置相关参数。图3 创建数据连接对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数据连接的详细操作请参见新建数据连接。对于Serverless服务（例如DLI），DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系，在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源，建议通过名称后缀进行区分，详细操作请参见配置企业模式环境隔离。对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，详细操作请参见DB配置。表1 数据连接数据连接类型参数说明 DWS 请参见配置DWS数据连接。 DLI 请参见配置DLI数据连接。 MRS Hive 请参见配置MRS Hive数据连接。 MRS HBase 请参见配置MRS HBase数据连接。 MRS Kafka 请参见配置MRS Kafka数据连接。 MRS Spark 请参见配置MRS Spark数据连接。 MRS Clickhouse 请参见配置MRS Clickhouse数据连接。 MRS Hetu 请参见配置MRS Hetu数据连接。 MRS Impala 请参见配置MRS Impala数据连接。 MRS Ranger 请参见配置MRS Ranger数据连接。 MRS Presto 请参见配置MRS Presto数据连接。 MRS Doris 请参见配置MRS Doris数据连接。 RDS 请参见配置RDS数据连接。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器，推荐使用RDS连接MySQL数据源，请参见配置RDS数据连接。 ORACLE 请参见配置ORACLE数据连接。 DIS 请参见配置DIS数据连接。主机连接请参见配置主机连接。单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。测试通过后，单击“确定”，完成数据连接的创建。

数据治理中心 DATAARTS STUDIO 管理数据连接

数据可视化 DLV-编辑数据连接:大屏编辑页面

大屏编辑页面登录 DLV 控制台，单击“我的大屏”。在“我的大屏”页面，找到需要编辑的大屏，将鼠标移至该大屏图标上，然后单击编辑按钮进入大屏开发页面。图2 编辑大屏在画布中，选中其中一个组件，单击“数据”面板，在打开的数据面板中修改数据配置。数据映射当数据源返回的数据中属性名与字段相同时会自动完成映射，若数据复杂则需要手动输入返回的数据属性名称来配置映射。图3 字段映射自动更新当自动更新请求被勾选时，会每隔一定时间向后台发送请求更新数据，您可在“更新间隔”处自定义发送请求的时间间隔。图4 自动更新

数据可视化 DLV 管理数据连接

云服务器内容精选

管理数据连接

7*24

备案

专业服务

退订

建议反馈

售前咨询热线