检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接时选择同一个集群,如图2所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图3所示。详细操作请参见DB配置。 图2 创建数据连接时选择同一个集群 图3 DB配置 数据准备与同步 数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分
getNodeOutput("count95"),"]")[0],"[")[0],"\\"")[0]},选择Kafka连接和Topic名称。 图3 配置Kafka Client节点参数 作业节点配置完成后,选择测试运行。待作业测试运行成功后,在Kafka Client节点上右键查看日志,可以发现MRS
Yarn队列可配置队列属性,主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图3 MRS Yarn队列详情 图4 DLI队列详情 为分配的队列资源进行授权。 MRS Yarn队列 在MRS Yarn队列详情页面,单击“新
值得注意的是,请求参数可以通过复制并设置操作符,实现多个输入的绑定参数条件匹配绑定字段。 以图3为例,即为访问API时输入两个入参id1和id2,匹配id1和id2数值范围之间的x列值。 图3 请求参数 编辑返回参数信息。 返回参数主要分为三部分,参数名、绑定字段、参数类型。 参数名
您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图3所示。 图3 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials
多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称,只能包含五种字符:英文字母、数字、中文、中划
多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称,只能包含五种字符:英文字母、数字、中文、中划
单击作业目录中的,选择“显示复选框”。 图1 显示作业复选框 勾选需要批量配置的作业,单击 > 作业配置。 图2 作业配置菜单 配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
单表同步 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 单表同步支持以下链路: DMS Kafka > OBS 图3 单表同步 整库同步 支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。 整库同步支持以下链路:
作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。 变量是指不同的作业下取值不同,需要重新配置值。 常量是指在不同的作业下都是一样的,不需要重新配置值。 图3 作业参数 作业参数定义好之后,可以在作业节点里面引用该参数。 图4 引用作业参数 脚本参数 脚本参数支持如下使用方式,脚本参数的作用范围为当前脚本。
0/2U4G 2.3.0/2U4G 14 152 2.6 17133 增量 5 MySQL 8.0/2U4G 2.3.0/2U4G 14 152 3 20303 全量+增量 5 MySQL 8.0/2U4G 2.3.0/2U4G 14 152 9 61750 MySQL > Doris 增量
出”,导出规则模板。 图2 规则模板导出确认 导出成功后,在导出记录中单击“下载”,即可通过浏览器下载地址,获取到导出的xlsx文件。 图3 获取规则模板导出结果 导出质量作业 单击左侧导航上的“质量作业”,进入质量作业列表。 在质量作业列表,选择需要迁移的质量作业,然后单击“导出”。
数说明请参见配置DWS连接。 图2 配置DWS连接 同上述步骤,创建MRS Hive数据连接,参数说明请参见配置MRS Hive连接。 图3 配置MRS Hive连接 创建并执行数据迁移作业 登录DataArts Studio控制台,单击相应工作空间后的“数据集成”。 在“集群管
删除操作无法撤销,请谨慎操作。 查看策略详情:在hetu权限同步页面,找到需要查看的策略,单击对应任务操作栏中的“详情”,即可查看策略详情。 图3 查看策略详情 父主题: 数据权限访问控制
请参见管理资产标签。 其他配置 填写“高级配置”中自定义项的名称与输入值。 在模板的“关系”Sheet页中,所需填写的参数,说明如下: 表3 关系Sheet页参数说明 参数名 参数说明 关系名称 关系的名称,只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文或英文字母开头。
多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 total 是 Long 总记录数 instances 是 List<Instance> 作业实例状态,参考表4。
默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 流程名称。 description 否 String 描述。
未来一周调度结束情况 可以查看未来一周的作业调度结束的数据,包含作业名称、调度结束时间以及责任人。 调度结束时间小于或等于2天,显示为红色。 调度结束时间在3~5天,显示为橙色。 调度结束时间在6~7天,显示为黑色。 父主题: 运维调度
计划时间为1点,小时的参数取值为01,以此类推。 业务ID参数 业务ID会替换成当前业务的实际ID,包括作业ID和作业生成的实例ID。 表3 业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id
模方法主要有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。