检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dataartsstudio "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/dataartsstudio/v1"
com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dataartsstudio "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/dataartsstudio/v1"
正常情况下,因为每个作业的ID不同,默认使用的复制槽也不同,但是如果使用自定义的复制槽就需要考虑冲突的问题。 自定义复制槽的方法。 图3 自定义复制槽 父主题: 数据集成(实时作业)
看质量作业的基础配置。 图2 质量作业列表 单击左侧导航栏中的“运维管理”,单击操作列的“结果&日志”按钮,可查看质量作业的运行结果。 图3 质量作业运行结果 父主题: 高级使用者:基于MRS Hive的出租车出行数据治理流程
业文件夹名称,选择“移动”。 图1 选择要移动的作业 在弹出的“移动作业”或“移动目录”页面,配置作业要移动到的目录。 图2 移动作业 图3 移动目录 表1 移动作业/作业目录参数 参数 说明 选择目录 选择作业或作业文件夹要移动到的目录,父级目录默认为根目录。 单击“确定”,移动作业。
Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。 (可选)在
Studio数据架构控制台,单击左侧导航栏中的业务指标。 进入业务指标页面后,在页面选择所需要批量修改流程的指标,单击“更多 > 修改流程”,可以将选中的项更改到其它流程。 图3 批量修改流程 父主题: 通用操作
com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dataartsstudio "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/dataartsstudio/v1"
com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dataartsstudio "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/dataartsstudio/v1"
com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dataartsstudio "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/dataartsstudio/v1"
其他参数保持以默认。 图2 配置节点参数 设置作业调度方式。配置调度方式为单次调度或者周期调度。 保存并提交版本。 单击“执行调度”,运行该作业。 图3 查看调度运行结果 在“作业监控”查看作业的调度运行状态,并查看日志信息。 父主题: 数据开发
作空间ID。 X-Auth-Token 是 String IAM Token,Token获取请参见认证鉴权。 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 full_score Integer 满分值。 状态码:400 表4 响应Body参数 参数 参数类型
obs_type 否 String 导出类型,技术报告:technology,业务报告:business,当导出质量报告时,该字段是必填项。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID,获取方法请参见实例ID和工作空间ID。
响应参数 无 请求示例 DELETE /v1/b384b9e9ab9b4ee8994c8633aabc9505/resources/3624d1c3-5df5-4f20-9af9-98eadad6c5f9 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 {
在作业目录中选择需要重命名的作业,右键单击作业名称,选择“重命名”。 图2 重命名作业 在弹出的“重命名作业名称”页面,配置新作业名。 图3 重命名作业名称 表1 重命名作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。
"false"} 表达式的含义是:获取当前的时间点,判断是不是6月,如果是,则表明当前是6月,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式 父主题: 使用教程
MATERIALIZATION: 数值落库(码表) PUBLISH_TO_DLM: 发布数据服务API SUMMARY_STATUS: 整体状态 l3_id 否 String 业务对象l3的ID,ID字符串。 begin_time 否 String 时间过滤左边界,与end_time一起使用,只支持时间范围
IP访问数据源。 单击“新建连接”来创建OBS连接,连接类型选择“对象存储服务(OBS)”后单击“下一步”,配置OBS连接参数,如图3所示。 图3 创建OBS连接 名称:用户自定义连接名称,例如“obslink”。 OBS终端节点:配置为OBS的域名或IP地址,例如“obs.myhuaweicloud
组装成一个tuple 计数1 pairWords = words.map(lambda word:(word,1),True) #使用3个分区 reduceByKey进行汇总 result = pairWords.reduceByKey(lambda v1,v2:v1+v2)
在MRS Spark节点的“血缘关系”页签,手动配置血缘的输入表。假如MRS Spark作业中的输入表为“hive”,则血缘输入配置如图3所示。 图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。