检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取指定节点运行中记录的数据,当前只支持获取DLI SQL节点SQL语句运行的作业id。此方法只能获取前面依赖节点的输出。 例如,想要获取DLI节点第3条语句的job ID(DLI节点名为DLI_INSERT_DATA),可以这样使用:#{JSONUtil.path(Job.getRunni
在数据架构控制台,单击左侧导航树中的“模型设计 > 数仓规划”。 单击一个数仓分层下面的“添加模型”,进入“新建模型”页面。 配置模型相关参数。 图3 新建模型 表2 模型参数说明 参数 说明 *模型名称 定义模型名称。只能包含中文、英文字母、数字和下划线。 数据连接类型 选择数据连接类型。
在目录树中单击刚建好的目录,然后单击“新建”按钮新建一个码表。 在“新建码表”页面中,做如下配置: 在“基础配置”区域,配置如下参数: 图3 基础配置 表2 基础配置 参数名称 说明 *表名 码表名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *编码 码表的英文名
从字符串中指定的位置往后查找,获取指定字符串的第一个索引,没有则转换为“-1”。例如“aabaabaa”中索引3的后面,第一个“b”的索引是5。 表达式:StringUtils.indexOf(value,"b",3) 从字符串获取指定字符串中任一字符的第一个索引,没有则返回整数-1。例如从“zzaby
可以进行手动确认执行,单击“确认执行”后,作业实例运行状态显示为“等待运行”。 事件驱动调度:根据外部条件触发作业运行,参数说明请参见表3。具体使用教程可参见跨空间进行作业调度。 是否空跑 如果勾选了空跑,任务不会实际执行,将直接返回成功。 任务组 选择已配置好的任务组。配置方法请参见配置任务组。
全量导出包含API的EXCEL压缩文件 全量导出包含API的EXCEL压缩文件。 2400 120 下载EXCEL模板 下载EXCEL模板。 2400 120 申请管理接口 表3 申请管理接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询申请列表 查询申请列表。 2400 120 审核申请
同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。 图2 添加自定义属性 表3 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的
中选择权限的有效期。选择权限有效期支持选择为固定时长(从申请之日开始计算),也可以自定义配置到期时间(到期时间精确为当天晚上24点)。 图3 权限续期 单击“确定”,完成续期申请。 在“续期状态”列查看工单审批状态。 变更有效期 对于用户已申请到的权限,管理员可以进行审视,并调整
Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定migration资源组的下拉框,查看该migration资源组的VPC网段。 图3 查询migration资源组网段 172.16.0.0/19 网络配置流程 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加
Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定migration资源组的下拉框,查看该migration资源组的VPC网段。 图3 查询migration资源组网段 172.16.0.0/19 网络配置流程 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加
Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定migration资源组的下拉框,查看该migration资源组的VPC网段。 图3 查询migration资源组网段 172.16.0.0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Mi
"COL 1" = HEXTORAW('c102') and "COL 2" = HEXTORAW('7364616166') and "COL 3" = HEXTORAW('61736466') and "COL 4" = HEXTORAW('64656661756c745fe6b299e58f91')
设置单个作业重跑 图2 批量设置作业重跑 批量设置多个作业实例重跑时,仅需要配置重跑开始位置、使用的作业参数、是否忽略OBS监听等参数。 表3 参数说明 参数 说明 重跑类型 选择需要重跑的实例。 重跑当前实例 重跑当前作业及其上下游作业实例 开始时间 仅当“重跑类型”选择“重跑当
fromJobConfig.columnList 否 String 需要抽取的列号,列号之间使用“&”分割,并由小到大排序,例如:“1&3&5”。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\
资源管理”,进入资源管理页面。 图2 进入资源管理 在“实时资源管理”页签,单击“购买资源组”,进入购买DataArts Studio增量包页面。 图3 购买资源组 进入购买DataArts Studio增量包页面,参见表1进行配置。 图4 创建数据集成资源组增量包 表1 配置数据集成的增量包
表1 入口API算子 参数 说明 API名称 入口API名称即API工作流名称。 支持中文、英文、数字、下划线,且只能以英文或中文开头,3-64个字符。 请求Path 入口API访问路径即API工作流访问路径,例如:/getUserInfo。 请求Path即完整的URL中,域名
管理员账号,安全集群需要使用rangeradmin作为Ranger管理员账号,rangeradmin默认密码请参考用户账号一览表章节。 图3 登出当前账号 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签,找到列表中Groups列包含
在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知管理”页签。 在通知的“开关”列,单击,切换成时,通知为关闭状态。 图3 关闭通知 查看通知记录 用户可以在通知记录中查看所有的通知信息。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通
单击“确定”。 导入复合指标 可通过导入的方式将复合指标批量快速地导入到系统中。 在复合指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入复合指标 下载复合指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。
在“权限”页签,可申请数据表权限或给其他用户授权。 图2 权限页签详情 在“列属性”页签,可查看数据表的列属性,给数据列添加或删除分类、标签和密级,并编辑描述。 图3 管理列属性 在“血缘”页签,可查看数据表的血缘关系,包括血缘和影响。如何配置数据血缘请参见通过数据目录查看数据血缘关系。数据开发作业配置了