检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"2000" }, { "name": "city3", "areaCode": "3000" }] } 获取city1的电话区号,EL表达式如下:
Studio资源管理功能来创建两个VPC间的对等连接。 登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面。 图3 新建网络连接 在“实时网络连接”页签中单击“新建”,在弹出的“新建网络连接”对话框输入对应参数,配置参数如下表所示: 表2 新建网络连接参数
source”,对应值为“ldap”。 MRS集群低版本(例如MRS 3.1.0)默认不开放此配置项,则需要联系MRS服务客服或技术支持人员协助处理。 图3 配置ranger.usersync.config.expandor参数 参数配置完成后,单击左上角的“保存”,在弹窗中单击“确定”保存配置。
方式二:单击窗口上方导航栏的DataArts Studio Upload Files按钮,打开文件上传界面,拖拽或者选择本地文件上传。 图3 击窗口上方导航栏的DataArts Studio Upload Files按钮 上传本地小文件(100MB以内)至JupyterLab 对
ormalApi_4246f|payload.data[0].price} 例如,对于A(入口API)>B(普通API)>C(条件分支)这3个顺序节点,节点C需要取节点A的请求参数值和节点B的输出值: A节点编码为EntryApi_3909f,入参userId位置为Path。 取
Pipeline模式的批处理作业和实时处理作业,单击画布的空白处,在右侧显示“作业参数配置”页签,单击此页签,展开配置页面,配置如表3所示的参数。 表3 作业参数配置 功能 说明 变量 新增 单击“新增”,在文本框中填写作业参数的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、点号、中划线和下划线。
选择已存在的Flink作业:请参见表1。 Flink SQL作业:请参见表2。 Flink OpenSource SQL作业:请参见表3。 Flink自定义作业:请参见表4。 高级参数:表5 表1 已存在的Flink作业-属性参数 参数 是否必选 说明 作业类型 是 选择“选择已存在的Flink作业”。
作业支持的数据源。 表1 DataArts Studio支持的数据源 数据源类型 管理中心 数据架构 数据开发 数据目录[2] 数据质量[3] 数据服务 数据安全 数据仓库服务(DWS) √ √ √ √ √ √ √ 数据湖探索(DLI) √ √ √ √ √ √ √ MapReduce服务(MRS
ema_Table1}、${Schema_Table2}、${Schema_Table3}、...${Schema_Table5}、${Column1}、${Column2},${Column3}、...${Column20}、${Input_String1}、${Input_String2}、
tpep_pickup_datetime 上车时间 3 tpep_dropoff_datetime 下车时间 4 passenger_count 乘客人数 5 trip_distance 行驶距离 6 ratecodeid 费率代码 取值如下: 1=Standard rate 2=JFK 3=Newark 4=Nassau
24小时,支持修改。 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后参见表2配置数据对账规则。您也可选择添加对账规则。 图3 打开对账作业规则配置 表2 配置模板规则 模块 参数名 说明 基本信息 子作业名称 在作业的执行结果中,每条规则对应一个子作业。为便于结果查看和日志定位,建议您补充子作业信息。
从字符串中指定的位置往后查找,获取指定字符串的第一个索引,没有则转换为“-1”。例如“aabaabaa”中索引3的后面,第一个“b”的索引是5。 表达式:StringUtils.indexOf(value,"b",3) 从字符串获取指定字符串中任一字符的第一个索引,没有则返回整数-1。例如从“zzaby
不允许源数据库进行恢复操作。 源库需开启Binlog日志,并确保binlog_row_image的参数值为full。 建议MySQL Binlog保留3天以上,不支持强制清理Binlog。 异常/暂停恢复作业时,记录的Binlog位点过期会导致作业恢复失败,需要关注作业异常/暂停时长及Binlog保留时长。
获取指定节点运行中记录的数据,当前只支持获取DLI SQL节点SQL语句运行的作业id。此方法只能获取前面依赖节点的输出。 例如,想要获取DLI节点第3条语句的job ID(DLI节点名为DLI_INSERT_DATA),可以这样使用:#{JSONUtil.path(Job.getRunni
在数据架构控制台,单击左侧导航树中的“模型设计 > 数仓规划”。 单击一个数仓分层下面的“添加模型”,进入“新建模型”页面。 配置模型相关参数。 图3 新建模型 表2 模型参数说明 参数 说明 *模型名称 定义模型名称。只能包含中文、英文字母、数字和下划线。 数据连接类型 选择数据连接类型。
最大重试次数:根据实际需要选择,过多重试可能会导致下游作业运行时间被压缩。 重试间隔时间(秒):根据实际需要选择,过大重试间隔时间可能会导致下游作业运行时间被压缩。 图3 配置失败重试策略 单击“确定”,完成配置 配置作业失败告警 您可以在通知管理页面,为单个作业或所有作业开启失败告警。本章节以批量作业配置为例,为您介绍如果配置作业失败告警。
"cdm:cluster:get" ] } ] } 图3 创建MRS和CDM相关自定义策略 在IAM服务左侧导航窗格中,进入“委托”,搜索“dlg_agency”,找到dlg_agency委托项,单击“授权”。
不填则迁移所有分区。 如果有子分区,以“分区.子分区”的格式填写,例如“P2.SUBP1”。 P0&P1&P2.SUBP1&P2.SUBP3 拆分作业 选择“是”,会根据“作业拆分字段”值,将作业拆分为多个子作业并发执行。 说明: 仅支持目的端为DLI和Hive时配置该参数及作业
置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值,API工具调用时会导致缺少Static参数值的报错。 图3 绑定API 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。
息”页签中,单击“授权”。 在添加授权页面,设置授权的截止时间、选择集群,勾选IAM应用名称,然后单击“确认授权”,完成API的授权。 图3 添加授权 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。