检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
境变量。 curl -H "Content-Type:application/json" https://{iam_endpoint}/v3/auth/tokens -X POST -d '{ "auth": { "identity": {
调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终
部署web环境 一站式大数据业务开发 搭建实时报警平台 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 06 API 提供API对数据湖工厂服务进行相关操作，如执行作业、停止执行作业等。
该节点方便用户在DLF的批处理作业和实时处理作业中执行DWS相关语句，可以使用参数变量为用户的数据仓库进行增量导入，分区处理等操作。 参数 用户可参考表1，表2和表3配置DWS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“
Client节点执行一个华为云内的RESTful请求，目前只支持IAM Token认证鉴权方式的RESTful请求。 参数 用户可参考表1，表2和表3配置Rest Client节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、
该节点方便用户在DLF的周期与实时调度中执行DLI相关语句，可以使用参数变量为用户的数仓进行增量导入，分区处理等动作。 参数 用户可参考表1，表2和表3配置DLI SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“
此JAR包。 创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS，并创建桶，例如“s3a://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“spark_clust
StringUtil内嵌对象提供了一系列字符串操作方法，例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的，具体使用方法请参考appache commons文档。 举例 假设变量a为字符串No.0010，返回.后面的子字符串，EL表达式如下：
选择OBS存储路径时，若仅选择至桶名层级，则备份对象自动存储在以“备份日期”命名的文件夹内。环境变量，资源，脚本和作业分别存储在1_env,2_resources,3_scripts和4_jobs文件夹内。 备份成功后，在以“备份日期”命名的文件夹内，自动生成backup.json文件，该文件按照节点类型
CDM Job 功能 通过CDM Job节点执行一个预先定义的CDM作业，实现数据迁移功能。 参数 用户可参考表1，表2和表3配置CDM Job节点的参数。配置血缘关系用以标识数据流向，在数据资产模块中可以查看。 表1 属性参数 参数 是否必选 说明 CDM集群名称 是 选择待执行的CDM作业所属的CDM集群。
请见表3的“基本属性”部分 DWS 请见表4的“基本属性”部分 MRS Hive 请见表5的“基本属性”部分 CloudTable 请见表6的“基本属性”部分 单击“下一步”，在“配置表结构”页面配置如表2所示的参数。 表2 表结构 数据连接类型 参数说明 DLI 请见表3的“表结构”部分
通过DIS将日志数据接入到OBS存储（或者Cloud Search服务），然后通过数据开发模块服务编写数据开发脚本和数据挖掘脚本，实现海量日志分析和挖掘。 图3 场景示例图
状态代码由三位数字组成，第一个数字定义了响应的类别，有五种可能取值： 1xx：指示信息，表示请求已接收，继续处理。 2xx：成功，表示请求已被成功接收、理解、接受。 3xx：重定向，要完成请求必须进行更进一步的操作。 4xx：客户端错误，请求有语法错误或请求无法实现。 5xx：服务器端错误，服务器未能实现合法的请求。
方式三：打开详细的脚本或者作业，单击，选择“新建数据连接” 。 图3 新建数据连接（方式三） 在弹出的对话框中，选择“数据连接类型”，并参见表1配置相关参数。 表1 数据连接 数据连接类型 参数说明 其他说明 DLI 请见表2 DLI类型的数据连接只能创建一个。 DWS 请见表3 - MRS Hive 请见表4 -
myhuaweicloud.com/v3/auth/tokens 请求消息头 附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”，请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 名称 描述 是否必选
更多 > 查看 跳转至作业开发页面，查看作业信息。 单击实例前方的，显示该实例所有节点的运行记录。 在节点的“操作”列，提供如表3所示的操作。 表3 操作（节点） 操作项 说明 查看日志 查看节点的日志信息。 手工重试 节点的状态为“失败”时，支持重新运行节点。 说明： 只有节点的“节点属性
导入脚本 您可以在脚本目录中导入一个或多个脚本文件。 单击作业目录中的 > 导入脚本，选择已上传至OBS中的脚本文件，以及重名处理策略。 图3 导入脚本 单击“下一步”，根据提示导入脚本。 父主题： 脚本开发
c。此处的“参数”需要在Shell脚本中引用，否则配置无效。 例如输入如下shell交互式脚本， 交互参数 1 2 3 对应 begin end exit，那么这里需要输入参数1 2 3 #!/bin/bash select ch in "begin" "end" "exit"; do case
义的文件夹。 存在即报错：系统返回错误信息，退出导出操作。 在编辑器上方，单击，保存脚本。 如果脚本是新建且未保存过的，请配置如表3所示的参数。 表3 保存脚本 参数 是否必选 说明 脚本名称 是 脚本的名称，只能包含五种字符：英文字母、数字、中文、中划线、下划线和点号，且长度小于等于128个字符。
PRESTO SQL脚本，仅亚太-新加坡区域支持。通过PRESTO SQL脚本执行select 查询语句后的查询内容将自动转储至OBS桶的s3a://dlf-log-{project_id}/temp路径下。 Shell脚本 前提条件 脚本的最大配额是1000，请确保当前脚本的数量未达到最大配额。
