检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CCE是否和深度学习服务可以内网通信? CCE是否和深度学习服务可以内网通信? CCE是否和深度学习服务可以内网通信?
在首页“所有服务”中,选择“EI企业智能 > 数据湖工厂”,进入数据开发模块服务的总览页面。
图1 创建数据连接 关键参数说明: 集群名:•已开通MapReduce服务MRS,并创建MR...中创建的MRS集群。 绑定Agent:•已开通数据迁移服务CDM,并创建CDM集群“c...中创建的CDM集群。
CS的使用方法请参见《实时流计算服务用户指南》。 父主题: 数据集成
数据集成 与云数据迁移服务(CDM)无缝集成,依托CDM的强力支撑,支持20多种异构数据源之间可靠高效的数据传输,轻松实现多数据源集成到数据仓库。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell脚本在线代码开发和调测。 支持使用变量和函数。
Host 是 String 请求的服务器信息,从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口,https的默认端口为443。 Content-type 是 String 发送的实体的MIME类型。
签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API
如需了解更多SMN的配置说明,请参见《消息通知服务用户指南》。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。Endpoint您可以从地区和终端节点获取。 接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。当返回多个id,请依据实际的区域(name)获取。
如何新建集群,请参见《MapReduce服务用户指南》的创建集群。 作业名称 是 输入MRS Spark Python作业名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。 参数 是 输入MRS的执行程序参数,多个参数间使用Enter键分隔。
事件检测间隔 配置时间间隔,检测DIS通道或OBS路径下是否有新的消息。时间间隔单位可以配置为秒或分钟。 失败策略 选择节点执行失败后的策略: 结束调度 忽略失败,继续调度 更多节点功能 如需获取更多节点功能,请右键单击画布中的节点图标,根据实际需要选择如表5所示的功能。
表达式使用示例 通过本示例,用户可以了解数据开发模块 EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表