检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在MRS Spark节点的“血缘关系”页签,手动配置血缘的输入表。假如MRS Spark作业中的输入表为“hive”,则血缘输入配置如图3所示。 图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。
MY和GaussDB数据库分别创建migration_table表。MY数据库的migration_table表预先插入数据。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
Administrator系统角色。 将用户加入用户组 以主账号或者具有IAM权限的IAM子用户登录控制台,将需要设置存储空间自动扩容的实例所属的IAM子用户,加入3中创建的用户组,此时该IAM子用户享有该用户组配置的权限。 使用须知 账户需要有足够的余额,才可进行自动扩容。 实例状态正常。 开启自动扩容,将会创建委托,且会自动扣费。
配置域名 为应用添加域名访问时,必须确保您配置的域名已在域名服务商完成注册并备案,否则域名可能无法访问。 若您已有经过注册和备案的域名,请直接至3创建公网域名解析。 若您尚未注册域名,请先购买公网域名,并按照页面提示流程完成域名的备案、解析和相关配置。域名注册、备案流程如下。 购买域名。以ucsclub
info.title API分组名称 导入到新的分组:新的分组名称 导入到已有分组:未使用 支持汉字、英文、数字、下划线,且只能以英文或汉字开头,3 ~ 64字符 填充为分组名称 info.description info.description API分组描述 导入到新的分组:新的分组描述
VM进程,同一台服务器可以有多个Agent。收集节点(Agent1,2,3)负责处理日志,汇聚节点(Agent4)负责写入HDFS,每个收集节点的Agent可以选择多个汇聚节点,这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍,请参见:https://flume
Spark on YARN分两种模式:YARN Cluster和YARN Client。 YARN Cluster模式 运行框架如图3所示。 图3 Spark on yarn-cluster运行框架 Spark on YARN-Cluster实现流程: 首先由客户端生成Appli
、 Tasks划分等信息,对于失败的任务,也可以在查询详情页面查看相关日志。 图1 查看任务详情 图2 任务资源使用情况 图3 任务Stages划分 表3 Stages监控信息 监控项 含义 SCHEDULED TIME SKEW 代表当前Stage节点并发任务被调度的时间 CPU
实例列表,单个实例最大长度32,列表最大长度100 instance_settings 是 Array of InstanceSetting objects 视频设置内容 表3 InstanceSetting 参数 是否必选 参数类型 描述 network_type 是 String 网络类型,枚举:MOBILE_
X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 action 是 String 需要进行的操作。 online:发布 offline:下线
最小值:1 最大值:500 缺省值:20 env_id 否 String 环境的编号 env_name 否 String 环境的名称 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用
txt下载到Notebook的/home/ma-user/work/路径下。其中,桶名称、文件夹和文件的名称均可以按照业务需求自定义。 1 2 3 from modelarts.session import Session session = Session() session.obs
k,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
offset 否 Integer 偏移量,表示查询该偏移量后面的记录。 limit 否 Integer 查询返回记录的数量限制。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使
创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Kerberos类型跨源认证关联的字段 作业类型 数据源 参数 是否必选 数据类型 说明 Flink OpenSource SQL
on Target。 图1 添加选择Target 图2 选择Broadcast Upload Extension,点击“Next”创建 图3 添加Broadcast Upload Extension后效果(ScreenShareExtension是创建时的名称) 设置Extension的支持系统版本号12
格式为(YYYYMMDD'T'HHMMSS'Z')。 X-Project-Id 否 String 使用AK/SK方式认证时必选,携带项目ID信息。 表3 请求Body参数 参数 是否必选 参数类型 描述 cloud_services 否 Array of PublicCloudServiceOrder
获取。 响应消息头中X-Subject-Token的值。 X-App-UserId 否 String 第三方用户ID。不允许输入中文。 表3 请求Body参数 参数 是否必选 参数类型 描述 tag 否 String 任务标签。 ECOMMERCE: 电商 NEWS: 新闻 MARKETING:
char[] 域名。 guaranteedIps 是 char[] 保底ip列表,多个地址中间用分号隔开,最多支持4个地址。 示例代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
SELECT example(s1, 'key1'='value1', 'key2'='value2'), example(*, 'key3'='value3') FROM root.sg.d1; SELECT example(s1, s2, 'key1'='value1', 'key2'='value2')