选择“节点同时重启”或者“节点逐个重启”。 “节点同时重启”会导致服务中断约10~20分钟,适用于短暂停服的维护操作;“节点逐个重启”每次闪断3~5秒,业务影响更小。 图3 重启GeminiDB Influx集群实例 对于GeminiDB Influx单节点实例,单击“是”或“立即重启”即可。
Python 3.6 (runtime = python3) Python 3.9(runtime = python3) Python 3.10(runtime = python3) Python 3.12(runtime = python3) Python函数接口定义 Python函数有明确的接口定义,如下所示。
执行mkdir /sapcd 将/db2sfs目录挂载至SFS: echo "sfs-nas1.***:/share-cd3dc3c2 /sapcd nfs vers=3,timeo=600,nolock 1 2" >>/etc/fstab 执行mount -a挂载 执行df -h查看挂载情况
添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新建集群环境均已默认为Python3环境。 父主题: Spark作业开发类
区原生版本,紧跟社区,3个月同步最新版本,兼容原生API和命令行 专业保障、管家服务 华为业务遍布全球,并提供7X24专家服务,帮助游戏客户在方案设计、实施、重点活动等期间提供一站式服务轻松应对业务迁移和增长 业务挑战 运维压力大 用户爆炸式增长,新服开服时间长,资源扩容缓慢,影
确认处于丢失状态的节点是否是人为未经过退服操作,直接主动删除的主机。 是,执行步骤 3。 否,执行步骤 5。 选择“集群 > 待操作集群的名称 > 服务 > Yarn”,进入“配置”页面,选择“全部配置”,搜索“yarn.nodemanager.lost.alarm.threshold”,修改值为未退服主动删除
源端为NAS_NFS_V3_MOUNT时,为什么任务暂停后恢复任务列举最终列举数量增多? 当源端为 NAS_NFS_V3_MOUNT 时,文件列举通过目录流迭代器实现。由于迭代器遍历无法精准标记位置,若目录存在大量平铺文件,OMS 服务无法获取精确的文件列举快照。 具体表现为:文
Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样,建议使用集群自带jar包。
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序(Java) Flink DataStream样例程序(Scala) 父主题: 开发Flink应用
Flink Kafka样例程序 Flink Kafka样例程序开发思路 Flink Kafka样例程序(Java) Flink Kafka样例程序(Scala) 父主题: 开发Flink应用
Flink Join样例程序 Flink Join样例程序开发思路 Flink Join样例程序(Java) 父主题: 开发Flink应用
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei
initialize(URI.create(conf.get("fs.defaultFS")), conf); 创建group 样例:创建一个gid01组,组中包含3个locator。 /** * 创建group * * @throws java.io.IOException */ private
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务,参考样例程序中的JDBCExample.java。 修改以下变量为false,标识连接集群的认证模式为普通模式。
pplicationMaster使用该协议要求NodeManager启动/中止Container或者查询Container的运行状态。 表3 ContainerManagementProtocol常用方法 方法 说明 getContainerStatuses(GetContainerStatusesRequest
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序(Java) Flink DataStream样例程序(Scala) 父主题: 开发Flink应用
Flink开启Checkpoint样例程序 Flink开启Checkpoint样例程序开发思路 Flink开启Checkpoint样例程序(Java) Flink开启Checkpoint样例程序(Scala) 父主题: 开发Flink应用
k/checkpoint/fd5f5b3d08628d83038a30302b611/chk-X/4f854bf4-ea54-4595-a9d9-9b9080779ffe flink/checkpoint //指定的根目录。 fd5f5b3d08628d83038a30302b611
选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdout”查看该任务的输出结果如图5和图6。 图3 提交的作业 图4 提交的任务 图5 Task1输出结果 图6 Task2输出结果