检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群中的NodeManager实例数量达到5000,ResourceManager实例的JVM参数建议配置为:-Xms100G -Xmx100G -XX:NewSize=3G -XX:MaxNewSize=6G 观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
主要显示每个主机的IP地址信息、机架规划信息、运行状态以及硬件资源等使用情况。 角色视图 主要显示各主机上当前已部署的角色。如果该角色支持主备模式,则角色名称显示为加粗。 表3 主机运行状态说明 状态 说明 良好 表示主机当前状态正常。 故障 表示主机当前无法正常工作。 未知 表示主机的初始状态信息无法检测。 已隔离
01-0018</host> <port>24002</port> </node> <node index="3"> <host>server-2110082001-0017</host> <port>24002</port>
前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 MRS 3.x之后至MRS 3.3.1-LTS之前的版本,Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本。 操作步骤
左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效,无需重启服务。 日志格式 Hive的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字
log Ranger鉴权插件运行日志。此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 表3 MirrorMaker日志列表 日志类型 日志文件名 描述 运行日志 mirrormaker.out MirrorMaker进程启动信息。
左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,然后单击“确定”,成功后配置生效。 日志格式 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名
连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor
permission java.net.SocketPermission ".abc.com:1-", "connect,resolve"; 表3 属性权限 权限类型 权限名 允许的操作 示例 java.util.PropertyPermission 需要访问的jvm属性名 read:读
--producer.config /opt/client/Kafka/kafka/config/producer.properties 输入消息内容: 3,zhangsan 4,wangwu 8,zhaosi 输入完成后按回车发送消息。 登录数据仓库服务(DWS)客户端执行以下命令查看Sink表中是否接收到数据。
息。 若作业已运行结束,对于在session中提交的作业,可以单击“Tracking URL”链接登录Flink原生页面查看作业信息。 图3 在Yarn WebUI查看作业信息 验证作业执行结果: FlinkIoTDBSink执行结果验证: 在IoTDB客户端执行以下命令,查看数
getInt( "log.time.threshold", 120); } } 样例3:main()方法创建一个job,指定参数,提交作业到hadoop集群。 public static void main(String[]
sessionPool = new IoTDBSessionPool("127.0.0.1", 22260, "认证用户名", "认证用户密码", 3); // start consumer thread KafkaConsumerMultThread consumerThread
getInt( "log.time.threshold", 120); } } 样例3:main()方法创建一个job,指定参数,提交作业到hadoop集群。 public static void main(String[]
Combine output records=6 Reduce input groups=3 Reduce shuffle bytes=114 Reduce input
IDEA,单击“Configure”下拉按钮。 图2 Choosing Configure 在“Configure”下拉菜单中单击“Project Defaults”。 图3 Choosing Project Defaults 在“Project Defaults”菜单中选择“Project Structure”。
hadoop”,在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。 如果使用keytab登录方式,按3获取keytab文件;如果使用票据方式,则无需获取额外的配置文件。 将获取到的这些文件拷贝到示例工程的 src/main/resources目录。
左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效,无需重启服务。 日志格式 Hive的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字
3.28 2026.9.28 以上表格中加粗的版本为全网开放的不受限版本,其他版本为受限使用阶段,如需使用普通版集群请提交工单申请开通。 表3 MRS LTS版本生命周期表 版本名称 状态 发布时间 停止销售日(EOM) 停止全面支持日(EOFS) 停止服务日(EOS) MRS 3
通过Manager添加子租户(MRS 3.x及之后版本) 登录MRS集群Manager界面,单击“租户资源”。 登录集群Manager界面请参考访问MRS集群Manager。 在左侧租户列表,选择父租户节点然后单击,打开添加子租户的配置页面,配置相关参数。 使用Superior调度器集群请参考表3为子租户配置属性。