检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作,Connection是线程安全的,因此,多个客户端线程可以共享一个Connection。
由于主备Master节点时间未同步导致ZooKeeper服务不可用 问题背景与现象 MRS集群ZooKeeper服务无法启动,出现ZooKeeper服务不可用告警。 原因分析 以root用户登录主、备Master节点,执行ntpq -p命令查看两节点时间未同步。
FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次,服务日志最多保留30天,审计日志最多保留90天。
如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数,进入Hive服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效,无需重启服务。
FlinkServer服务日志、审计日志默认100MB滚动存储一次,服务日志最多保留30天,审计日志最多保留90天。
如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数,进入Hive服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效,无需重启服务。
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。
其中: Doris FE的查询连接端口,可以通过登录Manager,选择“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。
脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。
Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作,Connection是线程安全的,因此,多个客户端线程可以共享一个Connection。
ApplicationStart,ApplicationEnd,LogStart)写入日志文件中,Job事件(StageSubmitted, StageCompleted, TaskResubmit, TaskStart,TaskEnd, TaskGettingResult, JobStart
配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。
Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时,不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例: select * from default.tbl_src where id = 10001; select
如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构 Hudi特性 ACID事务能力,支持实时入湖和批量入湖。 多种视图能力(读优化视图/增量视图/实时视图),支持快速数据分析。 MVCC设计,支持数据版本回溯。
【Hue WebUI】集群未安装Hive服务时Hue原生页面无法正常显示 用户问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 原因分析 MRS 3.x版本存在Hue依赖Hive组件。
Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作,Connection是线程安全的,因此,多个客户端线程可以共享一个Connection。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。
强制停止一个运行中的Job(仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction) flink cancel -m,--jobmanager <host:port>:指定JobManager。
强制停止一个运行中的Job(仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction) flink cancel -m,--jobmanager <host:port>:指定JobManager。