检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Presto 依赖Hive PCD(Coordinator) 只能部署在Master节点上。 角色实例部署数量范围:2。 PWK(Worker) 所有节点均可部署。 角色实例部署数量范围:1~10000。
开启动态过滤功能,需先开启HBase单表查询范围扫描优化功能,然后还需要在计算实例的“coordinator.config.properties”和“worker.config.properties”参数文件中添加自定义参数“enable-dynamic-filtering”,值为
“Describe”权限主要对于开启事务特性的客户端与Coordinator的请求进行鉴权。 建议在开启事务特性的场景下,给用户同时授予“Publish”和“Describe”权限。
交互窗口创建数据表person,该表有3个字段:name/gender/stayTime,使用命令CREATE TABLE person(name STRING, gender STRING, stayTime INT) ROW FORMAT DELIMITED FIELDS TERMINATED
“Describe”权限主要对于开启事务特性的客户端与Coordinator的请求进行鉴权。 建议在开启事务特性的场景下,给用户同时授予“Publish”和“Describe”权限。
hsconsole/hsconsole-audit.log.0 /var/log/Bigdata/audit/hetuengine/hsfabric/hsfabric-audit.log.0 hdfs://hacluster/hetuserverhistory/租户/coordinator
Spark2x实现了命令的本地化,使用Spark SQL Native DDL/DML取代Hive执行DDL/DML命令。一方面实现和Hive的解耦,另一方面可以对命令进行定制化。
需要保证HetuEngine计算实例中Coordinator和Worker节点都至少为2个才能进行计算实例的滚动重启,计算实例滚动重启不中断业务。 HSFabric正在滚动重启的节点会拒绝所有新请求,正在执行的SQL请求若在超时时间(默认30分钟)内没有执行完会失败。
Spark 3.1.1版本实现了命令的本地化,使用Spark SQL Native DDL/DML取代Hive执行DDL/DML命令。一方面实现和Hive的解耦,另一方面可以对命令进行定制化。
创建数据表 CREATE TABLE IF NOT EXISTS test_table ( id INT, name STRING, age INT, gender STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED
/commons-configuration-1.6.jar 17/10/26 19:12:38 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/opt/client/HDFS/hadoop/lib/native
约束限制: 不涉及 取值范围: -1:Terminated 1:Starting 2:Running 3:Completed 4:Abnormal 5:Error 默认取值: 不涉及 job_final_status Integer 参数解释: 作业最终状态码。
JobGateway JobGateway组件提供REST API作业提交能力。 JobGateway作为大数据作业提交功能的网关组件,提供完全可控的企业级大数据作业提交服务,可轻松完成Spark、Flink、Hive等大数据作业任务提交功能。更多关于JobGateway组件操作指导
从零开始使用JobGateway JobGateway是模拟大数据(Mapreduce、Spark、Flink、Hive等)客户端用于大数据业务提交功能的网关,是一个具备HTTPS的REST系统服务,支持提交Mapreduce、Spark、Flink、Hive等类型的大数据作业,
切换MRS集群VPC子网 子网是虚拟私有云(VPC)内的IP地址集,可以将虚拟私有云的网段分成若干块,子网划分可以帮助您合理规划IP地址资源。虚拟私有云中的所有云资源都必须部署在子网内。同一个虚拟私有云下,子网网段不可重复。 默认情况下,同一个VPC中,不同子网内的所有实例网络互通
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用,管理员可以为MRS集群重新指定或者更换新的NTP服务器,使集群从新的NTP时钟源同步时间。 约束与限制 本章节仅适用于MRS 3.x及以后版本。 前提条件 已准备新的NTP服务器,服务器的NTP服务状态正常
修改MRS集群Manager路由表 安装FusionInsight Manager时系统会自动在主管理节点上创建2条路由信息,执行ip rule list可以查看。 0:from all lookup local 32764:from all to 10.10.100.100
数据复制 根据源集群与目标集群分别所处的区域及网络连通性,可分为以下几种数据复制场景。 同Region 当源集群与目标集群处于同一Region时,根据打通数据传输通道进行网络配置,打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以及
状态码 状态码如表1所示。 表1 状态码 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTPS