检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkSQL权限介绍 SparkSQL权限 类似于Hive,SparkSQL也是建立在Hadoop上的数据仓库框架,提供类似SQL的结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。
"jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;user
Hive分区修剪的谓词下推增强 配置场景 在旧版本中,对Hive表的分区修剪的谓词下推,只支持列名与整数或者字符串的比较表达式的下推,在2.3版本中,增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统,选择“集群 >
配置Spark Core广播变量 操作场景 Broadcast(广播)可以把数据集合分发到每一个节点上,Spark任务在执行过程中要使用这个数据集合时,就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast,每次任务需要数据集合时,都会把数据序列化到任务里面,不但耗时,还使任务变得很大。
调整Spark Core进程参数 操作场景 Spark on Yarn模式下,有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,
表的最后修改时间只在进行IUD操作的CN记录,要查询库内1天(间隔可在函数中调整)内被修改的所有表,可以使用如下封装函数: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 CREATE OR REPLACE
PG_STAT_XACT_USER_FUNCTIONS PG_STAT_XACT_USER_FUNCTIONS视图包含每个函数的执行的统计信息。 表1 PG_STAT_XACT_USER_FUNCTIONS字段 名称 类型 描述 funcid oid 函数标识。 schemaname
PG_STAT_XACT_USER_TABLES PG_STAT_XACT_USER_TABLES视图显示命名空间中用户表的事务状态信息。 表1 PG_STAT_XACT_USER_TABLES字段 名称 类型 描述 relid oid 表的OID。 schemaname name
PG_STATIO_USER_SEQUENCES PG_STATIO_USER_SEQUENCES视图显示命名空间中所有用户关系表序列的I/O状态信息。 表1 PG_STATIO_USER_SEQUENCES字段 名称 类型 描述 relid oid 序列OID。 schemaname
PG_USER_MAPPINGS PG_USER_MAPPINGS视图显示用户映射的信息。 该视图只是系统表PG_USER_MAPPING可读部分的视图化表现,如果用户无权使用系统表且查询该视图时,有些选项字段会显示为空。普通用户需要授权才可以访问。 表1 PG_USER_MAPPINGS字段
GET_GLOBAL_PREPARED_XACTS 集中式不支持该视图。 父主题: 系统视图
PG_GET_INVALID_BACKENDS 不支持查询该视图,报错提示:“Un-support feature”。 父主题: 系统视图
global_streaming_hadr_rto_and_rpo_stat global_streaming_hadr_rto_and_rpo_stat视图显示流式容灾的主数据库实例和备数据库实例日志流控信息(只可在主数据库实例的主DN使用,备DN以及备数据库实例上均不可获取到统计信息)。
GS_SLOW_QUERY_HISTORY GS_SLOW_QUERY_HISTORY显示当前节点上未转储的慢查询信息。具体字段信息请参考GS_SLOW_QUERY_INFO。本版本中已废弃。 父主题: Query
GLOBAL_SLOW_QUERY_HISTORY GS_SLOW_QUERY_HISTORY显示所有节点上未转储的慢查询信息,本版本中已废弃。具体字段信息请参考GS_SLOW_QUERY_INFO。 父主题: Query
SNAPSHOT.SNAPSHOT SNAPSHOT表记录当前系统中存储的WDR 快照数据的索引信息,开始,结束时间。只能在系统库中查询到结果,用户库中无法查询,WDR Snapshot在启动后(打开GUC参数enable_wdr_snapshot)会触发创建该表。 表1 SNAPSHOT表属性
c2 2 --Hash Join (3,4) Output: t1.c2, t2.c1 3 --Seq Scan on public.t1 Output: t1.c1, t1.c2, t1.c3 4 --Hash
GS_COMM_PROXY_THREAD_STATUS GS_COMM_PROXY_THREAD_STATUS视图用来显示代理通信库comm_proxy的数据收发包统计。只有集中式数据库在安装阶段启动用户态网络部署形态,同时comm_proxy_attr参数的enable_dfx
GS_WLM_WORKLOAD_RECORDS 集中式不支持该视图。 父主题: 系统视图