检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
detail OUT text 清理进度详情,包含总页面数、已扫描页面数、已清理页面数、已清理索引数。
QueryExecutorImpl.java:1191) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:346) 回答: 带有分区条件的查询,Hiveserver会对分区进行优化,避免全表扫描
避免全表扫描,需要查询元数据符合条件的所有分区。 而gaussDB中提供的接口sendOneQuery,调用的sendParse方法中对参数的限制为32767。 如果分区条件数超过32767就异常。 父主题: Hive常见问题
enable_bitmapscan 参数说明:控制优化器对位图扫描规划类型的使用。 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:布尔型 on表示使用。 off表示不使用。
以TPCH Q1为例,使用行执行引擎时,扫描算子的执行时间为405210ms,聚集操作的执行时间为2618964ms;而转换为向量化执行引擎后,扫描算子(SeqScan + VectorAdapter)的执行时间为470840ms,聚集操作的执行时间为212384ms,所以查询能够获得性能提升
默认值为4.0的前提条件是,优化器采用索引来扫描表数据,并且表数据在cache中命中率可以90%左右。 如果表数据空间要比物理内存小,那么减小该值到一个适当水平;相反地,如果表数据在cache中命中率要低于90%,那么适当增大该值。
表示锁住缓冲池、查找共享Hash表、从磁盘读取需要的数据块、扫描它的内容的开销。 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:整型,0~10000。
表示锁住缓冲池、查找共享Hash表、从磁盘读取需要的数据块、扫描它的内容的开销。 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:整型,0~10000。
默认值为4.0的前提条件是,优化器采用索引来扫描表数据,并且表数据在cache中命中率可以90%左右。 如果表数据空间要比物理内存小,那么减小该值到一个适当水平;相反地,如果表数据在cache中命中率要低于90%,那么适当增大该值。
表示锁住缓冲池、查找共享Hash表、从磁盘读取需要的数据块、扫描它的内容的开销。 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:整型,0~10000。
表示锁住缓冲池、查找共享Hash表、从磁盘读取需要的数据块、扫描它的内容的开销。 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:整型,0~10000。
以TPCH Q1为例,使用行执行引擎时,扫描算子的执行时间为405210ms,聚集操作的执行时间为2618964ms;而转换为向量化执行引擎后,扫描算子(SeqScan + VectorAdapter)的执行时间为470840ms,聚集操作的执行时间为212384ms,所以查询能够获得性能提升
n_tuples_fetched bigint 随机扫描行。 n_tuples_returned bigint 顺序扫描行。 n_tuples_inserted bigint 插入行。 n_tuples_updated bigint 更新行。
默认值为4.0的前提条件是,优化器采用索引来扫描表数据,并且表数据在cache中命中率可以90%左右。 如果表数据空间要比物理内存小,那么减小该值到一个适当水平;相反地,如果表数据在cache中命中率要低于90%,那么适当增大该值。
表示锁住缓冲池、查找共享Hash表、从磁盘读取需要的数据块、扫描它的内容的开销。 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:整型,0~10000。
表示锁住缓冲池、查找共享Hash表、从磁盘读取需要的数据块、扫描它的内容的开销。 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:整型,0~10000。
典型场景 当分区扫描路径为Index或Index Only,且分区剪枝结果大于1,并且满足以下条件时。 所有分区索引均为有效的B-tree索引;SQL查询含Limit子句;分区扫描时,不存在带Filter的分区表查询语句。
适用计费项 表1 二进制成分分析包年/包月适用计费项 计费项 计费项说明 扫描最大并发数 按购买的个数计费。 购买时长 支持购买1~9个月或者1年。 购买时长为1年时,可享受实付10个月的优惠。
计算方式由原来的依次扫描完所有分区的数据之后再进行Join,改为了每次扫描一对分区,进行Join,再依次遍历下一个分区。
减少扫描数据量。通过分区的剪枝机制可以实现该点。 尽量减少随机IO。通过聚簇/局部聚簇可以实现该点。 尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。