华为云用户手册

  • expand_hashtable_ratio 参数说明:控制Hash Agg和Hash Join算子执行过程中hash表的大小扩大比例。 参数类型:USERSET 取值范围:浮点型,0, 0.5~10 默认值设置为0时表示hash表大小会根据当前内存进行自适应扩展。 默认值设置为0.5~10之间时,显式的是指定hash表扩大的倍数,通常hash表越大性能越好,但会占用更多内存空间,在内存不足场景可能造成数据提前下盘,带来性能劣化。 默认值:0
  • hashjoin_spill_strategy 参数说明:选择hashjoin下盘策略。(该参数8.1.2及以上版本支持) 参数类型:USERSET 取值范围:整型,0~6 0:当内表较大且无法在数据库可用内存放下所有数据时,会将数据划分成不同的子分区,直到多次划分后无法分开且仍无法在内存放下所有数据时,尝试外表是否可以放到可用内存中建立哈希表。若外表可以放到可用内存中建立哈希表,则执行HashJoin。反之,则执行NestLoop。 1:当内表较大且无法在数据库可用内存放下所有数据时,会将数据划分成不同的子分区,直到多次划分后无法分开且仍无法在内存放下所有数据时,尝试外表是否可以放到可用内存中建立哈希表。如果内外表均很大,强制执行HashJoin。 2:当内表较大,并且多次下盘无法分开时,强制执行HashJoin。 3:当内表较大,并且多次下盘无法分开时,尝试外表是否可以放到数据库可用内存建立哈希表。如果内外表均很大,则报错。 4:当内表较大,并且多次下盘无法分开时,则报错。 5:当内表较大且无法在数据库可用内存放下所有数据时,如果外表数据可以放到内存中,则使用外表建立哈希表执行HashJoin。如果外表数据无法存放到内存中,则将数据划分成不同的子分区,直到内外表多次划分均无法分开时,执行NestLoop。 6:当内表较大且无法在数据库可用内存放下所有数据时,如果外表数据可以放到内存中,则使用外表建立哈希表执行HashJoin。如果外表数据无法存放到内存中,则将数据划分成不同的子分区,直到内外表多次划分均无法分开时,强制执行HashJoin。 此参数只对向量化HashJoin生效。 对于数据distinct值很小且数据量很大的场景,可能出现无法下盘导致使用内存过大产生内存不受控的问题。 取值0时通过尝试内外表交换或者Nestloop可以避免出现此类内存不受控问题。 执行Nestloop可能造成某些场景性能劣化。遇到此种场景,该参数可取值1、2、6强制执行HashJoin。 取值0对向量化Full Join不生效,行为与取值1相同。只尝试外表是否可建立哈希表,不执行NestLoop。 取值5和6相对于取值0和1的优势是如果内表数据量大到无法直接放于可用内存中,但是外表可以,则直接使用外表进行Hashjoin,减少后续多次下盘划分数据的时间消耗。当外表数据distinct较少时,使用外表建立哈希表可能导致性能劣化。此时可以将参数取值调整到0或者1。 默认值:0
  • enable_agg_limit_opt 参数说明:标识是否对select distinct col from table limit N 场景优化,其中N小于16384时生效, table为列存表。该参数仅8.2.0.101及以上集群版本支持。 参数类型:USERSET 取值范围:布尔型 on表示开启该优化。开启后可保证查询结果来自不同DN,且各个DN无需全部建立全量hash表,可显著提升查询性能。 off表示关闭该优化。 默认值:on
  • inlist_rough_check_threshold 参数说明:当enable_csqual_pushdown开启时、过滤条件为IN进行rough check条件下推时,控制IN条件中值的个数的最大值。IN过滤条件中值的个数超过该参数时,将获取IN条件中值的最大/最小值进行条件下推。该参数仅8.2.0.101及以上集群版本支持。 参数类型:SUSET 取值范围:整型,0~10000 默认值:100 如果IN条件在表的单列分布列上进行,可以在DN进行值的过滤,此时IN条件中值的个数的最大值为inlist_rough_check_threshold的DN倍。
  • stream_ctescan_refcount_threshold 参数说明:当enable_stream_ctescan开启时,控制CTE的最大引用次数。该参数需与stream_ctescan_max_estimate_mem共同使用。当CTE的估算内存大于stream_ctescan_max_estimate_mem且引用次数小于stream_ctescan_refcount_threshold时,将使用inline方式执行;反之,则使用share scan方式执行。该参数仅8.2.1及以上集群版本支持。 参数类型:SUSET 取值范围:整型,0~INT_MAX 默认值:4 该参数仅在取值大于0时生效,取值为0时仅依赖stream_ctescan_max_estimate_mem控制inline行为。
  • dict_plan_duplicate_ratio 参数说明:用于设置表的某一列的重复率大小,大于等于此阈值才会构建字典编码。字典的典型场景是该列distinct很少,重复率很大。该参数仅8.3.0及以上集群支持。 参数类型:USERSET 取值范围:0.0~100,单位:百分比 默认值:90 构建字典编码需同时满足dict_plan_distinct_limit和dict_plan_duplicate_ratio参数阈值。
  • autoanalyze 参数说明: 标识是否允许在生成计划的时候,对于“统计信息完全缺失”或“修改量达到analyze阈值”的表进行统计信息自动收集,当前不支持对外表触发autoanalyze,不支持对带有ON COMMIT [DELETE ROWS|DROP]选项的临时表触发autoanalyze,如需收集,需用户手动执行analyze操作。如果在auto analyze某个表的过程中数据库发生异常,当数据库正常运行之后再执行语句有可能仍提示需要收集此表的统计信息。此时需要用户对该表手动执行一次analyze操作,以同步统计信息数据。 表的修改量达到analyze阈值是指:表的修改量超过autovacuum_analyze_threshold + autovacuum_analyze_scale_factor * reltuples,其中reltuples是pg_class中记录的表的估算行数。 参数类型:SUSET 取值范围:布尔型 on表示允许自动进行统计信息收集。 off表示不允许自动进行统计信息收集。 默认值:on
  • enable_extrapolation_stats 参数说明: 标识是否允许基于历史统计信息使用推理估算的逻辑。使用该逻辑对于未及时收集统计信息的表可以增大估算准确的可能性,但也存在错误推理导致估算过大的可能性。 参数类型:USERSET 取值范围:布尔型 on表示允许基于历史统计信息使用推理估算的逻辑。 off表示不允许基于历史统计信息使用推理估算的逻辑。 默认值: 若当前集群为低版本升级到8.2.0.100及以上集群版本,为保持和前向兼容,默认值为off。 若当前集群为新装的8.2.0.100及以上集群版本,默认值为on。
  • enable_sonic_hashagg 参数说明:标识是否依据规则约束使用基于面向列的hash表设计的Hash Agg算子。 参数类型:USERSET 取值范围:布尔型 on表示在满足约束条件时使用基于面向列的hash表设计的Hash Agg算子。 off表示不使用面向列的hash表设计的Hash Agg算子。 在开启enable_sonic_hashagg,且查询达到约束条件使用基于面向列的hash表设计的Hash Agg算子时,查询对应的Hash Agg算子内存使用通常可获得精简。但对于代码生成技术可获得显著性能提升的场景(enable_codegen打开后获得较大性能提升),对应的算子查询性能可能会出现劣化。 开启enable_sonic_hashagg,且查询达到约束条件使用基于面向列的hash表设计的Hash Agg算子时,在Explain Analyze/Performance的执行计划和执行信息中,算子显示为“Sonic Hash Aggregation”,而未达到该约束条件时,算子名称将显示为“Hash Aggregation”。 默认值:on
  • enable_analyze_partition 参数说明: 控制是否支持对表的某个分区收集统计信息。开启该参数后,可以通过ANALYZE table_name PARTITION ( partition_name ) 收集某个分区的统计信息,查询表的这个分区上的数据时,优化器会选择使用分区统计信息。 参数类型:USERSET 取值范围:布尔型 on表示支持对表的某个分区收集统计信息。 off表示不支持对表的某个分区收集统计信息。 默认值:off
  • query_dop 参数说明: 用户自定义的查询并行度。 参数类型:USERSET 取值范围:整型,-64-64 [1,64]:打开固定SMP功能,系统会使用固定并行度。 0:打开SMP自适应功能,系统会根据资源情况和计划特征动态为每个查询选取[1,8]之间(x86平台),[1,64]之间(鲲鹏平台)的最优的并行度。 [-64,-1]:打开SMP自适应功能,并限制自适应选取的最大并行度。 对于短查询为主的TP类业务中,如果不能通过CN轻量化或下发语句进行业务的调优,则生成SMP计划的时间较长,建议设置query_dop=1。对于AP类复杂语句的场景,建议设置query_dop=0。 在开启并行查询后,请保证系统CPU、内存、网络、I/O等资源充足,以达到良好效果。 为了避免用户设置不合理的过大值造成性能劣化,系统会计算出该DN可用最大CPU核数,并以此来作为query_dop的上限。如果用户设置query_dop超过4并且同时超过该上限,那么系统会重置query_dop为该上限值。 默认值:1(64GB及以上内存规格默认值为0)
  • runtime_filter_type 参数说明: 标识使用的runtime filter类型,仅在打开enable_bloom_filter时生效。该参数仅9.1.0.100及以上集群版本支持。 参数类型:USERSET 取值范围:枚举类型 All,表示应用所有场景下的runtime filter。 Topn_filter,表示应用join场景以及带有limit的order by场景下的runtime filter。 Bloom_filter,表示仅应用join场景下的runtime filter,且满足条件后join会生成bloom filter进行过滤。 Min_max,表示仅应用join场景下的runtime filter,且join场景仅会生成min_max过滤器。 None,表示不使用runtime filter,此时仅对原版bloom filter生效场景具有过滤效果。 默认值:All 适用场景:列存表的HASH JOIN外表侧的计划类型以及列存表带有limit的order by计划类型。 使用限制: JOIN场景使用限制同enable_bloom_filter参数的限制。 带有limit的order by场景下,order by字段类型仅支持SMALLINT、INTEGER、BIGINT、"char"、CHAR(n)/CHARACTER(n)/NCHAR(n)、VARCHAR(n)/CHARACTER VARYING(n)、NVARCHAR2(n)、TEXT、DATE、TIME、TIMESTAMP、TIMESTAMPTZ,其中字符类型其排序规则必须指定为"C"。
  • runtime_filter_cost_options 参数说明: 控制在生成计划时,是否根据cost选择生成应用runtime filter计划。该参数仅9.1.0.200及以上集群版本支持。 参数类型:USERSET 取值范围:字符串 apply_partial:build端只要包含probe端某个runtime filter需要的表,就可以生成runtime filter path。 apply_all:限制build端必须包含probe端可应用的runtime filter需要的所有表,才可以生成runtime filter path。 默认值:'',即生成计划时不考虑根据cost选择应用runtime filter的计划。 若apply_partial和apply_all同时设置,则以apply_all设置生效。
  • analyze_predicate_column_threshold 参数说明:控制是否开启谓词列ANALYZE及限定支持的最小列数。该参数仅9.1.0.100及以上集群版本支持。 参数类型:SIGHUP 取值范围:整型,0~10000 0表示关闭谓词列ANALYZE,不会收集谓词列以及对谓词列进行ANALYZE。 大于0表示开启谓词列收集功能,且仅对列数大于等于此值的表进行谓词列ANALYZE。 默认值:10
  • debug_group_dop 参数说明:当query_dop取值为0时,针对生成的执行计划划分的以Stream算子为顶点的group,均分配统一的dop并行度。此参数用于人为指定特定group的dop进行性能调优,格式为G1,D1,G2,D2,...,其中:G1,G2为group的ID,可以从日志中获得,D1,D2为指定的dop值,可以为任意正整数。 参数类型:USERSET 取值范围:字符型 默认值:空 该参数仅供内部调优使用,不允许用户进行设置,建议保持默认值。
  • llvm_compile_expr_limit 参数说明:用于标识编译表达式个数的阈值,当表达式个数高于该阈值时,只将阈值之内的表达式使用LLVM编译,高于阈值之外的表达式不使用LLVM编译,同时生成编译告警提示(告警提示需要在执行explain performance前SET analysis_options="on(LLVM_COMPILE)")。 参数类型:USERSET 取值范围:整型,-1~INT_MAX 默认值:500
  • random_function_version 参数说明:控制analyze在进行数据采样时选取的random函数版本。该参数仅8.1.2及以上版本支持。 参数类型:USERSET 取值范围:枚举类型 0 表示采用C标准库提供的random函数。 1 表示采用优化增强的random函数。 默认值: 若当前集群为低版本升级到8.2.0.100及以上集群版本,为保持和前向兼容,默认值为0。 若当前集群为新装的8.2.0.100及以上集群版本,默认值为1。
  • constraint_exclusion 参数说明:控制查询优化器使用表约束查询的优化。 参数类型:USERSET 取值范围:枚举类型 on表示检查所有表的约束。 off表示不检查约束。 partition表示只检查继承的子表和UNION ALL子查询。 当constraint_exclusion为on,优化器用查询条件和表的CHECK约束比较,并且在查询条件和约束冲突的时候忽略对表的扫描。 默认值:partition 目前, constraint_exclusion缺省被打开,通常用来实现表分区。为所有的表打开它时,对于简单的查询强加了额外的规划,并且对简单查询没有什么好处。如果不用分区表,可以关掉它。
  • codegen_strategy 参数说明:标识在表达式codegen化过程中所使用的代码生成优化策略。 参数类型:USERSET 取值范围:枚举类型 partial表示当所计算表达式中即使包含部分未被codegen化的函数时,仍可借助表达式全codegen框架调用LLVM动态编译优化策略。 pure表示当所计算表达式整体可被codegen化时,才考虑调用LLVM动态编译优化策略。 在开启代码生成优化会导致查询性能下降的场景下可以设置此参数为pure,其他场景下建议不改变此参数的默认值partial。 默认值:partial
  • enable_bloom_filter 参数说明: 标识是否允许使用BloomFilter优化。 参数类型:USERSET 取值范围:布尔型 on表示允许使用BloomFilter优化。 off表示不允许使用BloomFilter优化。 默认值:on 适用场景:外表侧同线程包含有HDFS内外表或列存表的HASH JOIN会触发Bloom Filter。 使用限制: JOIN类型仅限于INNER JOIN、SEMI JOIN、RIGHT JOIN、RIGHT SEMI JOIN、RIGHT ANTI JOIN、RIGHT ANTI FULL JOIN。 JOIN内表侧关联条件:对于HDFS内外表不能为表达式;对于列存表可以为表达式,但仅限于非JOIN层计算的表达式。 JOIN外表侧关联条件必须为简单列关联。 JOIN内表侧与外表侧关联条件均为简单列关联时,计划层估算必须可以去除1/3以上的数据(仅针对HDFS内外表)。 JOIN不能包含null值关联。 数据类型: HDFS内外表字段类型支持SMALLINT、INTEGER、BIGINT、REAL/FLOAT4、DOUBLE PRECISION/FLOAT8、CHAR(n)/CHARACTER(n)/NCHAR(n)、VARCHAR(n)/CHARACTER VARYING(n)、CLOB、TEXT。 列存表字段类型支持SMALLINT、INTEGER、BIGINT、OID、"char"、CHAR(n)/CHARACTER(n)/NCHAR(n)、VARCHAR(n)/CHARACTER VARYING(n)、NVARCHAR2(n)、CLOB、TEXT、DATE、TIME、TIMESTAMP、TIMESTAMPTZ,其中字符类型其排序规则必须指定为"C"。
  • enable_from_collapse_hint 参数说明:标识是否优先以hint生效的方式重写FROM列表,其次再根据from_collapse_limit、join_collapse_limit参数进行重写。该参数仅8.2.0及以上集群版本支持。 参数类型:USERSET 取值范围:布尔型 on表示优先以hint生效的方式重写FROM列表。 off表示无差别重写FROM列表。 该参数启用时,优化器会优先以hint生效的方式重写FROM列表,但hint是否生效在计划生成后才能知道,因此有可能出现该hint不生效的情况。 该参数关闭时,回退到8.2.0版本之前的计划,即生成计划时不区分表是否有hint。 默认值:on
  • cursor_tuple_fraction 参数说明:优化器估计游标获取行数在总行数中的占比。 参数类型:USERSET 取值范围:浮点型,0.0~1.0。 比默认值小的值与使用 “fast start” 为游标规划的值相偏离,从而使得前几行恢复的很快而抓取全部的行需要很长的时间。比默认值大的值加大了总的估计的时间。在最大的值1.0处,像正常的查询一样规划游标,只考虑总的估计时间和传送第一行的时间。 默认值:0.1
  • join_collapse_limit 参数说明:根据得出的列表项数来判断优化器是否执行把除FULL JOINS之外的JOIN构造重写到FROM列表中。 参数类型:USERSET 取值范围:整型,1~INT_MAX。 设置为1会避免任何JOIN重排。这样就使得查询中指定的连接顺序就是实际的连接顺序。查询优化器并不是总能选取最优的连接顺序,高级用户可以选择暂时把这个变量设置为1,然后指定它们需要的连接顺序。 比默认值小的数值减少规划时间但也降低了执行计划的质量。 默认值:8
  • join_search_mode 参数说明:标识计划路径搜索的方式。 参数类型:USERSET 取值范围:枚举类型 exhaustive:使用传统动态规划和遗传基因方式进行计划路径搜索。 heuristic:使用启发式方法进行计划路径搜索。该方式会加快计划生成的性能,但存在忽略掉最优计划的可能性。该设置仅对于指定Drive Hint或连接表个数大于from_collapse_limit的场景生效。 默认值:heuristic
  • plan_mode_seed 参数说明:该参数为调测参数,目前仅支持OPTIMIZE_PLAN和RANDOM_PLAN两种。其中:OPTIMIZE_PLAN表示通过动态规划算法进行代价估算的最优plan,参数值设置为0;RANDOM_PLAN表示随机生成的plan;如果设置为-1,表示用户不指定随机数的种子标识符seed值,由优化器随机生成[1, 2147483647]范围整型值的随机数,并根据随机数生成随机的执行计划;如果用户指定guc参数值为[1, 2147483647]范围的整型值,表示指定的生成随机数的种子标识符seed,优化器需要根据seed值生成随机的执行计划。 参数类型:USERSET 取值范围:整型,-1~ 2147483647 默认值:0 当该参数设置为随机执行计划模式时,优化器会生成不同的随机执行计划,该执行计划可能不是最优计划。因此在随机计划模式下,会对查询性能产生影响,所以建议在升级、扩容、缩容等正常业务操作或运维过程中将该参数保持为默认值0。 当该参数不为0时,查询指定的plan hint不会生效。
  • llvm_compile_time_limit 参数说明:LLVM编译时间在执行器运行时间中的占比超过llvm_compile_time_limit所设置的阈值,说明LLVM编译时间占比过高,生成告警提示(告警提示需要在执行explain performance前SET analysis_options="on(LLVM_COMPILE)")。该参数仅8.3.0及以上集群版本支持。 参数类型:USERSET 取值范围:浮点型,0.0~1.0 默认值:0.2
  • default_statistics_target 参数说明:为没有用ALTER TABLE SET STATIS TICS 设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量,为负数时,代表使用百分比的形式设置统计目标,负数转换为对应的百分比,即-5代表5%。采样时,会将default_statistics_target * 300作为随机抽样的大小,例如默认值为100时,会随机读取30000个页面再从中随机取30000条数据来完成随机抽样。 参数类型:USERSET 取值范围:浮点型,-100~10000。 比默认值大的正数数值增加了ANALYZE所需的时间,但是可能会改善优化器的估计质量。 调整此参数可能存在性能劣化的风险,如果某个查询劣化,可以考虑 恢复默认的统计信息。 使用plan hint来调整到之前的查询计划。(详细参见使用Plan Hint进行调优) 当此guc参数设置为负数时,如果计算的采样样本数大于等于总数据量的2%,且用户表的数据量小于1600000时,ANALYZE所需时间相比guc参数为默认值的时间会有所增加。 autoanalyze不支持临时表采样方式设置采样大小,采样过程使用参数默认值。 当强制使用内存方式计算统计信息时,采样大小受maintenance_work_mem参数限制。 默认值:100
  • syscache_clean_policy 参数说明:设置DN空闲连接内存及数量清理策略。该参数仅9.1.0.100及以上集群版本支持。 参数类型:SIGHUP 取值范围:字符串 该参数策略由以下三个值组成: 第一个值的取值为0~1,表示DN已使用内存占总可用内存比例。如果已使用内存占用达到该值时,清理1/4的stream线程,继续执行第二个取值的判断。 第二个值的取值为0~1,表示DN上syscache内存占总可用内存比例。如果syscache内存占用达到该值时,继续执行第三个取值的判断。 第三个值的取值为0~INT_MAX,单位为MB。表示空闲线程的syscache内存占用大小。如果空闲线程syscache内存占用达到该值时,则清理该线程占用的syscache。 默认值:0.8,0.3,64 设置该参数前,需使用pv_session_memory_detail视图及pv_total_memory_detail视图查看内存占用情况,进行评估。 设置该参数值时,需遵循设置格式,确保三个值之间以英文逗号分隔,且中间没有空格。 如果没有遵循规定的参数值设置格式导致设置失败,会在日志中产生WARNING类型日志,且使用SHOW命令查询该参数时,显示的为上一次设置成功的参数值;如果设置失败重启,该参数会按照默认值进行设置。 CN上处于Readcommand阶段的线程,超时30s之后,判断syscache大于256MB清理DN。有以下两个操作: 由辅助线程监控内存占用,如果整体内存占用到80%时,清理1/4的stream线程,并判断syscache占用是否超过总占用内存的30%,如果大于30%,则清理大于64MB的Readcommand阶段pg线程的syscache。 stream线程在空闲大于30s,且syscache占用大于64MB,则清理syscache。
  • 什么是 消息通知 服务 消息通知服务(Simple Message Notification, SMN )是可靠的、可扩展的、海量的消息处理服务。它可以依据用户的需求主动推送通知消息,最终用户可以通过短信、电子邮件等方式接收。 图1 SMN产品架构 SMN的主题订阅模型,旨在提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式。在SMN中有两种类型的客户端,即发布者和订阅者。发布者通过主题发布消息,由SMN将消息推送给主题订阅者,订阅者可以为邮箱地址、手机号码、函数及URL地址。 主题作为消息的集合,是一个逻辑访问点和通信渠道,拥有唯一的主题名称。主题创建者可以设置主题策略,授权其他云服务或者用户操作该主题,例如查询主题订阅者列表、发布消息等。
  • 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。 “拉美-圣地亚哥”区域位于智利。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
共100000条