云服务器内容精选

华为云首页用户手册

配置SMP

数据仓库服务 GAUSSDB(DWS)-SMP适用场景与限制:适用场景

适用场景支持并行的算子计划中存在以下算子支持并行： Scan：支持行存普通表和行存分区表顺序扫描、列存普通表和列存分区表顺序扫描、HDFS内外表顺序扫描；支持GDS数据导入的外表扫描并行。以上均不支持复制表。 Join：HashJoin、NestLoop Agg：HashAgg、SortAgg、PlainAgg、WindowAgg(只支持partition by，不支持order by) Stream：Redistribute、Broadcast 其他：Result、Subqueryscan、Unique、Material、Setop、Append、VectoRow、RowToVec SMP特有算子为了实现并行，新增了并行线程间的数据交换Stream算子供SMP特性使用。以下新增的算子可以看做Stream算子的子类： Local Gather：实现DN内部并行线程的数据汇总 Local Redistribute：在DN内部各线程之间，按照分布键进行数据重分布 Local Broadcast：将数据广播到DN内部的每个线程 Local RoundRobin：在DN内部各线程之间实现数据轮询分发 Split Redistribute：在集群跨DN的并行线程之间实现数据重分布 Split Broadcast：将数据广播到集群所有DN的并行线程上述新增算子可以分为Local与非Local两类，Local类算子实现了DN内部并行线程间的数据交换，而非Local类算子实现了跨DN的并行线程间的数据交换。示例说明以TPCH Q1的并行计划为例：在这个计划中，实现了Hdfs Scan以及HashAgg算子的并行，并且新增了Local Gather和Split Redistribute数据交换算子。其中6号算子为Split Redistribute算子，上面标有的“dop: 4/4”表明Split Redistribute的发送端和接收端线程的并行度均为4。4号算子为Local Gather，上面标有“dop: 1/4”，该算子的发送端线程并行度为4，而接收端线程并行度为1，即下层的5号Hash Aggregate算子按照4并行度执行，而上层的1~3号算子按照串行执行，4号算子实现了DN内并行线程的数据汇总。通过计划Stream算子上标明的dop信息即可看出各个算子的并行情况。

数据仓库服务 GAUSSDB(DWS) 配置SMP
数据仓库服务 GAUSSDB(DWS)-SMP相关参数配置建议

SMP相关参数配置建议如果要打开SMP自适应功能，要设置query_dop=0，需同步调整以下相关参数值，以获取更佳的dop选择： comm_usable_memory 当系统内存较大时，max_process_memory设置较大，可适当调大该值，建议设置为max_process_memory的5%，默认值为4GB。 comm_max_stream 设置建议值为：comm_max_stream=Min(dop_limit * dop_limit * 20 * 2, max_process_memory(字节数) * 0.025 / 总DN数 / 260)，且该值在comm_max_stream取值范围内。 max_connections 设置建议值为：max_connections=dop_limit * 20 * 6 + 24，且该值在max_connections取值范围内。公式中的dop_limit为集群中每个DN对应的CPU数，计算公式为：dop_limit = 单机器的CPU逻辑核数 / 单机器的DN数。父主题：配置SMP

数据仓库服务 GAUSSDB(DWS) 配置SMP
数据仓库服务 GaussDB(DWS)-其他因素对SMP性能的影响

其他因素对SMP性能的影响除了资源因素外，还有一些因素也会对SMP并行性能造成影响。例如分区表中分区数据不均，以及系统并发度等因素。数据倾斜对SMP性能的影响当数据中存在严重数据倾斜时，并行效果较差。例如某表join列上某个值的数据量远大于其他值，开启并行后，根据join列的值对该表数据做hash重分布，使得某个并行线程的数据量远多于其他线程，造成长尾问题，导致并行后效果差。系统并发度对SMP性能的影响 SMP特性会增加资源的使用，而在高并发场景下资源剩余较少。所以，如果在高并发场景下，开启SMP并行，会导致各查询之间严重的资源竞争问题。一旦出现了资源竞争的现象，无论是CPU、I/O、内存或者网络资源，都会导致整体性能的下降。因此在高并发场景下，开启SMP往往不能达到性能提升的效果，甚至可能引起性能劣化。父主题：配置SMP

数据仓库服务 GaussDB(DWS) 配置SMP