云服务器内容精选

华为云首页用户手册

HetuEngine性能调优

MAPREDUCE服务 MRS-调整Hudi数据源性能:调优案例

调优案例某用户使用Hudi MOR表存储其设备的订单出借信息，可通过订单号查询订单详细信息，每天订单量相对稳定，部分节假日可能存在小高峰，该场景存在以下特点：订单号作为唯一值，并且80%以上的查询场景使用订单号进行等值查询，SQL形如select * from table where order_id = 'id1'; 每天订单量稳定，可采用天作为分区键。历史分区更新不频繁，主要数据更新在新分区。调优建议：使用Bucket索引建表（Spark-SQL），并且索引键为订单ID，分区键为日期。定期使用compaction合并日志，提高查询性能。 SQL示例： set hoodie.compact.inline=true; set hoodie.schedule.compact.only.inline=true; set hoodie.run.compact.only.inline=false; create table hudi_mor (order_id int, comb int, col1 string, col2 string, dt int) using hudi partitioned by(dt) options(type='mor', primaryKey='order_id', preCombineField='comb', hoodie.index.type = 'BUCKET', hoodie.bucket.index.num.buckets=100, hoodie.bucket.index.hash.field = 'order_id')

MAPREDUCE服务 MRS HetuEngine性能调优
MapReduce服务 MRS-调整高级特性MDE FOR GaussDB:操作场景

操作场景 GaussDB MDE特性是指在使用HetuEngine服务向GaussDB写入数据时（CTS和ITS语法），解除数据仅通过GaussDB的Coordinator流通的限制，使数据也可通过GaussDB的Worker节点流入GaussDB，减少GaussDB的Coordinator节点压力，并提升数据写入性能。 GaussDB MDE特性需要借助GaussDB的SQL On Hadoop能力，使用外部服务器作为数据传递的载体。HetuEngine目前仅支持使用HDFS外部服务器，并且该HDFS外部服务器需与HetuEngine服务在同一个Hadoop集群。使用HetuEngine执行SQL向GaussDB写入数据，当前仅支持以下两类语法可通过GaussDB MDE特性进行性能提升： CREATE TABLE AS SELECT FROM hive INSERT INTO SELECT FROM hive 当前仅支持GaussDB(DWS) 8.0.0及以后版本

MapReduce服务 MRS HetuEngine性能调优