MAPREDUCE服务 MRS-Hudi性能调优:推荐资源配置
推荐资源配置
- mor表:
由于其本质上是写增量文件,调优可以直接根据hudi的数据大小(dataSize)进行调整。
dataSize如果只有几个G,推荐跑单节点运行spark,或者yarn模式但是只分配一个container。
入湖程序的并行度p设置:建议 p = (dataSize)/128M,程序分配core的数量保持和p一致即可。内存设置建议内存大小和core的比例大于1.5:1 即一个core配1.5G内存, 堆外内存设置建议内存大小和core的比例大于0.5:1。
- cow表:
cow表的原理是重写原始数据,因此这种表的调优,要兼顾dataSize和最后重写的文件数量。总体来说core数量越大越好(和最后重写多少个文件数直接相关),并行度p和内存大小和mor设置类似。
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 文档数据库服务DDS性能调优_MongoDB性能调优_华为云
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- CDN怎么用_CDN推荐_CDN怎么收费
- MapReduce服务_什么是Hue_如何使用Hue
- WAF怎么用_WAF版本推荐_WAF怎么收费
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Kafka_如何使用Kafka
- 国内的免费CDN_CDN网络_CDN推荐
- 通过CMDB管理复杂应用与资源配置关系_应用运维管理_AOM-华为云