MAPREDUCE服务 MRS-Doris数据查询规范:Doris数据查询规则

时间:2024-04-19 11:01:11

Doris数据查询规则

  • 在数据查询业务代码中建议查询失败时进行重试,再次下发查询。
  • in中常量枚举值超过1000后,必须修改为子查询。
  • 禁止使用REST API(Statement Execution Action)执行大量SQL查询,该接口仅用于集群维护。
  • query查询条件返回结果超过5万条,则使用JDBC Catalog或者OUTFILE方式导出查询数据,否则FE上大量数据传输将占用FE资源,影响集群稳定性。
    • 如果是交互式查询,建议使用分页方式(offset limit)导出数据,分页命令为Order by。
    • 如果数据导出提供给第三方使用,建议使用outfile或者export方式
  • 2个以上大于3亿的表JOIN使用Colocation Join。
  • 亿级别大表禁止使用select *查询数据,查询时需明确要查询的字段。
    • 使用SQL Block方式禁止select *操作。
    • 如果是高并发点查询,建议开启行存储(Doris 2.x版本支持),并且使用PreparedStatement查询。
  • 亿级以上表数据查询必须设置分区分桶条件。
  • 禁止对分区表执行全分区数据扫描操作。
support.huaweicloud.com/devg-rule-mrs/mrs_07_450072.html