云服务器内容精选

华为云首页用户手册

使用HetuEngine

MAPREDUCE服务 MRS-HetuEngine交互查询引擎概述

HetuEngine交互查询引擎概述 HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面，用户可通过HSConsole界面快速添加数据源。当前版本HetuEngine支持对接的数据源如下表所示。表1 HetuEngine对接数据源一览表 HetuEngine模式数据源数据源模式支持对接的数据源版本安全模式 Hive 安全模式 MRS 3.x、FusionInsight 6.5.1 HBase MRS 3.x、FusionInsight 6.5.1 HetuEngine MRS 3.1.1及以后 GaussDB GaussDB 200、GaussDB A 8.0.0及以后 Hudi MRS 3.1.2及以后 ClickHouse MRS 3.1.1及以后 IoTDB MRS 3.2.0及以后 MySQL MySQL 5.7、MySQL 8.0及以后普通模式 Hive 普通模式 MRS 3.x、FusionInsight 6.5.1 HBase MRS 3.x、FusionInsight 6.5.1 Hudi MRS 3.1.2及以后 ClickHouse MRS 3.1.1及以后 IoTDB MRS 3.2.0及以后 GaussDB 安全模式 GaussDB 200、GaussDB A 8.0.0及以后 MySQL MySQL 5.7、MySQL 8.0及以后 HetuEngine数据源的添加、配置、删除等操作支持动态生效，无须重启集群。目前动态生效不支持关闭，数据源动态生效时间默认为60秒。如需修改动态生效时间，请参考3.e修改“coordinator.config.properties”和“worker.config.properties”中的参数“catalog.scanner-interval”值为需要设定的动态生效时间，例如： catalog.scanner-interval =120s HetuEngine支持查询下推（pushdown），它能把查询，或者部分查询，下推到连接的数据源。这意味着特殊的谓词，聚合函数或者其它一些操作，可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处：提升整体的查询性能。减少HetuEngine和数据源之间的网络流量。减少远端数据源的负载。 HetuEngine对查询下推的具体支持情况，依赖于具体的Connector，以及Connector相关的底层数据源或存储系统。数据源集群域名与HetuEngine集群域名不能相同，HetuEngine也不支持同时对接两个相同域名的数据源（Hive，Hbase，Hudi数据源）。数据源集群与HetuEngine集群节点业务平面网络互通。父主题：使用HetuEngine

MAPREDUCE服务 MRS 使用HetuEngine
MAPREDUCE服务 MRS-配置HetuEngine SQL诊断功能:操作场景

操作场景 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，提升在线SQL运维能力，自动加速在线SQL分析任务，开启SQL诊断能力后，系统可实现如下能力：自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的SQL任务统计，帮助集群管理员快速预判业务运行状态和潜在风险。自动诊断出大SQL、慢SQL及相关提交信息，面向集群管理员多维度可视化呈现，同时提供大SQL、慢SQL的诊断与优化建议。

MAPREDUCE服务 MRS 使用HetuEngine
MAPREDUCE服务 MRS-使用HetuEngine客户端:操作步骤

操作步骤以客户端安装用户登录HetuEngine服务客户端所在节点，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式，完成HetuEngine客户端登录。安全模式：执行以下命令，完成用户认证并登录HetuEngine客户端。 kinit hetu_test hetu-cli --catalog hive --tenant default --schema default 普通模式：执行以下命令，登录HetuEngine客户端。 hetu-cli --catalog hive --tenant default --schema default --user hetu_test hetu_test是一个至少具备“--tenant”指定租户角色的业务用户，且不能是操作系统用户。参数说明： --catalog：（可选）指定的数据源名称。 --tenant：（可选）指定集群启动的租户资源队列，不指定为租户的默认队列。使用此参数时，业务用户需要具有该租户对应角色的权限。MRS 3.3.0及以后版本是否可选根据如下判断：可选：未启用租户的严格校验模式。必选：启用了租户的严格校验模式。 --schema：（可选）指定要访问数据源下的schema名称。 --user：（普通模式下必选）指定要登录客户端执行业务的用户名称，该用户至少需要具有“--tenant”指定队列的相应角色。首次登录客户端需要启动后台HetuEngine集群，大约需等待120秒，可以进入客户端界面。支持SQL语法，兼容开源openLooKeng 1.2.0版本SQL语法。其他参数可以执行hetu-cli --help查看。

MAPREDUCE服务 MRS 使用HetuEngine