配置数据源-华为云

MAPREDUCE服务 MRS-配置GAUSSDB数据源:约束

约束不支持如下语法：GRANT、REVOKE、SHOW GRANTS、SHOW ROLES、SHOW ROLE GRANTS。 UPDATE和DELETE语法不支持筛选条件子句中包含跨catalog的条件，例如：UPDATE mppdb.table SET column1=value WHERE column2 IN (SELECT column2 from hive.table)。 UPDATE语法不支持更新DATE/TIMESTAMP/VARBINARY字段。不支持查询WHERE语句条件为REAL，例如SELECT * FROM mppdb.table WHERE column1 = REAL '1.1'。 DELETE语法不支持筛选条件子句中包含子查询，例如：DELETE FROM mppdb.table WHERE column IN (SELECT column FROM mppdb.table1)。 HetuEngine支持GaussDB数据源Decimal/Number/Numeric类型数据的最大精度不超过38位。当谓词的前后两端任意一端包含子查询时，该谓词不会下推，如示例语句count(*) 后面存在子查询，则不下推，但子查询中的min函数可以下推。 select count(*) from item where i_current_price = (select min(i_current_price) from item);

MAPREDUCE服务 MRS 配置数据源

MAPREDUCE服务 MRS-配置GAUSSDB数据源:前提条件

前提条件数据源所在集群与HetuEngine集群节点网络互通。在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。已创建HetuEngine计算实例。

MAPREDUCE服务 MRS 配置数据源

MAPREDUCE服务 MRS-配置GAUSSDB数据源:数据类型映射

数据类型映射 GAUSSDB数据类型（data type） HetuEngine数据类型（data type） BOOLEAN BOOLEAN TINYINT TINYINT SMALLINT SMALLINT INTEGER INTEGER BINARY_INTEGER INTEGER BIGINT BIGINT SMALLSERIAL SMALLINT SERIAL INTEGER BIGSERIAL BIGINT FLOAT4 (REAL) REAL FLOAT8(DOUBLE PRECISION) DOUBLE PRECISION DECIMAL[p (,s)] DECIMAL[p (,s)] NUMERIC[p (,s)] DECIMAL[p (,s)] CHAR(n) CHAR(n) CHARACTER(n) CHAR(n) NCHAR(n) CHAR(n) VARCHAR(n) VARCHAR(n) CHARACTER VARYING(55) VARCHAR(n) VARCHAR2(n) VARCHAR(n) NVARCHAR2(n) VARCHAR TEXT(CLOB) VARCHAR DATE TIMESTAMP TIMESTAMP TIMESTAMP UUID UUID JSON JSON

MAPREDUCE服务 MRS 配置数据源

MAPREDUCE服务 MRS-配置MySQL数据源:前提条件

前提条件数据源与HetuEngine集群节点网络互通。集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建HetuEngine业务用户，并为其赋予HDFS管理员权限，即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组，创建用户可参考创建HetuEngine用户。已创建HetuEngine计算实例，可参考创建HetuEngine计算实例。已获取MySQL数据库所在的IP地址，端口号，用户名及密码。

MAPREDUCE服务 MRS 配置数据源

MAPREDUCE服务 MRS-配置MySQL数据源:MySQL与HetuEngine数据类型映射

MySQL与HetuEngine数据类型映射 MySQL数据类型到HetuEngine数据类型映射 MySQL类型 HetuEngine类型 BIT BOOLEAN BOOLEAN TINYINT TINYINT TINYINT SMALLINT SMALLINT INTEGER INTEGER BIGINT BIGINT DOUBLE PRECISION DOUBLE FLOAT REAL REAL(m, d) REAL(m, d) DECIMAL(p, s) DECIMAL(p, s) CHAR(n) CHAR(n) VARCHAR(n) VARCHAR(n) TINYTEXT VARCHAR(255) TEXT VARCHAR(65535) MEDIUMTEXT VARCHAR(16777215) LONGTEXT VARCHAR ENUM(n) VARCHAR(n) BINARY, VARBINARY, TINYBLOB, BLOB, MEDIUMBLOB, LONGBLOB VARBINARY JSON JSON DATE DATE TIME(n) TIME(n) DATETIME(n) TIMESTAMP(n) TIMESTAMP(n) TIMESTAMP(n)

MAPREDUCE服务 MRS 配置数据源

MAPREDUCE服务 MRS-配置HBase数据源:数据类型映射

数据类型映射 HBase是基于字节的分布式存储系统，它将所有数据类型存储为字节数组。要在HetuEngine中表示HBase数据，需要先在HetuEngine中通过创建映射表的方式为HetuEngine列限定符选择与HBase列限定符的值相匹配的数据类型。目前HetuEngine列限定符支持以下数据类型：VARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、DOUBLE、BOOLEAN、TIME、DATE和TIMESTAMP。

MAPREDUCE服务 MRS 配置数据源

MAPREDUCE服务 MRS-配置HBase数据源:前提条件

前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。已创建HetuEngine计算实例。

MAPREDUCE服务 MRS 配置数据源

MapReduce服务 MRS-配置数据源前必读

配置数据源前必读 HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面，用户可通过HSConsole界面快速添加数据源。当前版本HetuEngine支持对接的数据源如表1所示。表1 HetuEngine对接数据源一览表 HetuEngine模式数据源数据源模式支持对接的数据源版本安全模式 Hive 安全模式 MRS 3.x、FusionInsight 6.5.1 HBase MRS 3.x、FusionInsight 6.5.1 Elasticsearch MRS 3.1.2及以后 HetuEngine MRS 3.1.1及以后 GaussDB GaussDB 200、GaussDB A 8.0.0及以后 Hudi MRS 3.1.2及以后 ClickHouse MRS 3.1.1及以后 IoTDB MRS 3.2.0及以后普通模式 Hive 普通模式 MRS 3.x、FusionInsight 6.5.1 HBase MRS 3.x、FusionInsight 6.5.1 Elasticsearch MRS 3.1.2及以后 Hudi MRS 3.1.2及以后 ClickHouse MRS 3.1.1及以后 IoTDB MRS 3.2.0及以后 GaussDB 安全模式 GaussDB 200、GaussDB A 8.0.0及以后 HetuEngine数据源的添加、配置、删除等操作支持动态生效，无须重启集群。目前动态生效不支持关闭，数据源动态生效时间默认为60秒。如需修改动态生效时间，请参考创建HetuEngine计算实例的3.e修改“coordinator.config.properties”和“worker.config.properties”中的参数“catalog.scanner-interval”值为需要设定的动态生效时间，例如： catalog.scanner-interval =120s HetuEngine支持查询下推（pushdown），它能把查询，或者部分查询，下推到连接的数据源。这意味着特殊的谓词，聚合函数或者其它一些操作，可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处：提升整体的查询性能。减少HetuEngine和数据源之间的网络流量。减少远端数据源的负载。 HetuEngine对查询下推的具体支持情况，依赖于具体的Connector，以及Connector相关的底层数据源或存储系统。数据源集群域名与HetuEngine集群域名不能相同，HetuEngine也不支持同时对接两个相同域名的数据源（Hive，Hbase，Hudi数据源）。数据源集群与HetuEngine集群节点业务平面网络互通。父主题：配置数据源

MapReduce服务 MRS 配置数据源

云服务器内容精选

配置数据源

7*24

备案

专业服务

退订

建议反馈

售前咨询热线