MapReduce服务 MRS-CREATE TABLE:表配置

时间:2023-11-01 16:25:29

表配置

HetuEngine连接Hive数据源的表支持如下表配置:
表2 Hive数据源的表配置

Catalog名

orc表参数

默认值

类型

描述

hive

orc_compress

GZIP

varchar

高级别的压缩算法 (NONE, ZLIB, SNAPPY, GZIP, ZSTD, LZ4)

hive

orc_compress_size

262144

long

每个压缩块中的字节数

hive

orc_stripe_size

67108864

long

每个stripe中的字节数

hive

orc_row_index_stride

10000

long

索引条目之间的行数

hive

orc_bloom_filter_columns

''

varchar

逗号分隔的列名称列表,应为其创建布隆过滤器

hive

orc_bloom_filter_fpp

0.05

double

布隆过滤器的positive概率(必须大于0.0且小于1.0)

例如:

CREATE TABLE format1(orderkey bigint, orderstatus varchar, totalprice double, orderdate date)  TBLPROPERTIES (orc_compress = 'SNAPPY', orc_compress_size = 6710422, orc_bloom_filter_columns = 'orderstatus,totalprice');CREATE TABLE format2(orderkey bigint, orderstatus varchar, totalprice double, orderdate date) TBLPROPERTIES (orc_compress = 'LZ4', orc_stripe_size = 33554432, orc_bloom_filter_fpp = 0.1, orc_row_index_stride=5000,  orc_compress_size = 6710422, orc_bloom_filter_columns = 'orderstatus,totalprice');
查看表的配置参数:
Show create table format2;                             Create Table----------------------------------------------------------------------- CREATE TABLE hive.default.format2 (    orderkey bigint,    orderstatus varchar,    totalprice double,    orderdate date ) WITH (    external = false,    format = 'ORC',    location = '/user/hive/warehouse/format2',    orc_bloom_filter_columns = ARRAY['orderstatus','totalprice'],    orc_bloom_filter_fpp = 1E-1,    orc_compress = 'LZ4',    orc_compress_size = 6710422,    orc_row_index_stride = 5000,    orc_stripe_size = 33554432 )(1 row)
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249019.html