准备HBase应用开发环境 准备本地应用开发环境 准备HBase应用运行环境 下载HBase样例工程 导入并配置HBase样例工程 父主题: HBase应用开发指导
Doris分区规范 分区用于将数据划分成不同区间,逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列,分区列必须为KEY列。多列分区的使用方式在后面多列分区小节介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号
Doris命名规范 该章节主要介绍创建Doris数据库或表时,数据库名或表名需遵循的规则和建议。 命名规范 【强制】数据库字符集指定utf-8,并且只支持utf-8。 【建议】库名统一使用小写方式,中间用下划线(_)分隔,长度62字节内。 【建议】表名称大小写敏感,统一使用小写方式
访问CloudTable HBase集群报错,hmaster域名不识别? 问题现象 访问CloudTable HBase集群报错,hmaster域名不识别。 原因分析 运行程序的机器上没有配置CloudTable HBase实例节点的内网域名和ip映射,导致无法识别hmaster节点的内网域名
创建集群时,为什么购买按钮一直处于灰色,无法提交? 在创建集群时,如果购买按钮显示为灰色无法提交状态,可能原因如下: 购买的规格已经售罄,或者此区域没有这种规格。 处理方法:建议购买之前先确认该区域已有的规格,再考虑是否购买。 因账户欠费或者受限导致无法创建集群。 处理方法:如果因为余额不足导致无法创建集群
服务中(集群状态) 当集群扩容成功并正常提供服务时,其集群状态为服务中。 磁盘扩容失败(任务状态) 表示扩容失败。 查看磁盘扩容信息 单击确定后,集群任务状态变更为“磁盘扩容中”,当集群扩容完毕后,集群状态更新为“服务中”。 父主题: Doris集群容量调整
数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启,此按钮不显示,如果安全通道未开启,显示此按钮。 是否开启冷热分离 “否”代表未开启冷热分离,“是”代表开启冷热分离。
查看任务详情 登录表格存储服务管理控制台。 进入集群管理页面,选择集群进入集群详情页面。 单击数据迁移进入数据迁移管理页面。 单击操作列“修改”,进入任务详情页面。 查看任务相关信息。 删除任务 登录表格存储服务管理控制台。 进入集群管理页面,选择集群进入集群详情页面。
服务中(集群状态) 当集群扩容成功并正常提供服务时,其集群状态为服务中。 磁盘扩容失败(任务状态) 表示扩容失败。 父主题: HBase集群容量调整
HBase集群与弹性云服务器具有相同区域、可用区、VPC。 HBase集群与弹性云服务器具有相同安全组。 弹性云服务器安全组中添加本地主机IP地址。 创建集群并打开安全通道 登录表格存储服务管理控制台。 控制台左上角选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。
租户命令简介 此章节主要介绍SQL基本语法和使用说明。 新增租户。 create workload group if not exists test_group properties ( "cpu_share"="10", "memory_limit"="30%
ClickHouse集群容量调整 ClickHouse集群节点扩容 ClickHouse集群磁盘扩容 ClickHouse集群规格变更 父主题: ClickHouse集群运维
新建租户步骤 登录表格存储服务管理控制台。 控制台左上角选择区域。 单击左侧集群管理,显示当前集群列表。 选择需要操作的集群,单击“集群名称 > 租户管理”进入租户管理页面。 单击页面右上角“新建租户”,弹出新建租户页面,参照表1为租户配置属性。
Doris分桶规范 根据分桶列的Hash值将数据划分成不同的Bucket。 如果使用了Partition,则DISTRIBUTED ... 语句描述的是数据在各个分区内的划分规则。如果不使用Partition,则描述的是对整个表的数据的划分规则。 分桶列可以是多列,Aggregate
Doris数据变更规范 该章节主要介绍Doris数据变更时需遵循的规范和建议。 数据变更类 【强制】应用程序不可以直接使用delete或者update语句变更数据,可以使用CDC的upsert方式来实现。 低频操作上使用,比如Update几分钟更新一次。 如果使用Delete一定带上分区条件
Doris数据导入规范 该章节主要介绍Doris数据导入规范。 数据导入 【建议】在Flink实时写入数据到Doris的场景下,CheckPoint设置的时间需要考虑每批次数据量,如果每批次数据太小会造成大量小文件,推荐值为60s。 【建议】建议低频攒批导入数据,平均单表导入批次间隔需大于
Doris建表规范 该章节主要介绍Doris建表时需遵循的规范和建议。 建表规范 【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多
CloudTable HBase中如何查询某个表的创建时间? 在CloudTable中查询表的创建时间有如下方法: 创建新表的时候会显示在返回结果中。 连接集群,使用HBase Shell访问集群,具体操作请参见《用户指南》手册中的“使用HBase Shell访问集群”章节。 输入
创建Doris表时不返回结果如何处理? 问题现象 创建Doris表时不返回结果。 分析原因 Doris的建表命令是同步命令。该命令的超时时间目前设置的比较简单,即(tablet num*replication num)秒。如果创建较多的数据分片,并且其中有分片创建失败,则可能导致等待较长超时后
步骤一:创建CloudTable HBase集群 登录表格存储服务控制台,创建CloudTable HBase集群。 创建ECS,请参考准备弹性云服务。 安装客户端。 启动Shell访问集群。执行“bin/hbase shell”,启动Shell访问集群。 创建order表。