MAPREDUCE服务 MRS-ClickHouse基本原理:ClickHouse简介
下载MAPREDUCE服务 MRS用户手册完整版
ClickHouse简介
ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。
ClickHouse核心的功能特性介绍如下：
完备的DBMS功能
- DDL （数据定义语言）：可以动态地创建、修改或删除数据库、表和视图，而无须重启服务。
- DML（数据操作语言）：可以动态查询、插入、修改或删除数据。
- 权限控制：可以按照用户粒度设置数据库或者表的操作权限，保障数据的安全性。
- 数据备份与恢复：提供了数据备份导出与导入恢复机制，满足生产环境的要求。
- 分布式管理：提供集群模式，能够自动管理多个数据库节点。
列式存储与数据压缩
ClickHouse是一款使用列式存储的数据库，数据按列进行组织，属于同一列的数据会被保存在一起，列与列之间也会由不同的文件分别保存。
在执行数据查询时，列式存储可以减少数据扫描范围和数据传输时的大小，提高了数据查询的效率。
例如在传统的行式数据库系统中，数据按如下表1顺序存储：
row |
ID |
Flag |
Name |
Event |
Time |
|---|---|---|---|---|---|
0 |
12345678901 |
0 |
name1 |
1 |
2020/1/11 15:19 |
1 |
32345678901 |
1 |
name2 |
1 |
2020/5/12 18:10 |
2 |
42345678901 |
1 |
name3 |
1 |
2020/6/13 17:38 |
N |
… |
… |
… |
… |
… |
行式数据库中处于同一行中的数据总是被物理的存储在一起，而在列式数据库系统中，数据按如下表2顺序存储：
row: |
0 |
1 |
2 |
N |
|---|---|---|---|---|
ID: |
12345678901 |
32345678901 |
42345678901 |
… |
Flag: |
0 |
1 |
1 |
… |
Name: |
name1 |
name2 |
name3 |
… |
Event: |
1 |
1 |
1 |
… |
Time: |
2020/1/11 15:19 |
2020/5/12 18:10 |
2020/6/13 17:38 |
… |
该示例中只展示了数据在列式数据库中数据的排列方式。对于存储而言，列式数据库总是将同一列的数据存储在一起，不同列的数据也总是分开存储，列式数据库更适合于OLAP（Online Analytical Processing）场景。
向量化执行引擎
ClickHouse利用CPU的SIMD指令实现了向量化执行。SIMD的全称是Single Instruction Multiple Data，即用单条指令操作多条数据，通过数据并行以提高性能的一种实现方式 ( 其他的还有指令级并行和线程级并行 )，它的原理是在CPU寄存器层面实现数据的并行操作。
关系模型与SQL查询
ClickHouse完全使用SQL作为查询语言，提供了标准协议的SQL查询接口，使得现有的第三方分析可视化系统可以轻松与它集成对接。
同时ClickHouse使用了关系模型，所以将构建在传统关系型数据库或数据仓库之上的系统迁移到ClickHouse的成本会变得更低。
数据分片与分布式查询
ClickHouse集群由1到多个分片组成，而每个分片则对应了ClickHouse的1个服务节点。分片的数量上限取决于节点数量（1个分片只能对应1个服务节点）。
ClickHouse提供了本地表 （Local Table）与分布式表 （Distributed Table）的概念。一张本地表等同于一份数据的分片。而分布式表本身不存储任何数据，它是本地表的访问代理，其作用类似分库中间件。借助分布式表，能够代理访问多个数据分片，从而实现分布式查询。
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Flink_如何使用Flink
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Kafka_如何使用Kafka
- MES系统简介_MES应用_上海 MES
