精选文章 Hive笔记整理(二)

Hive笔记整理(二)

作者:xpleaf 时间: 2021-02-05 08:51:48
xpleaf 2021-02-05 08:51:48
【摘要】[TOC]

Hive笔记整理(二)
Hive中表的分类
managed_table—受控表、管理表、内部表
表中的数据的生命周期/存在与否,受到了表结构的影响,当表结构被删除的,表中的数据随之一并被删除。
默认创建的表就是这种表。

可以在cli中通过desc extended tableName来查看表的详细信息,当然也可以在MySQL中hive的元数据信息表TBLS中查看。

exte...

[TOC]


Hive笔记整理(二)

Hive中表的分类

managed_table—受控表、管理表、内部表

表中的数据的生命周期/存在与否,受到了表结构的影响,当表结构被删除的,表中的数据随之一并被删除。
默认创建的表就是这种表。

可以在cli中通过desc extended tableName来查看表的详细信息,当然也可以在MySQL中hive的元数据信息表TBLS中查看。

external_table—外部表

表中的数据的生命周期/存在与否,不受到了表结构的影响,当表结构被删除的,表中对应数据依然存在。
这相当于只是表对相应数据的引用。

创建外部表:

create external table t6_external( id int
);

增加数据:
alter table t6_external set location "/input/hive/hive-t6.txt";

还可以在创建外部表的时候就可以指定相应数据
create external table t6_external_1( id int
) location "/input/hive/hive-t6.txt";
上述hql报错:
MetaException(message:hdfs://ns1/input/hive/hive-t6.txt is not a directory or unable to create one
意思是说在创建表的时候指定的数据,不期望为一个具体文件,而是一个目录

create external table t6_external_1( id int
) location "/input/hive/";

当使用外部表时,是不允许删除操作的,但是可以添加数据,并且这样做也会影响到hdfs中引用的文本数据。

内部表和外部表的简单用途区别:

当考虑到数据的安全性的时候,或者数据被多部门协调使用的,一般用到外部表。
当考虑到hive和其它框架(比如hbase)进行协调集成的时候,一般用到外部表。

可以对内部表和外部表进行互相转换:

外--->内部 alter table t6_external set tblproperties("EXTERNAL"="FALSE");
内部表---->外部表 alter table t2 set tblproperties("EXTERNAL"="TRUE");

持久表和临时表

以上的表都是持久表,表的存在和会话没有任何关系。

临时表:

在一次会话session中创建的临时存在的表,当会话断开的时候,该表所有数据(包括元数据)都会消失,表数据是临时存储在内存中,(实际上,创建临时表后,在hdfs中会创建/tmp/hive目录来保存临时文件,但只要退出会话,数据就会马上删除)
在元数据库中没有显示。
这种临时表通常就做临时的数据存储或交换
临时表的特点 不能是分区表
创建临时表非常简单,和外部表一样,将external关键字替换成temporary就可以了

功能表

分区表

假如up_web_log表的结构如下:

user/hive/warehouse/up_web_log/ web_log_2017-03-09.log web_log_2017-03-10.log web_log_2017-03-11.log web_log_2017-03-12.log .... web_log_2018-03-12.log

对该表的结构解释如下:

该表存放的是web日志,在hive中,一个表就是hdfs中的一个目录,web日志的保存统计是按天进行的,所以每天结束后
都会将日志数据加载到hive中,所以可以看到up_web_log目录下有多个文件,但是对于hive来说,这些日志数据都是
属于up_web_log这个表的,显然,随着时间的推移,这张表的数据会越来越多。

该表存在的问题:

原先的是一张大表,这张表下面存放有若干数据,要想查看其中某一天的数据,
只能首先在表中定义一个日期字段(比如:dt),然后再在查询的时候添加过滤字段where dt="2017-03-12"
如此才能求出相应结果,但是有个问题,这种方式需要加载该表下面所有的文件中的数据,造成在内存中加载了
大量的不相关的数据,造成了我们hql运行效率低下。

那么如何对该表进行优化呢?

要想对这个问题进行优化,我们可以依据hive表的特性,其实在管理的是一个文件夹,也就是说,
通过表能够定位到一个hdfs上面的目录,我们就可以在该表/目录的基础之上再来创建一/多级子目录,
来完成对该大表的一个划/拆分,我们通过某种特征标识,比如子文件夹名称datadate=2017-03-09...
以后再来查询其中一天的数据的时候,只需要定位到该子文件夹,即可类似加载一张表数据一样,加载
该子文件夹下面的所有的数据。这样就不会再去全量加载该大表下面所有的数据,只加载了其中的一部分,
减少了内存数据量,提高了hql运行效率。

我们把这种技术称之为,表的分区,这种表称之为分区表。把这个子文件夹称之为分区表的分区。

分区表的组成说明如下:

分区有两部分组成,分区字段和具体的分区值组成,中间使用“=”连接,分区字段在整个表中的地位
就相当于一个字段,要想查询某一分区下面的数据,如下操作 where datadate="2017-03-09"
hdfs中关于该表的存储结构为:
user/hive/warehouse/up_web_log/ /datadate=2017-03-09 web_log_2017-03-09.log /datadate=2017-03-10 web_log_2017-03-10.log /datadate=2017-03-11 web_log_2017-03-11.log /datadate=2017-03-12 web_log_2017-03-12.log .... web_log_2018-03-12.log

创建一张分区表:

create table t7_partition ( id int
) partitioned by (dt date comment "date partition field");

load data local inpath '/opt/data/hive/hive-t6.txt' into table t7_partition;
FAILED: SemanticException [Error 10062]: Need to specify partition columns because the destination table is partitioned
不能直接向分区表加载数据,必须在加载数据之前明确加载到哪一个分区中,也就是子文件夹中。

分区表的DDL:

创建一个分区: alter table t7_partition add partition(dt="2017-03-10");
查看分区列表: show partitions t7_partition;
删除一个分区: alter table t7_partition drop partition(dt="2017-03-10");

增加数据:

向指定分区中增加数据: load data local inpath '/opt/data/hive/hive-t6.txt' into table t7_partition partition (dt="2017-03-10");
这种方式,会自动创建分区

有多个分区字段的情况:

统计学校,每年,每个学科的招生,就业的情况/每年就业情况
create table t7_partition_1 ( id int
) partitioned by (year int, school string); 

添加数据: load data local inpath '/opt/data/hive/hive-t6.txt' into table t7_partition_1 partition(year=2015, school='python');
桶表

分区表存在的问题:

因为分区表还有可能造成某些分区数据非常大,某些则非常小,造成查询不均匀,这不是我们所预期,
就需要使用一种技术,对这些表进行相对均匀的打散,把这种技术称之为分桶,分桶之后的表称之为桶表。

创建一张分桶表:

create table t8_bucket( id int
) clustered by(id) into 3 buckets;

向分桶表增加数据:

只能从表的表进行转换,不能使用上面的load这种方式(不会对数据进行拆分)
insert into t8_bucket select * from t7_partition_1 where year=2016 and school="mysql";
FAILED: SemanticException [Error 10044]: Line 1:12 Cannot insert into target table because column number/types are different 't8_bucket': 
Table insclause-0 has 1 columns, but query has 3 columns.
我们的桶表中只有一个字段,但是分区表中有3个字段,所以在使用insert into 的方式导入数据的时候,
一定要注意前后字段个数必须保持一致。
insert into t8_bucket select id from t7_partition_1 where year=2016 and school="mysql";

增加数据后,查看表中的数据:
> select * from t8_bucket;
OK
6
3
4
1
5
2
Time taken: 0.08 seconds, Fetched: 6 row(s)
可以看到,数据的顺序跟原来不同,那是因为数据分成了3份,使用的分桶算法为哈希算法,如下:
6%3 = 0, 3%3 = 0,放在第1个桶
4%3 = 1, 2%3 = 1,放在第2个桶
5%3 = 2, 2%3 = 2,放在第3个桶

查看hdfs中表t8_bucket的结构:
hive (mydb1)> dfs -ls /user/hive/warehouse/mydb1.db/t8_bucket;
Found 3 items
-rwxr-xr-x   3 uplooking supergroup 4 2018-03-09 23:00 /user/hive/warehouse/mydb1.db/t8_bucket/000000_0
-rwxr-xr-x   3 uplooking supergroup 4 2018-03-09 23:00 /user/hive/warehouse/mydb1.db/t8_bucket/000001_0
-rwxr-xr-x   3 uplooking supergroup 4 2018-03-09 23:00 /user/hive/warehouse/mydb1.db/t8_bucket/000002_0
可以看到,数据被分别保存到t8_bucket的3个不同的子目录中。

注意:操作分桶表的时候,本地模式不起作用。

数据的加载和导出

[]==>可选,<> ==>必须

加载

load
load data [local] inpath 'path'  [overwrite] into table [partition_psc];
local: 有==>从linux本地加载数据 无==>从hdfs加载数据,相当于执行mv操作(无指的是没有local参数时,而不是本地中没有这个文件)
overwrite 有==>覆盖掉表中原来的数据 无==>在原来的基础上追加新的数据
从其他表加载
insert  [table(当前面参数为overwrite时必须加table)] t_des select [...] from t_src [...]; overwrite 有==>覆盖掉表中原来的数据 无==>在原来的基础上追加新的数据 ==>会转化成为MR执行

需要注意的地方:t_des中列要和select [...] from t_src这里面的[...]一一对应起来。
当选择的参数为overwrite时,后面必须要加table,如:
insert overwrite table test select * from t8_bucket;
创建表的时候加载
create table t_des as select [...] from t_src [...];

这样会创建一张表,表结构为select [...] from t_src中的[...]
eg.create temporary table tmp as select distinct(id) from t8_bucket;
动态分区的加载

快速复制表结构:

create table t_d_partition like t_partition_1;

hive (default)> show partitions t_partition_1;
OK
partition
year=2015/class=bigdata
year=2015/class=linux
year=2016/class=bigdata
year=2016/class=linux

要将2016的数据都到入到t_d_partition的相关的分区中:

insert into table t_d_partition partition(class, year=2016) select id, name, class from t_partition_1 where year=2016;

要将t_partition_1中所有数据都到入到t_d_partition的相关的分区中:

insert overwrite table t_d_partition partition(year, class) select id, name, year, class from t_partition_1;

(我操作时出现的提示: FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set shive.exec.dynamic.partition.mode=nonstrict )

其它问题:

从hdfs上面删除的数据,并没有删除表结构,我们show partitions t_d_partition;是从metastore中查询出来的内容,如果你是手动删除的hdfs上面数据,它的元数据信息依然在。

insert into t10_p_1 partition(year=2016, class) select * from t_partition_1;
FAILED: SemanticException [Error 10094]: Line 1:30 Dynamic partition cannot be the parent of a static partition 'professional'
动态分区不能成为静态分区的父目录
需要将hive.exec.dynamic.partition.mode设置为nonstrict
 hive.exec.max.dynamic.partitions 1000 Maximum number of dynamic partitions allowed to be created in total.

import导入hdfs上的数据:

import table stu from '/data/stu';

目前测试时会出现下面的错误:
hive (mydb1)> import table test from '/input/hive/';
FAILED: SemanticException [Error 10027]: Invalid path
hive (mydb1)> import table test from 'hdfs://input/hive/';
FAILED: SemanticException [Error 10324]: Import Semantic Analyzer Error
hive (mydb1)> import table test from 'hdfs://ns1/input/hive/';
FAILED: SemanticException [Error 10027]: Invalid path

导出

1.
hadoop fs -cp src_uri dest_uri
(hdfs dfs -cp src_uri dest_uri)

2.
hive> export table tblName to 'hdfs_uri';
导出到的hdfs目录必须是一个空目录,如果不存在时,则会自动创建该目录。
这种方式同时会将元数据信息导出。

3.
insert overwrite [local] directory 'linux_fs_path' select ...from... where ...; 
如果不加local,则数据会导出到hdfs,否则会导出到linux文件系统
不管哪一种方式,如果目录不存在,则会自动创建,如果存在,则会覆盖。
勿删,copyright占位
分享文章到微博
分享文章到朋友圈

上一篇:常用网络命令学习

下一篇:CentOS打包和解压详解

您可能感兴趣

  • Enterprise Beans 与 Session Beans 笔记

    Enterprise Beans笔记:在EJB(Enterprise Java Beans)中定义了两种不同类别的Enterprise Bean :--Session Bean (Session Bean)--Entity Bean (Entity Bean)1. Session Bean (Session Bean)Session Bean 是调用它的客户端代码要完成的工作。当客户端与服务...

  • C++编程思想笔记之二

    第3章   隐藏实现一、C++的存取控制 public 意味着在其后声明的所有成员对所有的人都可以存取。public成员就如同一般的struct成员。private关键字则意味着,除了该类型的创建者和类的内部成员函数之外,任何人都不能存取这些成员。private在设计者与用户之间筑起了一道墙。如果有人试图存取一个私有成员,就会产生一个编译错误。protected与private基本相似,只...

  • C++编程思想笔记之五

    第10章   引用和拷贝构造函数 一、使用引用时有一定的规则:1) 当引用被创建时,它必须被初始化。(指针则可以在任何时候被初始化。)2) 一旦一个引用被初始化为指向一个对象,它就不能被改变为对另一个对象的引用。(指针则可以在任何时候指向另一个对象。)3) 不可能有N U L L 引用。必须确保引用是和一块合法的存储单元关连。 二、参数传递准则 当给函数传递参数时,人们习惯上应该是通过常量...

  • C++编程思想笔记之三

    第7章   常量 一、值替代:用C 语言进行程序设计时,预处理器可以不受限制地建立宏并用它来替代值。因为预处理器只做文本替代,它既没有类型检查思想,也没有类型检查工具,所以预处理器的值替代会产生一些微小的问题,这些问题在C + +中可通过使用const而避免。C + +中的const 默认为内部连接,也就是说,const 仅在const 被定义过的文件里才是可见的,而在连接时不能被其他编译单...

  • C++编程思想笔记之一

    第1章  对象的演化 一、多态性的解释:   当处理类型层次结构时,程序员常常希望不把对象看作是某一特殊类型的成员,而把它看作基本类型成员,这样就可以编写不依赖于特殊类型的代码。在形体例子中,函数可以对一般形体进行操作,而不关心它们是圆、正方形还是三角形。所有的形体都能被绘制、擦除和移动,所以这些函数能简单地发送消息给一个形体对象,而不考虑这个对象如何处理这个消息。这样,新添类型不影响原来的...

  • C++编程思想笔记之四

    第09章  命名控制 一、来自C 语言中的静态成员 在C 和C + +中,static都有两种基本的含义,并且这两种含义经常是互相有冲突的:1) 在固定的地址上分配,也就是说对象是在一个特殊的静态数据区上创建的,而不是每次函数调用时在堆栈上产生的。这也是静态存储的概念。2) 对一个特定的编译单位来说是本地的(就像我们在后面将要看到的,这在C++中包括类的范围)。这里static控制名字的可见...

  • MFC Window程序设计(第二版)精华浓缩笔记(二)

    各位,看一看,瞧一瞧,新出炉的...

  • 程序员考试补课笔记-第一天

    今天是第一天补课,终于有又机会可以听到林老师的课了,我觉得他比老潭说得还要好呢,虽然我没有听过老潭的课,不过我相信绝大部份在校的人学C语言都是用老潭的《C程序设计》吧。这本书的好处是有很多的,最主要的一点就是可以用生动的例子来说明一些概念,不过还是一点不好的地方,就是本书全都只是围绕着基础来说,没有一些可以让同学深入研究的课题。就我知道机械工业译的一本《C语言设计教程》,这本书有大量的实例练...

51CTO

51CTO

51CTO是一家综合的IT技术用户服务平台,立足满足用户多维度需求,为技术用户成长赋能。2005年成立至今,拥有专业主流技术媒体51CTO企业信息化媒体CIOAge中国最大的IT在线教育平台51CTO学院。

华为云40多款云服务产品0元试用活动

免费套餐,马上领取!
Hive笔记整理(二)介绍:华为云为您免费提供Hive笔记整理(二)在博客、论坛、帮助中心等栏目的相关文章,同时还可以通过 站内搜索 查询更多Hive笔记整理(二)的相关内容。| 移动地址: Hive笔记整理(二) | 写博客