华为云首页用户手册

MAPREDUCE服务 MRS-Spark SQL无法查询到ORC类型的Hive表的新插入数据:回答

MAPREDUCE服务 MRS-Spark SQL无法查询到ORC类型的Hive表的新插入数据:回答

时间：2025-03-07 18:18:28

MAPREDUCE服务 MRS SQL和DataFrame

回答

由于Spark存在一个机制，为了提高性能会缓存ORC的元数据信息。当通过Hive或其他方式更新了ORC表时，缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据。

对于存储类型为ORC的Hive分区表，在执行插入数据操作后，如果分区信息未改变，则缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据。

解决措施：

在使用Spark SQL查询之前，需执行Refresh操作更新元数据信息：
REFRESH TABLE table_name;

table_name为刷新的表名，该表必须存在，否则会出错。

执行查询语句时，即可获取到最新插入的数据。
使用spark时，执行以下命令禁用Spark优化：
set spark.sql.hive.convertMetastoreOrc=false;

上一篇：MAPREDUCE服务 MRS-添加HBase数据源:HBase数据类型映射

下一篇：MAPREDUCE服务 MRS-管理Doris租户:创建Doris租户

新客秒杀 L实例 2核1G 2M

29元/年

企业专享 X实例 2核4G 5M

198元/年

域名建站 com域名 1元

立即前往

免费体验 90+云产品免费体验

立即前往

MAPREDUCE服务 MRS-Spark SQL无法查询到ORC类型的Hive表的新插入数据:回答

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题