云服务器内容精选

Spark2x常见问题

MAPREDUCE服务 MRS-Spark客户端设置回收站version不生效:问题

问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。通常，默认情况：当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/.Trash/${userName}/Current 当fs.obs.hdfs.trash.version=1时，回收站路径为：/user/${userName}/.Trash/Current

MAPREDUCE服务 MRS Spark2x常见问题
MAPREDUCE服务 MRS-Datasource Avro格式查询异常:解决方法

解决方法针对avro格式表查询报错，根本原因是avro格式表schema不匹配导致，需要考虑增量和存量avro格式表查询两个场景：增量avro格式表，需要创建表之前设置参数spark.sql.forceConvertSchema.enabled=true，会将avro表格式强转指定数据类型，一次性修改schema。存量avro格式表，查询avro表之前设置参数spark.sql.forceConvertSchema.enabled=true，如果查询失败，可能avro格式表schema被缓存，执行refresh table命令，清除缓存后再设置参数进行查询，会将avro表格式强转指定数据类型，客户端临时修改schema。

MAPREDUCE服务 MRS Spark2x常见问题