检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source bigdata_env 操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2
如何设置开源Flink中的znode存储目录 问题现象 如何将开源Flink中的znode存储目录设置为自定义目录。 解决方法 如设置目录为/flink_base/flink,在flink-conf.yaml配置文件中将“high-availability.zookeeper.path.under.quota
配置Structured Streaming使用RocksDB做状态存储 操作场景 状态信息存储在默认的HDFS BackedStateStore,随着状态数据的增多,垃圾回收器需要处理更多的对象,从而增加了垃圾回收的时间和开销,导致JVM GC占用大量时间。可以通过配置参数spark.sql.streaming.stateStore.providerClass
如何设置开源Flink中的znode存储目录 问题现象 如何将开源Flink中的znode存储目录设置为自定义目录。 解决方法 如设置目录为/flink_base/flink,在flink-conf.yaml配置文件中将“high-availability.zookeeper.path.under.quota
可以参考备份数据将数据备份到第三方服务器,例如备份到:远端HDFS(RemoteHDFS)、NAS(NFS/CIFS)、SFTP服务器(SFTP)、OBS。 创建备份任务成功后,等待2分钟,检查告警是否消除。 是,处理完毕。 否,执行6。 收集故障信息。
如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份Hive业务数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。
作业启动失败,作业提交不成功 请尝试重新发起调用,或联系技术支持 400 0199 Failed to delete the jobs. 删除作业失败 请尝试重新发起调用,或联系技术支持 400 0200 Failed to kill the jobs on Yarn.
创建ZSTD压缩格式的Hive表 操作场景 文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度,Hive支持创建表时配置SNAPPY、ZLIB、Gzip、Bzip2、ZSTD等压缩格式。 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前
OBS 表示从OBS中恢复数据,仅MRS 3.3.0-LTS.1及之后版本支持。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如:“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
表4 现有数据量统计 大数据组件 待迁移数据的路径 数据量大小 文件个数或表个数 HDFS/OBS(或其他文件存储系统) /user/helloworld XXX 总共:XXX个文件 小于2 MB的文件数量:XXX个 Hive /user/hive/warehouse/ XXX 表个数
source bigdata_env 操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST
元数据接口调用平均时间超过阈值 ALM-45176 OBS元数据接口调用成功率低于阈值 ALM-45177 OBS数据读操作接口调用成功率低于阈值 ALM-45178 OBS数据写操作接口调用成功率低于阈值 ALM-45179 OBS readFully接口调用失败数高于阈值 ALM
对于globStatus,分别匹配每个路径组件的glob模式,而对于其他的,直接匹配glob模式。
如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。 备份ClickHouse业务数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。
作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。
HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母,权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS
HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母,权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS
“OBS”:表示将备份文件保存在OBS中,仅MRS 3.1.0及之后版本支持。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
“OBS”:表示将备份文件保存在OBS中,仅MRS 3.1.0及之后版本支持。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。