检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive服务状态为Unknown 问题现象 Hive服务状态为unknown。 可能原因 Hive服务停止。 解决方案 尝试重启Hive服务。 父主题: 使用Hive
修改集群服务配置参数 用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数: 登录MRS控制台,在左侧导航栏选择“集群列表> 现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。
ECS重置密码插件升级(可选) 华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。
修改集群服务配置参数 MRS 3.x之前版本,用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFile
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密,在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列的数据加密。 Hive列加密机制目前支持的加密算法有两种,需在建表时指定: AES:对应加密类名称为
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir”
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir”
如果FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同,则该节点不执行此步骤。
保存完成后请重新启动配置过期的服务或实例以使配置生效。 父主题: Yarn运维管理
事件有SparkListenerJobStart、SparkListenerJobEnd等,记录了每个重要的过程。
如果配置不当,将造成服务不可用。 - 单击“保存”,在“实例”页面查看是否有配置过期的实例,如果有,则勾选配置过期的实例,选择“更多 > 重启实例”,重启完成后配置生效。 父主题: 使用HDFS
如果配置不当,将造成服务不可用。 - 单击“保存”,在“实例”页面查看是否有配置过期的实例,如果有,则勾选配置过期的实例,选择“更多 > 重启实例”,重启完成后配置生效。 父主题: 使用HDFS
配置MRS集群存算分离 MRS存算分离概述 配置MRS集群通过IAM委托对接OBS 配置MRS集群通过Guardian对接OBS 存算分离常见问题
obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。 写入目录 最终数据在文件系统保存时的具体目录。必须指定一个目录。
ClickHouse依赖服务设计 为了保证ClickHouse服务的稳定,需要提早规划好对于底层依赖服务的设计,主要是ZooKeeper,尤其是在使用replicated*系列表引擎的场景下。
如果当前MRS集群已对接了OBS(存算分离或者冷热分离场景),若需要删除组件或者MRS集群,需要在删除组件或者集群后,手动将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。
None 服务介绍 产品介绍 04:08 了解什么是MRS服务 特性讲解 MRS存算分离方案介绍 05:07 了解什么是MRS存算分离 MRS集群用户权限管理 07:06 了解MRS集群内的用户权限管理 MRS集群多租户管理 07:40 了解MRS集群内的多租户资源管理 操作指导