检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
页面主要包括了Jobs、Stages、Storage、Environment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。
打印的信息如下: spark-sql> analyze table hivetable2 compute statistics; Query ID = root_20160716174218_90f55869-000a-40b4-a908-533f63866fed Total jobs
规避措施: 根据业务需要,配置合适的需要保留的Job和Stage的UI数据个数,即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考常用参数中的表13。
管理控制台与FusionInsight Manager页面的区别和联系请参考下表: 常用操作 MRS Console FusionInsight Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持
打印的信息如下: spark-sql> analyze table hivetable2 compute statistics; Query ID = root_20160716174218_90f55869-000a-40b4-a908-533f63866fed Total jobs
Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。
HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母,权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS
脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。
集群管理类 缩容Task节点失败 如何处理集群内部OBS证书过期 MRS集群更换磁盘(适用于2.x及之前) MRS集群更换磁盘(适用于3.x) MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常
时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义,但需要遵循目标系统的约束,例如HDFS/OBS目录不支持特殊符号等。
如果显示测试成功,则执行5;如果显示不能连接至OBS Server,则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。 删除连接 在Loader页面,单击“管理连接”。
时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义,但需要遵循目标系统的约束,例如HDFS/OBS目录不支持特殊符号等。
规避措施: 根据业务需要,配置合适的需要保留的Job和Stage的UI数据个数,即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考Spark常用配置参数中的表13。
参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题: MRS集群告警处理参考
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS
(GET) jobs/:jobid(GET) jobs/:jobid(DELETE) Hive授权说明 Hive授权(数据库、表或者视图)推荐通过Manager授权界面进行授权,不推荐使用命令行授权,除了“alter databases databases_name set owner
number of splits:2 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1455853029114_0027 16/02/24 15:45:42 INFO
number of splits:2 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1455853029114_0027 16/02/24 15:45:42 INFO
storm-obs-examples MRS的Storm与OBS实现交互的示例程序。实现提交Storm拓扑数据存储到OBS功能。