检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS应用开发简介 HDFS简介 HDFS(Hadoop Distribute File System)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,非常适合大规模数据集应用。 HDFS适用于如下场景: 处理海量数据(TB或PB级别以上)
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
Hive应用开发概述 Hive应用开发简介 Hive应用开发常用概念 Hive应用开发流程 Hive应用开发样例工程介绍 父主题: Hive开发指南(普通模式)
Impala开发规范 Impala开发规则 Impala开发建议 Impala开发示例 父主题: Impala开发指南(安全模式)
调测Kafka应用 调测Kafka Producer样例程序 调测Kafka Consumer样例程序 调测Kafka High level Streams样例程序 调测Kafka Low level Streams样例程序 调测Kafka Token认证机制样例程序 父主题: Kafka开发指南(安全模式)
调测Kudu应用 使用Maven编译。 解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(安全模式)
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(安全模式)
Impala应用开发概述 Impala应用开发简介 Impala应用开发常用概念 Impala应用开发流程 父主题: Impala开发指南(普通模式)
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点:
Kafka样例工程简介 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程:
Kudu应用开发概述 Kudu应用开发简介 Kudu应用开发常用概念 Kudu应用开发流程 父主题: Kudu开发指南(普通模式)
Oozie应用开发概述 Oozie应用开发简介 Oozie应用开发常用概念 Oozie应用开发流程 Oozie应用开发样例工程介绍 父主题: Oozie开发指南(普通模式)
Storm应用开发概述 Storm应用开发简介 Storm应用开发常用概念 Storm应用开发流程 父主题: Storm开发指南(普通模式)
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是
开发ClickHouse应用 ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题:
添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加Storm的Ranger访问权限策略 父主题: 使用Ranger(MRS 3.x)
进入Yarn原生界面,查看作业输出信息。 进入“作业管理”页面,单击对应作业所在行“操作”列的“查看详情”,获取“作业实际编号”。 图3 作业实际编号 登录Manager页面,选择“服务管理 > Yarn > ResourceManager WebUI > ResourceManager
Hive分区修剪的谓词下推增强 配置列统计值直方图Histogram用以增强CBO准确度 CarbonData首查优化工具 父主题: 使用Spark2x(MRS 3.x及之后版本)
r鉴权。 操作步骤 登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。选择“集群 > 服务 > 需要启用Ranger鉴权的服务名称”。 在服务“概览”页面右上角单击“更多”,选择“启用Rang
开始执行HiveQL语句。 在命令输入框内输入show tables;,单击按钮,查看结果中有5创建的表hue_table。 父主题: 使用Hue(MRS 3.x之前版本)