检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
追加信息到HDFS指定文件 功能简介 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为： 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。 代码样例 如下是代码片段，详细代码请参考com
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
initialize(URI.create(conf.get("fs.defaultFS")), conf); 创建group 样例：创建一个gid01组，组中包含3个locator。 /** * 创建group * * @throws java.io.IOException */ private
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。
pplicationMaster使用该协议要求NodeManager启动/中止Container或者查询Container的运行状态。 表3 ContainerManagementProtocol常用方法 方法 说明 getContainerStatuses(GetContainerStatusesRequest
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序（Java） Flink DataStream样例程序（Scala） 父主题： 开发Flink应用
Flink开启Checkpoint样例程序 Flink开启Checkpoint样例程序开发思路 Flink开启Checkpoint样例程序（Java） Flink开启Checkpoint样例程序（Scala） 父主题： 开发Flink应用
k/checkpoint/fd5f5b3d08628d83038a30302b611/chk-X/4f854bf4-ea54-4595-a9d9-9b9080779ffe flink/checkpoint //指定的根目录。 fd5f5b3d08628d83038a30302b611
选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task，选择“Stdout”查看该任务的输出结果如图5和图6。 图3 提交的作业 图4 提交的任务 图5 Task1输出结果 图6 Task2输出结果
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
Kudu应用程序开发思路 开发思路 通过典型场景，可以快速学习和掌握Kudu的开发过程，并对关键的接口函数有所了解。 作为存储引擎，通常情况下Kudu会和计算引擎一起协同工作： 首先在计算引擎上（比如Impala）用SQL语句创建表对象； 然后通过Kudu的驱动往这个表里写数据；
建立Kudu连接 功能简介 通过KuduClient.KuduClientBuilder(KUDU_MASTERS).build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为Kudu集群的Master地址列表，如果有多个Master节点，则中间用半角逗号隔开。
创建Kudu表 功能简介 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段： //
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段： // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。 代码样例 如下是写数据的代码片段： // Alter the table, adding a column with a
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session
读Kudu数据 功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象，然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段： KuduTable table
