检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Scan API读取HBase表数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScan
to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[q3->datatype]#IDX2=>cf1:[q5->datatype]' -Dindexnames.to.build='IDX1' “#”
HBase Java API接口介绍 接口使用建议 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象,而不是org.apache.hadoop.hbase.KeyValue。 建议使用Connection connection = ConnectionFactory
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口,SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见: http://phoenix.apache.org/language/functions.html 其支持语法可参见: http://phoenix
Masters基本信息 Tables页面显示了HBase中表的信息,包括User Tables、Catalog Tables、Snapshots,如图3所示。 图3 Tables基本信息 Tasks页面显示了运行在HBase上的任务信息,包括开始时间,状态等信息,如图4所示。 图4 Tasks基本信息
配置Windows通过EIP访问普通模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HBase文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映
New name : /tmp/nativeTest/testfile3.txt hdfsDelete- SUCCESS!, File deleted : /tmp/nativeTest/testfile3.txt hdfsSetReplication- SUCCESS!, Set
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Win
使用Kafka Token认证 场景说明 Token认证机制是一种轻量级身份认证机制,无需访问Kerberos认证,可在API中使用。 代码样例 Token认证机制支持API,用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下:
Exception exception); 回调函数接口方法,通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 消费者通过此参数值,创建与Broker之间的连接。
准备连接Kafka集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Kafka权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
MapReduce访问多组件样例程序 MapReduce访问多组件样例程序开发思路 MapReduce访问多组件样例代码 父主题: 开发MapReduce应用
MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题: MapReduce应用开发常见问题
配置Oozie作业异常结束打印信息 功能描述 流程任务运行期间发生异常后,流程的异常结束节点。 参数解释 Kill Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name kill活动的名称 message 根据业务需要,自定义的流程异常打印信息
通过Java API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,仅job配置“job
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行job public void start(String
IDEA,选择“Configure”。 图2 Quick Start 在“Configure”下拉菜单中单击“Project Defaults”。 图3 Configure 在“Project Defaults”菜单中选择“Project Structure”。 图4 Project Defaults