获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie节点业务IP:21003/oozie。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
HBase SQL查询样例代码说明 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example
Presto应用开发常用概念 Connector Connector将Presto适配到如Hive或关系型数据库的数据源。 Catalog Catalog包含schema以及引用通过connector连接的数据源 Schema Schema是组织数据表的一种形式。 父主题: Presto
查看OpenTSDB应用调测结果 操作场景 OpenTSDB样例程序运行完后,可直接通过运行结果查看应用程序运行情况,也可以通过运行日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息: 2019-06-27 14:05:20,713 INFO [main] examples.OpentsdbExample
查看OpenTSDB应用调测结果 操作场景 OpenTSDB样例程序运行完后,可直接通过运行结果查看应用程序运行情况,也可以通过运行日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息: 2019-06-27 14:05:20,713 INFO [main] examples.OpentsdbExample
Flink异步Checkpoint应用开发思路 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(Long,String
Flink异步Checkpoint Java样例代码 代码样例 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 快照数据 该数据在算子制作快照时,用于保存到目前为止算子记录的数据条数。 1 2 3 4 5 6 7 8 9 10 11 12
Flink异步Checkpoint Scala样例代码 代码样例 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 发送数据形式 1 case class SEvent(id: Long, name: String, info: String, count
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该
网络 确保客户端与Alluxio服务主机在网络上互通。 父主题: 准备Alluxio应用开发环境
样例程序运行环境即MRS服务所VPC集群的节点。 Alluxio开发环境简介 根据场景开发工程 提供了Java语言的样例工程和数据查询的样例工程。 Alluxio样例程序开发思路 运行程序及查看结果 指导用户将开发好的程序编译提交运行并查看结果。
MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问(仅安全集群支持),执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。
Presto应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Presto应用程序开发流程 表1 Presto应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Presto的基本概念。 Presto应用开发常用概念 准备开发和运行环境
如果未启用则需要先对Hive启用Ranger鉴权,并重启Hive服务,再重启Impala服务。然后对Impala启用Ranger鉴权,并重启Impala服务。安全集群(开启Kerberos认证)默认启用Ranger,可跳过该步骤。
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下,通过调整如下参数值,降低客户端应用的失败率,保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xml
前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。
前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。
以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装,例如安装目录为“/opt/client”。 获取一个拥有MRS集群管理员权限的用户,例如“admin”。