检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(普通模式)
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(普通模式)
准备Oozie应用开发环境 准备本地应用开发环境 导入并配置Oozie样例工程 父主题: Oozie开发指南(普通模式)
Oozie应用开发常见问题 常用Oozie API接口介绍 父主题: Oozie开发指南(普通模式)
调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(普通模式)
准备Storm应用开发环境 准备Storm应用开发和运行环境 导入并配置Storm样例工程 父主题: Storm开发指南(普通模式)
Storm应用开发常见问题 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 使用旧插件storm-kafka时如何正确设置offset
ClickHouse应用开发简介 ClickHouse简介 ClickHouse应用开发常用概念 ClickHouse应用开发流程介绍 ClickHouse样例工程介绍 父主题: ClickHouse开发指南(普通模式)
调测ClickHouse应用 在本地Windows环境中调测ClickHouse应用 在Linux环境中调测ClickHouse应用 父主题: ClickHouse开发指南(安全模式)
提交Storm拓扑 Linux中安装客户端时提交Storm拓扑 Linux中未安装客户端时提交Storm拓扑 在IDEA中提交Storm拓扑 父主题: 调测Storm应用
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能:过滤、聚合等等。 如果Bolt之后还有其他拓扑算子,可以使用OutputFieldsDeclarer.declareStream定义Stream,使用OutputCollector
2、远程方式提交,这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试 * 命令行方式和远程方式安全和普通模式都支持
填写角色的名称,例如developrole,单击“确定”保存角色。 参考如何判断某个服务是否使用了Ranger鉴权,确认服务是否启用了Ranger鉴权? 是,执行3。 否,编辑角色,根据服务的权限控制类别添加业务开发时需要的权限,参见表1。 表1 权限列表 服务 所需添加权限 HDFS 在“配置资源权限”的表格中选择“待操作集群的名称
创建Storm Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
勾选目录的复选框,单击页面上方的“Action”,选择“Storage policies”。 在弹出的对话框中设置新的存储策略,单击“OK”。 父主题: 使用Hue(MRS 3.x之前版本)
当参数值为“true”时,需要保证“spark-defaults.conf”和“hive-site.xml”中的Keytab和principal的值相同。 表3 参数说明 参数名称 含义 默认值 spark.kerberos.principal 具有Spark操作权限的principal。请联系MR
配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)
配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark DAG设计规范说明 经验总结 父主题: 使用Spark2x(MRS 3.x及之后版本)
聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题: 使用Spark2x(MRS 3.x及之后版本)
Manager,滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 1.9.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。