开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。
备集群ZooKeeper地址信息包含ZooKeeper实例业务IP地址、客户端连接服务器的端口和备集群的HBase在ZooKeeper上的根目录。
是 bootstrap.server 表示broker集群ip/port列表。
flink run --class com.huawei.bigdata.iotdb.FlinkIoTDBSink /opt/client/Flink/flink/flink-example.jar 查看调测结果 查看作业是否执行成功: 使用Flink WebUI Flink Server
Spark JobHistory Server 用于监控正在运行的或者历史的Spark作业在Spark框架各个阶段的细节以及提供日志显示,帮助用户更细粒度地开发、配置和调优作业。
图1 选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 例如采用Avro Source、File Channel和HDFS Sink,如图2所示。
Flink 直接重启 仅影响Flink Server任务,Flink Jar、Flink SQL任务不受影响。 直接重启耗时约5分钟。 滚动重启 不支持滚动重启。 - Clickhouse 直接重启 重启时正在运行的任务将失败,重启期间无法提交新任务。 直接重启耗时约10分钟。
Flink 直接重启 仅影响Flink Server任务,Flink Jar、Flink SQL任务不受影响。 直接重启耗时约5分钟。 滚动重启 不支持滚动重启。 - Clickhouse 直接重启 重启时正在运行的任务将失败,重启期间无法提交新任务。 直接重启耗时约10分钟。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
须知: 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com
须知: 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com
查看spooldir监控目录,执行命令:cat properties.properties | grep spoolDir 查看TAILDIR监控目录,执行命令:cat properties.properties | grep parentDir 指定服务器上用户自定义已经存在的数据监控目录
选择“Agent名”为“server”,分别选择“Avro Source”、“Memory Channel”和“HDFS Sink”模块,并连接。
version (GET) 描述 获取服务器WebHCat的版本 URL http://www.myserver.com/templeton/v1/version 参数 无 返回结果 参数 描述 supportedVersions 所有支持的版本 version 当前服务器WebHCat
是 bootstrap.server 表示broker集群ip/port列表。
在服务概览页面单击Spark WebUI后的链接地址,可进入History Server页面。 单击待查看的App ID,您可以查看Spark Streaming作业的状态。 图5 查看Spark Streaming作业状态 父主题: 数据分析