/conf/login/hdfs.keytab 表2 配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。
服务器IP地址 备份数据的服务器IP地址。 端口号 SFTP协议连接备份服务器使用的端口号,默认值为“22”。 用户名 使用SFTP协议连接服务器时的用户名。 密码 使用SFTP协议连接服务器时的密码。 源端路径 备集群保存备份数据的完整HDFS路径。
处理步骤 检查主备DBService服务器间的网络是否正常。 在FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的DBService备节点地址。 以root用户登录主DBService节点。 集群节点登录可参考登录MRS集群节点。
本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。
缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。
缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。
如服务器物理内存为10G,该值设置为0.9,则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G 租户级别内存资源限制 0%~100% 表示当前租户在ClickHouseServer中可用内存的百分比。
访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题: 准备Kafka应用开发环境
History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID,页面将跳转到该应用的SparkUI页面。 查看Spark日志获取应用运行情况。
History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID,页面将跳转到该应用的SparkUI页面。 查看Spark日志获取应用运行情况。
History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。
处理步骤 以omm用户登录Flume实例所在节点,执行ps -ef|grep "flume.role=server"命令查看当前节点是否存在flume进程。 是,执行步骤 3。 否,重启Flume故障实例或Flume服务,执行步骤 2。
cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令,修改审计日志备份文件数。 .
如果显示测试成功,则执行5;如果显示不能连接至OBS Server,则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。 删除连接 在Loader页面,单击“管理连接”。
问题现象 查看Hue WebUI报错如下: 503 Service Unavailable The server is temporarily unable to service your requster due to maintenance downtime or capacity
处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的备Manager服务器地址。 登录主管理节点。 执行以命令,检查备Manager服务器是否可达。
告警附加信息中显示“HA server Certificate”, 查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,执行步骤 4。 检查系统中合法证书文件的有效期。 查看当前CA证书剩余有效期是否小于证书的告警阈值。
注意事项 server.url属性必须需要配置两个IP地址和端口的格式串,用“,”分隔。 父主题: 客户端工具说明
单击“HSFabric”,选择“实例配置”,查看“server.port”的值,默认为“29900”。 192.162.157.32:29900 远端地址信息 远端MRS集群的HetuEngine服务负责对外通信的HSFabric实例的主机IP地址及端口号。
sh ${BIGDATA_HOME}/om-server/om/sbin/restart-RealmConfig.sh 提示以下信息表示命令执行成功。 Modify realm successfully.