创建Loader数据导入作业 使用Loader导入数据至MRS集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase
进入History Server页面。 History Server页面用于展示已完成和未完成的应用的运行情况。 图1 History Server页面 选择一个应用ID,单击此页面将跳转到该应用的Spark UI页面。 Spark UI页面,用于展示正在执行的应用的运行情况。
(普通模式跳过此步骤) 使用zkCli.sh -server <ZooKeeper集群业务IP:zkPort/kafka>登录ZooKeeper Shell。 执行addauth krbgroup。
server.sinkgroups=g1 server.sinkgroups.g1.sinks=k1 k2 server.sinkgroups.g1.processor.type=load_balance server.sinkgroups.g1.processor.backoff
服务器IP地址 备份数据的服务器IP地址。 端口号 SFTP协议连接备份服务器使用的端口号。默认值为“22”。 用户名 使用SFTP协议连接服务器时的用户名。 密码 使用SFTP协议连接服务器时的密码。 服务器共享路径 SFTP服务器上的备份路径。
服务器IP地址 备份数据的服务器IP地址。 端口号 SFTP协议连接备份服务器使用的端口号。默认值为“22”。 用户名 使用SFTP协议连接服务器时的用户名。 密码 使用SFTP协议连接服务器时的密码。 服务器共享路径 SFTP服务器上的备份路径。
服务器IP地址 备份数据的服务器IP地址。 端口号 SFTP协议连接备份服务器使用的端口号。 默认值为“22”。 用户名 使用SFTP协议连接服务器时的用户名。 密码 使用SFTP协议连接服务器时的密码。 服务器共享路径 SFTP服务器上的备份路径。
服务器IP地址 备份数据的服务器IP地址。 端口号 SFTP协议连接备份服务器使用的端口号。 默认值为“22”。 用户名 使用SFTP协议连接服务器时的用户名。 密码 使用SFTP协议连接服务器时的密码。 服务器共享路径 SFTP服务器上的备份路径。
按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计费模式会同时变更集群弹性云服务器所挂载云硬盘的计费模式。
后端服务器配置安全组。 配置完成后,在“监听器”界面的“后端服务器组”页签下,对应的后端服务器显示“健康检查结果”状态为“异常”。
“服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。
后端服务器配置安全组。 配置完成后,在“监听器”界面的“后端服务器组”页签下,对应的后端服务器显示“健康检查结果”状态为“异常”。
repair=true ( 192.168.67.78为异常的BE节点IP地址,29986为BE的HTTP Server的服务端口,可在Manager的Doris配置界面搜索“webserver_port”查看。 执行以下命令,获取DetailCmd。
在“python3-examples/pyCLI_nosec.py”中的“hosts”数组中填写安装HiveServer的节点的业务平面IP,“hiveserverPort”的值修改为Hive提供Thrift服务的端口(hive.server2.thrift.port),默认值为“
org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicyDefault:使用Hadoop标准副本存储策略。
org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicyDefault:使用Hadoop标准副本存储策略。
已准备好备份服务器。 备份数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
从零开始使用Loader 用户可以使用Loader将数据从SFTP服务器导入到HDFS。 本章节适用于MRS 3.x之前版本。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 访问Loader页面。 登录集群详情页面,选择“服务管理”。
配置Region Transition恢复线程 操作场景 在故障环境中,由于诸如Region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致Region长时间处于Transition下。
已准备好备份服务器。 备份数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。