操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索参数“FLINK_SERVER_GC_OPTS”,在该参数值中添加“ -Dfastjson.parser.safeMode=true”(注意与前参数有空格
具体过程是首先根据如何查看哪个ZooKeeper实例是Leader查看Leader所在节点IP,使用连接客户端命令zkCli.sh -server Leader节点IP:2181成功后进行deleteall命令删除操作。具体操作请参见使用ZooKeeper客户端。
具体过程是首先根据如何查看哪个ZooKeeper实例是Leader查看Leader所在节点IP,使用连接客户端命令zkCli.sh -server Leader节点IP:2181成功后进行deleteall命令删除操作。具体操作请参见使用ZooKeeper客户端。
zkCli.sh -server ZooKeeper所在节点的IP:端口 ZooKeeper所在节点的IP即为1中查到的结果,多个IP之间以逗号间隔。 使用ls /等常用的命令查看ZooKeeper上的信息。 父主题: 使用ZooKeeper
select database,table from system.replicas where is_readonly; 查看ClickHouse Server日志,若是由于大量写入后台数据导致的readonly mode,当操作结束后会自动恢复,此时需要对数据写入进行优化。
可以通过Manager界面修改ClickHouse Server角色实例的“profiles.default.max_query_size”参数的值。 父主题: 使用ClickHouse
MRS对所有业务组件的管理节点都提供了类似的双机的机制,包括Manager、Presto、HDFS NameNode、Hive Server、HBase HMaster、YARN Resources Manager、Kerberos Server、Ldap Server等,全部采用主备或负荷分担配置
执行以下命令进入“ ${BIGDATA_HOME}/om-server/om/sbin/”目录。
sh $BIGDATA_HOME/om-server/OMS/workspace/bin/omm_s_fm_ctl.sh restart 以root用户登录备管理节点,继续执行步骤 3~步骤 4。 父主题: 查看与配置MRS告警事件
/__spark_conf__/__hadoop_conf__/jaas-zk.conf -Dzookeeper.server.principal=${ZOOKEEPER_SERVER_PRINCIPAL} -Djava.security.krb5.conf=.
kafka-consumer-groups.sh --bootstrap-server <broker_host:port> --describe --group my-group 例如: kafka-consumer-groups.sh --bootstrap-server 192.168.100.100
通过kafka配置文件/opt/Bigdata/MRS_2.1.0/1_11_Broker/etc/server.properties中的配置项log.dirs获得数据存储目录。 其中配置文件路径请根据时间环境的集群版本修改,当磁盘有多块时,该配置项有多个,逗号间隔。
选择“集群 > 服务 > Guardian > 配置”,在搜索框中搜索“token.server.config.expandor”,新增自定义参数“token.server.access.label.administrators”参数,值为“supergroup,wheel”,单击
进入History Server页面。 History Server页面用于展示已完成和未完成的应用的运行情况。 图1 History Server页面 选择一个应用ID,单击此页面将跳转到该应用的Spark UI页面。 Spark UI页面,用于展示正在执行的应用的运行情况。
“服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。
(普通模式跳过此步骤) 使用zkCli.sh -server <ZooKeeper集群业务IP:zkPort/kafka>登录ZooKeeper Shell。 执行addauth krbgroup。
准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的主机操作系统选择“EulerOS”,版本请根据需要选择。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
server.sinkgroups=g1 server.sinkgroups.g1.sinks=k1 k2 server.sinkgroups.g1.processor.type=load_balance server.sinkgroups.g1.processor.backoff
配置Region Transition恢复线程 操作场景 在故障环境中,由于诸如region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致region长时间处于transition下。
调整HetuEngine集群节点资源配置 HetuEngine默认的内存大小参数和硬盘溢出路径参数默认并非最佳,需要根据实际业务和集群的服务器配置情况调整集群节点资源配置,以获得最佳的性能效果。