检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用,包含单个Job 百万个task。应用结束后,在JobHistory中访问该应用的原生页面,浏览器会等待较长时间才跳转到应用原生页面,若10分钟内无法跳转,则页面会显示Proxy
参考修改集群服务配置参数,进入Yarn“全部配置”页面。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
选择“集群 > 服务 > DBService > 实例”,查看DBService主节点IP地址信息。 以root用户登录DBService主节点。 compuserdb用户密码不支持在备DBService节点修改。只需在主管理节点执行修改操作,无需在备管理节点操作。
查看MRS节点引导操作执行记录 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群概览信息页面。 在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息
对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS 3.1.0版本集群: 修改LdapServer服务的用户密码为高危操作,需要重启KrbServer和LdapServer服务。
如果是为已有集群配置的场景,需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。 配置完成后,当集群的业务运行状态满足相关弹性伸缩要求时,系统会自动对Task节点组进行扩容或缩容操作。 用户可以在左侧导航栏单击“操作日志”,查看当前集群的扩缩容详情。
每个集群的安全组,需分别添加对端集群的安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。
在HBase服务安装时可选部署ThriftServer实例,ThriftServer系统可访问HBase的用户,拥有HBase所有NameSpace和表的读、写、执行、创建和管理的权限。访问ThriftServer服务同样需要进行Kerberos认证。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程响应缓慢或不可用。 可能原因 MySQL客户端连接Doris后,连接未关闭。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致某个场景下任务持续执行失败。
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码,以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天,如果需要修改操作系统用户密码有效期,可以参考修改MRS
此操作对所有服务器生效。如果密码丢失将不可找回,请妥善保管。 kpasswd kadmin/admin 输入用户密码后(默认密码为Admin@123),设置新密码。新密码的默认复杂度要求: MRS 2.x及之前版本: 密码字符长度至少为8位。
用户可通过“系统设置 > 阈值配置 > 服务 > Yarn”修改阈值。当Yarn ResourceManager堆内存使用率小于或等于阈值时,告警恢复。
对系统的影响 重置密码需要停止并重启服务,服务在此期间无法访问。 重置组件数据库用户密码 在FusionInsight Manager界面,选择“集群 > 服务”。 单击待重置数据库用户密码的服务名称,例如“Kafka”,然后在服务概览页面中单击“停止服务”。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过
Flink开启Checkpoint样例程序开发思路 场景说明 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(
Flink开启Checkpoint样例程序(Java) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 下面代码片段仅为演示,完整代码参见FlinkCheckpointJavaExample
Flink开启Checkpoint样例程序(Scala) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 发送数据形式。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei.bigdata.flink.examples.SEvent
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口的状态使用