华为云用户手册

  • 创建盘古子用户 创建盘古子用户步骤如下: 使用主账号登录 IAM 服务控制台。 左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息,单击“下一步”。 配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组,单击“创建用户”,完成IAM用户的创建。 图8 加入用户组
  • 添加盘古子用户至工作空间 在添加盘古子用户至工作空间前,请先完成创建盘古子用户。 登录ModelArts Studio大模型开发平台。 进入需要添加子用户的空间,在空间内单击左侧导航栏“空间管理”,并进入“成员管理”页签。 如图,以添加子用户为“模型开发工程师”角色为例。在搜索框中搜索子用户名称,在“请选择角色”选项栏中设置用户角色,设置完成后单击右侧“添加”,将该用户添加至本空间。 图9 添加成员为“模型开发工程师”角色
  • 变量赋值节点配置说明 变量赋值节点,将特定的值赋给变量,可以实现数据的动态更新和传递,使工作流能够根据实时数据做出相应的处理和决策;变量设置节点也支持在循环节点内部使用,通过变量设置节点,将特定的值赋给中间变量,可以实现循环过程中数据的动态更新和传递。 变量赋值节点配置步骤如下: 拖动左侧“变量赋值”节点至画布中,单击该节点以打开节点配置页面。 连接变量赋值节点和其他节点。 参照表1,完成变量赋值节点的配置。 表1 变量赋值节点配置说明 配置类型 参数名称 参数说明 循环节点外变量赋值节点配置 变量赋值 变量赋值节点变量名称仅支持全局配置中记忆变量引用,值可支持引用或者输入两种。 类型、值:支持“引用”和“输入”两种类型。 引用:支持用户选择工作流中已包含的前置节点的输出变量值以及全局配置的中的记忆变量。 输入:支持用户自定义取值。 循环节点中变量赋值配置 变量赋值 变量赋值节点支持在循环体内部引用,只支持更改循环体中间变量的值,被赋值变量仅支持选择中间变量,值可支持引用或输入两种。适用于循环过程中动态更新中间变量,自定义循环逻辑中进行参数传递的场景。 类型、值:支持“引用”和“输入”两种类型。 引用:中间变量的值需要引用上游节点输出时勾选此项,支持用户选择工作流中已包含的前置节点的输出变量值以及循环体内置变量,包括index、item(数组循环)以及中间变量,适用于循环过程中修改中间变量的值为变量的场景。 输入:支持用户自定义取值,适用于循环过程中修改中间变量的值为固定值场景。 图1 变量赋值节点配置示例 图2 变量赋值节点在循环节点中配置示例 节点配置完成后,单击“确定”。 连接变量赋值节点和其他节点。
  • 使用“体验中心”调用科学计算大模型 体验中心功能支持用户调用预置或训练后的科学计算大模型。使用该功能前,请完成模型的部署操作,步骤详见创建科学计算大模型部署任务。 使用“体验中心”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度场景的预测能力。具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”,单击“科学计算”页签。 选择部署的服务。 完成页面参数配置。请参考表1 科学计算大模型体验中心参数说明。 表1 科学计算大模型体验中心参数说明 参数 说明 结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持根据不同的模型选择相应的OBS文件路径。例如:天气模型选择ERA5数据,海洋模型选择深海数据文件夹,污染物模型选择污染物观测数据文件夹等。 预报天数 支持选择以起报时间点为开始,进行预报的天数,范围为1~30天。 起报时间 支持选择多个起报时间作为推理作业的开始时间,每个起报时间需为输入数据中存在的时间点。 图片输出 用于选择是否输出图片结果。 集合预报 用于选择是否开启集合预报。 在气象预报中,集合预报是指对初始场加入一定程序的扰动,使其生成一组由不同初始场预报的天气预报结果,从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性,从而提高预报的准确性和可靠性。 集合成员数 用于选择生成预报的不同初始场的数量,取值为2~10。 扰动类型 用于选择生成集合预报初始场的扰动类型,仅支持perlin加噪方式。 Peilin噪音通过对输入数据(比如空间坐标)进行随机扰动,让模拟出的天气接近真实世界中的变化。 集合预报的Perlin加噪 scale 用于选择集合预报的Perlin加噪强度。 集合预报的Perlin加噪x 用于选择集合预报的Perlin加噪x经度方向的尺度。 集合预报的Perlin加噪octave 用于选择集合预报的Perlin加噪octave。Perlin噪音的octave指的是噪音的频率,在生成Perlin噪音时,可以将多个不同频率的噪音叠加在一起,以增加噪音的复杂度和细节。每个频率的噪音称为一个octave,而叠加的octave数越多,噪音的复杂度也就越高。 集合预报的Perlin加噪y 用于选择集合预报的Perlin加噪y纬度方向的尺度。 图2 科学计算参数设置1 图3 科学计算参数设置2 父主题: 调用科学计算大模型
  • 知识检索节点 知识检索节点可以基于用户的输入,从指定知识库内召回匹配的信息,并将匹配结果以列表形式返回。该节点支持选择用户创建的知识库,创建步骤请详见创建知识库。 知识检索节点配置步骤如下: 拖动左侧“知识检索”节点至画布中,单击该节点以打开节点配置页面。 连接知识检索节点和其他节点。 参照表1,完成大模型节点的配置。 表1 知识检索节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 参数名称:输入参数固定只有1个,参数名称为query且不可修改,类型是字符串,表示待知识检索的问题。 类型、值:支持“引用”和“输入”两种类型。 引用:支持用户选择工作流中已包含的前置节点的输出变量值,限制String类型,适用于需要从前置节点输出中获取知识检索问题的场景。 输入:支持用户自定义输入问题,适用于知识检索问题固定的场景。 知识库 支持选择用户所创建的知识库。 相关度阈值 得分低于相关度阈值的搜索结果会被过滤,可以参考知识库命中测试的相关度分值调整该阈值。 取值范围为0.01~0.99。 topk召回数量 从知识库中召回的最大切片数量,如topk召回数量为5,则得分不在前5的切片将被过滤。 取值范围为1~6。 输出参数 - 知识检索节点的输出是一个对象数组,参数名是output_list,表示所有满足检索要求的知识切片。数组中对象有三个属性: document_name,知识切片所在的知识文档名称。 content,知识切片的内容。 score,知识切片的匹配度得分,output_list中的元素按照得分由高到低排序。 后续节点引用该输出参数,可以引用output_list,此时将获取全量的检索结果,包括文档名、切片内容和分数。也可以直接引用切片的属性,比如content,此时将获取output_list中第一条记录的切片内容。 图1 知识检索节点配置示例 节点配置完成后,单击“确定”。 父主题: 工作流节点配置参考
  • 快速部署 本章节帮助用户高效地部署“快速体验智能问数”解决方案。一键部署该解决方案时,参照本章节中的步骤和说明进行操作,即可完成快速部署。 表1 参数说明(云服务器单机部署) 参数名称 类型 是否可选 参数解释 默认值 vpc_name string 必填 虚拟私有云名称,该模板使用新建VPC,不允许重名。取值范围:1-57个字符,支持数字、字母、中文、_(下划线)、-(中划线)、.(点)。 intelligent-data-insight_demo secgroup_name string 必填 安全组名称,该模板使用新建安全组。请参考安全组规则修改进行配置。取值范围:1-64个字符,支持数字、字母、中文、_(下划线)、-(中划线)、.(点)。 intelligent-data-insight_demo rds_name string 必填 云数据库RDS名称,不支持重名。取值范围:实例名称长度最小为4字符,最大为64个字符且不超过64字节(注意:一个中文字符占用3个字节),必须以字母或中文开头,区分大小写,可以包含字母、数字、中划线、下划线或中文,不能包含其他特殊字符。 intelligent-data-insight_demo db_type string 必填 云数据库RDS引擎,取值:MySQL、PostgreSQL。 MySQL rds_flavor string 必填 云数据库RDS规格,该方案默认创建单机版。RDS for MySQL默认rds.mysql.n1.large.2(2U4G)。RDS for PostgreSQL默认rds.pg.n1.large.2(2U4G)。其他规格参考请参考: RDS for MySQ L实例 规格 RDS for PostgreSQL实例规格 rds.mysql.n1.large.2 rds_port number 必填 云数据库RDS连接端口,RDS for MySQL数据库端口范围为1024~65535(不包括12017和33071,该端口被RDS系统占用,不能使用)。默认值为3306。RDS for PostgreSQL数据库端口范围为2100-9500。默认值为5432。 3306 rds_volume_size number 必填 云数据库RDS实例存储空间大小,默认存储盘类型为SSD云盘,取值范围:40-4,000,必须为10的整数倍。 40 rds_password string 必填 云数据库RDS登录密码,初始密码为该密码。取值范围:8-32个字符,包含大小写字母、数字和特殊字符(~!@#%^*-_=+?)。 空 db_account_name string 必填 云数据库RDS自定义只读用户名称,不支持重名。取值范围:实例名称长度最小为4字符,最大为64个字符且不超过64字节(注意:一个中文字符占用3个字节),必须以字母或中文开头,区分大小写,可以包含字母、数字、中划线、下划线或中文,不能包含其他特殊字符。 readonly_user db_account_password string 必填 云数据库RDS自定义只读用户登录密码。取值范围:8-32个字符,必须至少包含大写字母、小写字母、数字和特殊字符(~!@#%^*-_=+?,)中的其中三种。 空 db_name string 必填 数据库名称。由字母、数字和下划线组成,长度为1~63个字符。不能以pg或数字开头,且不能与RDS for PostgreSQL模板库名称相同。RDS for PostgreSQL的模板库包括postgres、template0和template1。 business_db dify_version string 必填 Dify应用开发平台社区版版本,支持v1.1.3、v0.15.3及v0.15.2。 0.15.3 dify_ecs_name string 必填 Dify平台云服务器名称,不允许重名。取值范围:1-54个字符组成,包括字母、数字、下划线 (_)、连字符 (-) 和句点 (.)。 intelligent-data-insight_dify_ecs_demo dify_ecs_flavor string 必填 Dify平台云服务器实例规格,支持弹性云服务器 E CS 及华为云Flexus 云服务器X实例。Flexus 云服务器X实例规格ID命名规则为x1.?u.?g,例如2vCPUs4GiB规格ID为x1.2u.4g,具体华为云Flexus 云服务器X实例规格请参考控制台。弹性云服务器规格名称,具体请参考官网弹性云服务器规格清单。 x1.8u.16g dify_password string 必填 Dify平台云服务器密码,长度为8-26位,密码至少必须包含大写字母、小写字母、数字和特殊字符(!@$%^-_=+[{}]:,./?)中的三种。修改密码,请参考重置云服务器密码登录ECS控制台修改密码。管理员账户默认root。 空 dify_system_disk_size number 必填 Dify平台云服务器系统盘大小,磁盘类型默认为高IO,单位:GB,取值范围为40-1,024,不支持缩盘。 100 dify_eip_size number 必填 Dify平台云服务器弹性公网带宽大小,该模板计费方式为按流量计费。单位:Mbit/s,取值范围:1-300Mbit/s。 300 db_query_ecs_name string 必填 数据库接口云服务器名称,不允许重名。取值范围:1-54个字符组成,包括字母、数字、下划线 (_)、连字符 (-) 和句点 (.)。 intelligent-data-insight_db_query_demo db_query_ecs_flavor_id string 必填 数据库接口云服务器实例规格,支持弹性云服务器 ECS及华为云Flexus 云服务器X实例。Flexus 云服务器X实例规格ID命名规则为x1.?u.?g,例如2vCPUs4GiB规格ID为x1.2u.4g,具体华为云Flexus 云服务器X实例规格请参考控制台。弹性云服务器规格名称,具体请参考官网弹性云服务器规格清单。 x1.2u.4g db_query_password number 必填 数据库接口云服务器密码,长度为8-26位,密码至少必须包含大写字母、小写字母、数字和特殊字符(!@$%^-_=+[{}]:,./?)中的三种。修改密码,请参考重置云服务器密码登录ECS控制台修改密码。管理员账户默认root。 空 db_query_eip_size number 必填 数据库接口云服务器弹性公网带宽大小,该模板计费方式为按流量计费。单位:Mbit/s,取值范围:1-300Mbit/s 300 charging_mode string 必填 计费模式,默认自动扣费,取值为prePaid(包年包月)或postPaid(按需计费)。 postPaid charge_period_unit string 必填 计费周期单位,当计费方式设置为prePaid,此参数是必填项。有效值为:month(包月)和year(包年)。 month charge_period number 必填 计费周期,当计费模式设置为prePaid,此参数是必填项。可选值为:1-3(year)、1-9(month)。 1 登录华为云解决方案实践,选择“快速体验智能问数”,支持区域下拉选择部署的区域(以北京四区域为例),单击“一键部署”,跳转至解决方案创建资源栈界面。 图1 解决方案实施库 在选择模板界面中,单击“下一步”。 图2 选择模板 在配置参数界面中,参考表1 参数填写说明完成自定义参数填写,单击“下一步”。 图3 配置参数 (可选,如果使用华为主账号或admin用户组下的IAM子账户可不选委托)在资源设置界面中,在权限委托下拉框中选择“rf_admin_trust”委托,单击“下一步”。 图4 委托设置 在配置确认界面中,单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中,自定义填写执行计划名称,单击“确定”。 图6 创建执行计划 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 (可选)如果计费模式选择“包年包月”,在余额不充足的情况下(所需总费用请参考资源和成本规划中对应一键部署云服务所需的包年包月费用表)请及时登录费用中心,手动完成待支付订单的费用支付。 待“事件”中出现“Apply required resource success”,表示该解决方案已经部署完成。 图9 部署完成 刷新页面,在“输出”中查看访问链接(Dify-LLM应用开发平台访问链接、后端数据库查询链接)和 导入Dify工作流DSL文件链接,堆栈部署成功后,约等待5-10分钟左右(受网络波动影响)即可登录Dify平台。 图10 说明 父主题: 实施步骤
    AI
  • 数据库导入数据并测试 进入云数据库 RDS控制台,选择一键部署时创建的RDS for MySQL数据库,选择“登录”。 图12 登录数据库 图13 使用root用户登录MySQL数据库 如果选择PostgreSQL数据库引擎,需要给readonly_user用户赋予只读权限,如果选择MySQL数据库引擎,跳过该步骤即可。 图14 将用户readonly_user的默认事务设置为只读模式 图15 确认是否做了root权限优化,以下sql不报错说明已优化 图16 执行如下操作 提前准备的sql文件导入预设的数据库business_db。点击“导入·导出”,选择“导入”,点击“新建任务”,选择已有的SQL文件或OBS桶中的SQL文件,导入SQL文件。(说明:也可以通过DRS工具往数据库传输数据) 图17 点击“导入·导出”,选择“导入” 图17 导入选择SQL文件 图19 数据导入成功 测试数据库连接,在dify工作流http节点进行测试。点击http节点测试运行按钮。 图20 点击http节点测试运行按钮 图21 输入测试sql语句并运行 创建数据分析LLM节点,配置回复节点内容,完成整个智能问数工作流的搭建。 图22 创建LLM节点 图23 配置回复节点,选择数据分析LLM节点的输出结果 发布工作流,即可运行智能问数对话页面。 图24 发布工作流 图25 运行智能问数
  • Dify平台连接数据库 创建http请求节点,并输入快速部署步骤10数据库服务端暴露的API地址。 图10 创建http请求节点 填写数据库服务端API信息,API请求类型选择“POST”,URL链接为数据库服务端暴露的API地址,HEADERS添加键为“Content-Type”,值为“application/json”,BODY选择“JSON”,并如图11填写JSON信息。 图11 配置http请求节点
  • 安全组规则修改(可选) 该解决方案使用80端口用来访问Dify,默认全放通,请参考修改安全组规则,配置IP地址白名单。 该解决方案使用22端口用来以SSH方式远程登录云服务器,若需远程登录云服务器,请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务。 该解决方案部署成功后,环境初始化预计5分钟左右,受网络、带宽影响,部署时间会有波动部署完成之后方可正常访问。 安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。 如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。 删除安全组规则:当安全组规则入方向、出方向源地址/目的地址有变化时,或者不需要开放某个端口时,您可以参考删除安全组规则进行安全组规则删除。
  • 资源和成本规划 该解决方案主要部署如下资源,以下费用仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准。 表1 资源和成本规划(按需计费) 华为云服务 配置示例 数量 每月预估花费 华为云Flexus云服务器X实例 按需计费:0.95元/小时 区域:华北-北京四 规格:Flexus云服务器X实例 | 性能模式(关闭)| x1.8u.16g | 8核 | 16 GB 镜像:Ubuntu 22.04 server 64bit 系统盘:高IO | 100GB 1 683.28元 华为云Flexus云服务器X实例 按需计费:0.24元/小时 区域:华北-北京四 规格:Flexus云服务器X实例 | 性能模式(关闭)| x1.2u.4g | 2核 | 4GB 镜像:Ubuntu 22.04 server 64bit 系统盘:高IO | 40GB 1 176.11元 云数据库 RDS for MySQL 按需计费:0.40元/小时 区域:华北-北京四 计费模式:按需计费 规格:rds.mysql.n1.large.2(2U4G) 储存:SSD云盘 | 40GB 数据库引擎:MySQL 8.0 1 288.00元 弹性公网IP EIP 区域:华北-北京四 计费模式:按需计费 线路:动态BGP 公网带宽:按流量计费 带宽大小:300Mbit/s 2 0.80元/GB 合计 - - 1147.39‬元 + 弹性公网IP EIP费用 表2 资源和成本规划(包年包月) 华为云服务 配置示例 数量 每月预估花费 华为云Flexus云服务器X实例 包年包月 区域:华北-北京四 规格:Flexus云服务器X实例 | 性能模式(关闭)| x1.8u.16g | 8核 | 16 GB 镜像:Ubuntu 22.04 server 64bit 系统盘:高IO | 100GB 1 467.00元 华为云Flexus云服务器X实例 包年包月 区域:华北-北京四 规格:Flexus云服务器X实例 | 性能模式(关闭)| x1.2u.4g | 2核 | 4GB 镜像:Ubuntu 22.04 server 64bit 系统盘:高IO | 40GB 1 122.00元 云数据库 RDS for MySQL 包年包月 区域:华北-北京四 计费模式:按需计费 规格:rds.mssql.spec.n1.se.large.2(2U4G) 储存:SSD云盘 | 40GB 数据库引擎:MySQL 8.0 1 196.00元 弹性公网IP EIP 区域:华北-北京四 计费模式:按需计费 线路:动态BGP 公网带宽:按流量计费 带宽大小:300Mbit/s 2 0.80元/GB 合计 - - 785.00元 + 弹性公网IP EIP费用
    AI
  • 开始使用 有关TiDB详细使用指导请参考TiDB产品文档。 该解决方案涉及到的TiDB组件端口默认不开放,实际使用中请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务,使用默认配置部署的TiDB全部组件端口表请参考TiDB端口说明。 后续文档将展开TiDB的基础使用与集群监控,请预先配置如下端口的安全组规则: 1、22端口:用于登录Monitor节点,以查看集群的部署状态 2、2379端口:用于接入PD组件部署的集群仪表盘 3、3000端口:用于接入Monitor节点承载的Grafana监控服务 4、4000端口:应用及 DBA 工具访问通信端口,用于接入TiDB集群 安全组规则修改(可选) 安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。 如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。 删除安全组规则:当安全组规则入方向、出方向源地址/目的地址有变化时,或者不需要开放某个端口时,您可以参考删除安全组规则进行安全组规则删除。 登录华为云弹性云服务器控制台,查看ECS是否正常创建,并查看Monitor节点的公网IP地址。 图1 查看ECS资源以及Monitor节点的公网 (图中ECS规格仅为示例使用,具体规格以实际填写为准。) 远程连接Monitor节点 ECS创建完成后,后台会进行环境部署,等待约15分钟后,可使用SSH连接工具或通过ECS控制台远程连接Monitor节点以进行后续集群状态查看(请确保22端口安全组已开放)。 图2 远程连接Monitor节点 查看部署进度与集群状态 使用命令"cat /tmp/tidb_monitor_htap.log"查看部署日志,在行末见到如下图集群启动成功日志即为部署成功 图3 集群启动成功日志 使用命令"tiup cluster display tidb"查看部署集群状态,状态为Up即为节点状态正常。记录状态为UI的pd节点的私网IP地址。如下图所示。 图4 查看集群状态 返回弹性云服务器控制台,根据私网IP搜索目标pd节点,如下图所示。 图5 承载UI仪表盘的pd节点 进入该ECS的详情页,单击弹性公网IP的标签栏。单击"绑定弹性公网IP",选择由模板创建的弹性公网IP,如下图所示。(如果无如图命名的弹性公网IP,请查看弹性公网IP是否被其它业务节点占用,请进行解绑与重新绑定)。 图6 pd节点详情页 图7 绑定弹性公网IP 确保安全组(2379端口)已配置的前提下,访问地址:{上述弹性公网IP}:2379/dashboard,登录TiDB Dashboard以查看集群内组件使用状态(用户名为root 密码为空) 图8 TiDB Dashboard登录页 图9 查看集群内各组件状态 访问TiDB计算节点 登录弹性负载均衡ELB服务控制台,查看模板创建出的ELB的公网地址,如下图所示。确保安全组(端口4000)已配置的前提下,可使用linux命令"mysql --host {ELB公网地址} --port 4000 -u root"接入数据库。(即数据库IP为ELB的公网地址,接入端口为4000,用户名为root,密码为空) 图10 绑定TiDB计算节点的ELB 图11 接入TiDB 访问Grafana仪表盘 确保安全组(端口3000)已配置的前提下,访问{Monitor节点弹性公网IP}:3000即可访问Grafana仪表盘(用户名为admin,密码为admin)。重置密码后即可进入Grafana控制台,如下图所示。 图12 Grafana主页 图13 重置密码 图14 Grafana控制台 父主题: 实施步骤
  • 快速部署 本章节主要帮助用户快速部署该解决方案 表1 参数说明 参数名称 类型 是否必填 参数解释 默认值 enterprise_project_id string 是 企业项目id,请参考部署指南到项目管理界面获取https://console.huaweicloud.com/eps/,0代表default项目。 0 vpc_name string 是 虚拟私有云 VPC名称,该模板新建VPC,不允许重名。取值范围:1-54个字符,支持数字、字母、中文、_(下划线)、-(中划线)、.(点)。 high-availability-tidb security_group_name string 是 安全组名称,该模板新建安全组。取值范围:1-64个字符,支持数字、字母、中文、_(下划线)、-(中划线)、.(点)。 high-availability-tidb ecs_name string 是 弹性云服务器 ECS名称前缀,不允许重名。命名规则{ecs_name}-tidb0X、{ecs_name}-tiflash、{ecs_name}-pd0X及{ecs_name}-tikv0X、{ecs_name}-monitor,其中X取值[1,3]。取值范围:1-54个字符,支持数字、字母、_(下划线)、-(中划线)、.(点)。 high-availability-tidb ecs_password string 是 ECS初始化密码及Console运维平台初始化密码,请参考重置ECS实例密码登录ECS控制台修改密码。取值范围:长度为8-26位,密码至少必须包含大写字母、小写字母、数字和特殊字符!@%?*#.中的三种,密码不能包含用户名或用户名的逆序。管理员账户为root。 无 tidb_flavor string 是 TiDB-ECS规格,推荐使用16vCPUs32GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.4xlarge.2 pd_flavor string 是 PD-ECS规格,推荐使用4vCPUs8GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.xlarge.2 tikv_flavor string 是 TiKV-ECS规格,推荐使用16vCPUs32GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.4xlarge.2 tiflash_flavor string 是 TiFlash-ECS规格,推荐使用32vCPUs64GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.8xlarge.2 monitor_flavor string 是 Monitor&Grafana-ECS规格,推荐使用4vCPUs8GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.xlarge.2 ecs_disk_size number 是 各组件系统盘大小,磁盘类型默认通用型SSD,以GB为单位,取值范围为40-1,024,不支持缩盘。 100 tiflash_disk_size number 是 TiFlash数据盘大小,磁盘类型默认通用型SSD,以GB为单位,取值范围为10-32,768,不支持缩盘。 2048 tikv_disk_size number 是 TiKV数据盘大小,磁盘类型默认通用型SSD,以GB为单位,取值范围为10-32,768,不支持缩盘。 2048 monitor_disk_size number 是 Monitor&Grafana数据盘大小,磁盘类型默认通用型SSD,以GB为单位,取值范围为10-32,768,不支持缩盘。 500 elb_name string 是 弹性负载均衡,用于访问TiDB 输入为ELB名称前缀,命名规则{elb_name}_elb。取值范围:1-51个字符组成,支持中文、英文字母、数字、_(下划线)、-(中划线)、.(点)。 high-availability-tidb charge_mode string 是 计费模式,默认自动扣费,可选值为:postPaid(按需计费)、prePaid(包年包月)。 postPaid charge_period_unit string 是 订购周期类型,仅当charge_mode为prePaid(包年/包月)生效。取值范围:month(月),year(年)。 month charge_period number 是 订购周期,仅当charge_mode为prePaid(包年/包月)生效。取值范围:charge_period_unit=month(周期类型为月)时,取值为1-9;charge_period_unit=year(周期类型为年)时,取值为1-3。 1 登录华为云解决方案实践,选择“快速构建高可用TiDB集群”,单击“一键部署”,跳转至解决方案创建资源栈界面。 图1 解决方案实践 在选择模板界面中,单击“下一步”。 图2 选择模板 在配置参数界面中,参考表3-1 参数填写说明完成自定义参数填写,单击“下一步”。 图3 配置参数 (可选,如果使用华为主账号或admin用户组下的IAM子账户可不选委托)在资源设置界面中,在权限委托下拉框中选择“rf_admin_trust”委托,单击“下一步”。 图4 资源栈设置 在配置确认界面中,单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中,自定义填写执行计划名称,单击“确定”。 图6 创建执行计划 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 (可选)如果计费模式选择“包年包月”,在余额不充足的情况下(所需总费用请参考2-表 资源和成本规划(包年包月))请及时登录费用中心,手动完成待支付订单的费用支付。 待“事件”中出现“Apply required resource success”,表示该解决方案资源已经部署完成,后台将自动完成环境构建。 图9 部署完成 父主题: 实施步骤
  • 创建rf_admin_trust委托(可选) 进入华为云官网,打开控制台管理界面,鼠标移动至个人账号处,打开“ 统一身份认证 ”菜单。 图1 控制台管理界面 图2 统一身份认证菜单 进入“委托”菜单,搜索“rf_admin_trust”委托。 图3 委托列表 如果委托存在,则不用执行接下来的创建委托的步骤。 如果委托不存在时执行接下来的步骤创建委托。 单击步骤2界面中的“创建委托”按钮,在委托名称中输入“rf_admin_trust”,委托类型选择“云服务”,选择“ RFS ”,单击“下一步”。 图4 创建委托 在搜索框中输入“Tenant Administrator”权限,并勾选搜索结果,单击“下一步”。 图5 选择策略 选择“所有资源”,并单击下一步完成配置。 图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。 图7 委托列表
  • 前提条件 已创建 云桌面 。 已获取需要校验完整性的软件包。 表1 校验码 安装包 版本 sha256值 Windows 24.6.4 26617cb9794b0e88df39d8eb12e748ead2ca3fed3144c2313e844a53fc99ead1 Mac 24.6.4 8163abfddeb3a8695d1d0969244f337d9a63b28cfdb34abe388d0b8d4e099f61 Android 24.6.4 8776f651252eab123452d52be63c4c87f1ba5f2e642f2e3d74c33bd0b5e22a13 麒麟-AMD64 24.6.4 7bd860bb84ea8ce2248df4edf2c9c62427a3731773e624d7d80262edb93e9f2b 麒麟-ARM64 24.6.4 bf6dbf601b752b108ef9a7be840a78737d52327099af6091bbf94ab18e16e661 UOS-AMD64 24.6.4 7bd860bb84ea8ce2248df4edf2c9c62427a3731773e624d7d80262edb93e9f2b UOS-ARM64 24.6.4 bf6dbf601b752b108ef9a7be840a78737d52327099af6091bbf94ab18e16e661 Ubuntu-AMD64 24.6.4 7bd860bb84ea8ce2248df4edf2c9c62427a3731773e624d7d80262edb93e9f2b
  • 校验软件包完整性 用户登录Windows云桌面。 在云桌面中按“Win + r”,输入“cmd”,弹出命令行窗口。 执行以下命令,获取软件的Hash值。 certutil -hashfile {软件包本地目录}/{软件包名} sha256 {软件包本地目录}:请根据实际下载目录进行替换。例如:C:\Users {软件包名}:请根据实际下载软件包名进行替换。例如:Workspace_xxx.apk 示例:certutil -hashfile Workspace_android.apk sha256 将表1中获取的SHA256 Hash值和步骤3获取的Hash值进行比较。 一致:通过校验。 不一致:请重新下载对应版本的软件,重复步骤3~步骤4进行校验。
  • 约束与限制 RocketMQ同步事件流当前仅支持同步普通消息和顺序消息。若您配置Topic的消息类型是其它类型时,则该消息类型的Topic消息将不会被同步。 “同步”场景的约束与限制: 源RocketMQ和目标RocketMQ仅支持DMS服务RocketMQ实例,实例版本需保持一致,目前支持版本为4.8.0、5.x。 目标RocketMQ实例和源RocketMQ的代理数量、代理规格、存储空间需保持一致。 目标RocketMQ和源RocketMQ实例的实例类型(如单机、集群架构)需保持一致。 “迁移”场景的约束与限制: “迁移”场景类型需开通白名单,使用前请提交工单申请。 源端RocketMQ需要支持集群信息查询命令、topic列表查询命令,否则会导致在线迁移失败。 目标RocketMQ仅支持DMS服务RocketMQ实例,目前支持版本为4.8.0、5.x;源端RocketMQ支持4.8.0、5.x版本的DMS服务RocketMQ,或支持兼容开源4.x、5.x版本的云厂商/自建RocketMQ。 目标RocketMQ实例和源RocketMQ的代理数量需保持一致,目标RocketMQ实例代理规格、队列数、存储空间需不低于源RocketMQ。
  • 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。 右上角单击“创建作业”,进入“基础配置”。 配置“基本配置”信息,以下内容将以非白名单账号举例介绍。 表1 作业基本配置参数说明 参数 说明 集群 选择已创建的集群,如未创建,请参见专业版事件流集群。 作业名称 请输入作业名称。 场景类型 可选“同步”或“迁移”。 同步:实现数据源之间的数据实时同步,支持正向和反向的长期单向数据同步。 迁移:适用于业务割接期数据的整体搬迁上云,只支持短期单向同步。 描述 请输入对本作业的描述。 单击“测试连通性”按钮确认源端、目标端实例连通性通过之后,单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 图1 源数据和目标数据配置 表2 源数据和目标数据配置参数说明 参数 说明 配置类型 在同步场景下,源数据端为默认为“RocketMQ实例”。 在迁移场景下,源数据端为默认为“RocketMQ地址”。 目标数据端默认为“RocketMQ实例”。 说明: 配置类型根据实例类型变更。 实例别名 请输入实例别名。 用于标识源端和目标端实例,建议同一个源端或目标端实例只设置一个别名。 区域 请选择资源所在区域。 项目 请选择项目。 Rocketmq实例 请选择Rocketmq实例。 用户名 请输入用户名。 密钥 请输入密钥。 NameServer地址 仅在迁移场景下,源数据端需配置。 输入NameServer地址。 Broker地址 仅在迁移场景下,源数据端需配置。 输入Broker地址。 SSL 仅在迁移场景下,源数据端需配置。 是否开启SSL。 ACL访问控制 仅在迁移场景下,源数据端需配置。 是否开启ACL访问控制。 单击“下一步:高级配置”,进入“高级配置”页面。 图2 高级配置 表3 作业对象配置参数说明 参数 说明 Topic匹配类型 在同步场景下选择“正则匹配”或“精确匹配”。 在迁移场景下选择“正则匹配”或“输入”。 说明: 当选择“正则匹配”时需在下方输入“Topic正则”。示例:.* 表示匹配所有Topic,topic.* 表示匹配所有以topic为前缀的Topic。 当选择“精确匹配”时需选择“Topics”。 当选择“输入”时需输入“Topics”。 同步消费进度 请选择是否打开。 说明: 开启时表示将消息消费进度同步到目标Rocketmq。 启动偏移量 请选择为“最早”、“最新”或“自定义”。 压缩算法 请选择压缩算法为“none”、“lz4”、“zstd”或“zlib”。 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 表4 参数说明 参数名称 说明 Topic名称 创建RocketMQ实例时的Topic。 队列数 创建Topic时设置的队列个数。 待同步数 当前Topic队列数中未同步的消息数量。
  • 云服务事件源列表 事件网格支持的云服务事件源列表如下: 表1 云服务事件源 云应用引擎 CAE 数据库和应用迁移 UGO Classroom 内容审核 Moderation 虚拟私有云 VPC 代码检查 CodeCheck 云数据库 GaussDB NoSQL GaussDB API网关 APIG 数据仓库服务 DWS 部署 CloudDeploy 统一身份认证 IAM 事件网格 EG 华为云 UCS 弹性文件服务 SFS CloudIDE 人脸识别 FRS 微服务引擎 CSE 云专线 DC 数据可视化 DLV NAT网关 NAT 云桌面 Workspace 设备接入服务 IoTDA 分布式消息服务 DMS 知识图谱 KG IoT边缘 IoTEdge 云日志 服务 LTS 编译构建 CloudBuild 对象存储迁移 服务 OMS 云备份服务 CBR 消息&短信服务 MSG SMS 弹性公网IP EIP 云审计 服务 CTS 云搜索服务 CSS 视频分析服务 VAS 数据管理服务 DAS 裸金属服务器 BMS 云测 CloudTest VPC终端节点 VPCEP 云存储 网关服务 CSG 虚拟专用网络 VPN 企业路由器 ER 推荐系统 RES 云服务器备份服务 CSBS 内容分发网络服务 CDN 容器安全服务 CGS 态势感知 SA 代码托管 CodeHub 表格存储服务 CloudTable 云硬盘备份服务 VBS 云速建站 CloudSite 云手机 CPH 云性能测试服务 CPTS 智能边缘云 IEC 函数工作流 服务 FunctionGraph 主机迁移服务 SMS 标签管理服务 TMS 对话机器人服务 CBS 关系型数据库 RDS 云解析服务的Region级 DNS 存储容灾服务 SDRS 语音通话 VoiceCall 应用性能管理 APM 应用编排服务 AOS 数据接入服务 DIS 数据库安全服务 DBSS 慧眼HiLens HiLens 云数据迁移 CDM 多活高可用服务 MAS 流水线 CloudPipeline 图像识别 Image OBS应用事件源 对象存储服务 OBS 智能边缘平台 IEF 容器镜像服务 SWR 分布式缓存服务 DCS 弹性伸缩 AS 漏洞扫描服务 VSS 图引擎服务 GES 数据湖探索 DLI 云容器实例 CCI 需求管理 CodeArts Req 文档数据库服务 DDS 数据复制服务 DRS AI平台ModelArts 分布式数据库 中间件 DDM 消息通知 服务 SMN 应用管理与运维平台 ServiceStage 软件开发生产线 CodeArts 区块链 服务 BCS 应用运维管理 AOM MapReduce服务 MRS 云堡垒机 CBH 企业主机安全 HSS Web应用防火墙 WAF 弹性负载均衡 ELB 云硬盘 EVS 应用与 数据集成平台 ROMA Connect 云容器引擎 CCE 镜像服务 IMS 弹性云服务器 ECS
  • 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。 右上角单击“创建作业”,进入“基础配置”。 配置“基本配置”信息,以下内容将以非白名单账号举例介绍。 表1 作业基本配置参数说明 参数 说明 集群 选择已创建的集群,如未创建,请参见专业版事件流集群。 作业名称 请输入作业名称。 场景类型 可选“同步”或“迁移”。 同步:实现数据源之间的数据实时同步,支持正向和反向的长期单向数据同步。 迁移:适用于业务割接期数据的整体搬迁上云,只支持短期单向同步。 描述 请输入对本作业的描述。 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 图1 源数据和目标数据配置 表2 源数据和目标数据配置参数说明 参数 说明 配置类型 在同步场景下,源数据端为默认为“Kafka实例”。 在迁移场景下,源数据端为默认为“Kafka地址”。 目标数据端默认为“Kafka实例”。 说明: 配置类型根据实例类型变更。 实例别名 请输入实例别名。 用于标识源端和目标端实例,建议同一个源端或目标端实例只设置一个别名。 Kafka地址 仅在迁移场景下,源数据端需配置。 输入Kafka地址 区域 请选择资源所在区域。 项目 请选择项目。 Kafka实例 请选择Kafka实例。 接入方式 支持“明文接入”或“密文接入”。 安全协议 当选择明文接入时,安全协议为“PLAINTEXT”。 当选择“密文接入”时,安全协议可选择“SASL_SSL”或“SASL_PLAINTEXT”。 认证机制 当接入方式选择“密文接入”时需配置。 认证机制可选择“SC RAM -SHA-512”或“PLAIN”。 用户名 当接入方式选择“密文接入”时需配置。 请输入用户名。 密码 当接入方式选择“密文接入”时需配置。 请输入密码。 单击“测试连通性”按钮确认源端、目标端实例连通性通过之后,单击“下一步:高级配置”,进入“高级配置”页面。 图2 高级配置 表3 作业对象配置参数说明 参数 说明 Topic匹配类型 选择“正则匹配”或“精确匹配”。 说明: 当选择“正则匹配”时需在下方输入“Topic正则”。示例:.* 表示匹配所有Topic,topic.* 表示匹配所有以topic为前缀的Topic。 当选择“精确匹配”时需选择“Topics”。 副本数 请配置副本数。 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。 同步消费进度 请选择是否打开。 开启时表示将消息消费进度同步到目标Kafka。 启动偏移量 请选择为“最早”或“最新”。 压缩算法 请选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 表4 参数说明 参数名称 说明 Topic名称 创建Kafka实例时的Topic。 分区数 创建Topic时设置的分区数,分区数越大消费的并发度越大。 待同步数 当前Topic分区数中未同步的消息数量。 同步速率:当前作业同步消息时的速率,单击“限流”可跳转至源端Kafka实例的“流控列表”页面,用户可通过配置流控进而实现限流目的。
  • 约束与限制 “同步”场景的约束与限制: 源Kafka和目标Kafka仅支持DMS服务Kafka实例,实例版本需保持一致,目前支持版本为2.7、3.x。 目标Kafka实例和源Kafka的代理数量、代理CPU、内存、存储空间需保持一致。 “迁移”场景的约束与限制: “迁移”场景类型需开通白名单,使用前请提交工单申请。 目标Kafka仅支持DMS服务Kafka实例,目前支持版本为2.7、3.x;源端Kafka支持2.7、3.x版本的DMS服务Kafka,或支持兼容开源2.7及以上版本的云厂商/自建Kafka。 目标Kafka实例和源Kafka的代理数量需保持一致,目标Kafka实例代理CPU、内存、存储空间、topic和分区数需不低于源Kafka。
  • 操作步骤 登录事件网格控制台,本章节以配置Kafka事件流作业为例介绍。 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。 单击操作列“修改配置”按钮,进入“基础配置”页面,此处只能修改“作业名称”和“描述”。 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 表1 源数据目标数据配置参数是否支持修改说明 参数 是否支持修改 配置类型 否。 实例别名 否。 区域 否。 项目 否。 Kafka实例 否。 接入方式 是,支持“明文接入”或“密文接入”。 安全协议 是。 当选择明文接入时,安全协议为“PLAINTEXT”。 当选择“密文接入”时,安全协议可选择“SASL_SSL”或“SASL_PLAINTEXT”;认证机制可选择“SCRAM-SHA-512”或“PLAIN”。 用户名 请输入用户名。 当接入方式选择“密文接入”时需配置。 密码 请输入密码。 当接入方式选择“密文接入”时需配置。 单击“下一步:高级配置”,进入“高级配置”页面。 表2 作业对象配置参数是否支持修改说明 参数 是否支持修改 Topic匹配类型 是,可选择“正则匹配”或“精确匹配”。 说明: 当选择“正则匹配”时需在下方输入“Topic正则”。 当选择“精确匹配”时需选择“Topics”。 副本数 是。 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。 同步消费进度 是。 说明: 开启时表示将消息消费进度同步到目标Kafka。 启动偏移量 否。 压缩算法 是,可选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。
  • 约束与限制 当前DCS的专业版事件流作业需开通白名单,使用前请提交工单申请。开通后默认支持“同步”场景作业,“迁移”场景需额外开通白名单。 “同步”场景的约束与限制: 仅支持Redis 5.0版本的单机、主备和Cluster集群。 源端和目标端Redis实例的实例规格、实例类型、存储空间需保持一致,否则不支持同步事件流。 源端和目标端Redis实例需要打开eventLog配置、关闭appendonly(Redis单机实例无该参数)配置。 确保源端和目标端Redis实例已关闭客户端的IP透传功能。 “迁移”场景的约束与限制: 源端仅支持4.0、5.0、6.0版本Redis,目标端仅支持DCS服务的Redis 4.0、5.0、6.0版本单机、主备和Cluster集群类型实例。 如果源端Redis禁用了SYNC和PSYNC命令,请务必放通后再执行在线迁移,否则会导致在线迁移失败。 如果源端为DCS的Redis实例,需要配置eventlog参数为no;目标端Redis实例需要配置eventlog参数为no。 建议将源端Redis的repl-timeout参数配置为300秒,client-output-buffer-limit参数配置为源端Redis最大内存的20%。 开启了SSL的源端和目标端Redis不支持数据迁移,需要关闭Redis的SSL后再进行迁移。 如果源端和目标端Redis连接密码中包含单引号('),则不支持进行迁移,需要修改密码后再进行迁移。 如果是支持多DB的Redis迁移,请确保目标端的DB数量可支持源端有数据的最大DB序号。例如,源端有DB0到DB127,有数据最大DB序号为DB99,则目标端需要有100个DB及以上。
  • 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。 右上角单击“创建作业”,进入“基础配置”。 配置“基本配置”信息。 表1 作业基本配置参数说明 参数 说明 集群 选择已创建的集群,如未创建,请参见专业版事件流集群。 作业名称 请输入作业名称。 场景类型 可选“同步”或“迁移”。 同步:实现数据源之间的数据实时同步,支持正向和反向的长期单向数据同步。 迁移:适用于业务割接期数据的整体搬迁上云,只支持短期单向同步。 描述 请输入对本作业的描述。 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 图1 源数据和目标数据配置 表2 源数据和目标数据配置参数说明 参数 说明 配置类型 在同步场景下,源数据端为默认为“DCS实例”。 在迁移场景下,源数据端为默认为“DCS地址”。 目标数据端默认为“DCS实例”。 说明: 配置类型根据实例类型变更。 区域 请选择资源所在区域。 项目 请选择项目。 DCS实例 请选择DCS实例。 实例类型 仅在迁移场景下,源数据端需配置。 选择实例类型。 单机 主备 Cluster集群 DCS地址 仅在迁移场景下,源数据端需配置。 输入DCS地址。 访问方式 仅在迁移场景下,源数据端需配置。 选择访问方式。 密码访问。 免密访问。 用户名 仅在迁移场景下,源数据端需配置。 输入DCS用户名。 密码 输入DCS密码。 单击“测试连通性”按钮确认源端、目标端实例连通性通过之后,单击“下一步:高级配置”,进入“高级配置”页面。 表3 场景类型为“同步”配置参数说明 参数 说明 同步类型 默认为“全量+增量”。 是否限制同步速率 默认开启。 同步速率(MB/s) 请设置同步速率。 输入值必须在1到20之间。 使用Slave节点 默认开启。 表4 场景类型为“迁移”配置参数说明 参数 说明 同步类型 默认为“全量+增量”。 重试策略 选择重试策略。 立即重试:巡检任务发现任务出错后立即尝试重试。 定时重试:巡检任务发现任务错后,在指定时间窗内尝试重试。 限制无法连接后的重试时间 重试策略选择“立即重试”时需配置。 开启时可设置无法连接后的重试时间,关闭时出现无法连接问题后将一直重试。 无法连接后的重试时间(分) 重试策略选择“立即重试”时需配置。 配置无法连接后的重试时间。 限制出现其他问题后的重试时间 重试策略选择“立即重试”时需配置。 开启时可设置出现其他问题后的重试时间,关闭时出现其他问题后将一直重试。 出现其他问题后的重试时间(分) 重试策略选择“立即重试”时需配置。 配置出现其他问题后的重试时间。 无法连接后的重试开始时间 重试策略选择“定时重试”时需配置。 配置无法连接后的重试开始时间。 无法连接后的重试结束时间 重试策略选择“定时重试”时需配置。 配置无法连接后的重试结束时间。 出现其他问题后的重试开始时间 重试策略选择“定时重试”时需配置。 配置出现其他问题后的重试开始时间。 出现其他问题后的重试结束时间 重试策略选择“定时重试”时需配置。 配置出现其他问题后的重试结束时间。 使用Slave节点 默认开启。 在迁移任务启动后,若事件流集群到源端或目标端实例出现连接失败问题,支持按照配置策略进行重试操作。如果在配置的时间内重新连接上源端、目标端实例,迁移任务将自动恢复。否则,迁移任务将失败。 连接问题可能出现的场景举例: 源端或者目标端实例下电、关机、重启等; 事件流集群到源端或者目标端实例的网络连接异常; 源端或者目标端节点或者分片故障,无法对外提供访问。 在迁移任务启动后,若源端或目标端实例出现除连接失败外的其他问题,支持按照配置策略进行重试操作。如果在配置的时间内数据迁移操作恢复正常,迁移任务将自动恢复。否则,迁移任务将失败。 非连接问题可能出现的场景举例: 源端未开启psync; 源端当前状态无法迁移数据,如源端重启后初始化加载RDB阶段; 源端Redis命令迁移失败,如源端Redis命令在目的端上不支持; 源端或者目标端密码修改。 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 表5 参数说明 参数名称 说明 源节点 源数据中DCS实例的地址。 目标节点 目标数据中DCS实例的地址。 状态 DCS事件流同步进展执行情况。 同步进度 DCS事件流同步进展执行进度。 同步阶段 分为全量、增量和全量+增量。 源端已执行事务数 源端的数据数量。 目标端已执行事务数 目标端同步后的数据数量。
  • 查看监控指标 登录事件网格控制台。 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。 单击待查询的事件流名称,进入基本信息页面。 单击“监控指标”,查看监控信息。 在监控指标页面,默认展示近1小时的所有投递事件数据。 您也可以根据需要选择“近1小时”“近3小时”“近12小时”“近24小时”“近7天”“近30天”,分别查看不同时段的投递事件数据。 图3 监控指标 支持自定义时间跨度,可自定义选择查询的时间区间。 开启“自动刷新”后,指标数据会每5s刷新一次。 单击“查看更多指标详情”,可跳转至 云监控 CES界面。 当“周期”选择为原始值时,监控数据为原始数据;当“周期”选择为具体时间时,监控数据可选择“平均值”、“最大值”、“最小值”、“求和值”、“方差值”的聚合算法。
  • 响应示例 状态码: 200 OK,请求响应成功。 { "event_info" : { "global_trace_id" : "16-1666684411910-1326", "global_path" : null, "trace_id" : "16-1666684411910-1326", "span_id" : "1", "env_id" : 11, "instance_id" : 16, "app_id" : 11, "biz_id" : 162, "domain_id" : 1, "source" : "/apm2/health/v1/health-check", "real_source" : "/apm2/health/v1/health-check", "start_time" : 1666684411910, "time_used" : 1, "code" : 200, "class_name" : "org/apache/catalina/core/StandardHostValve", "is_async" : false, "tags" : { "httpMethod" : "GET", "remoteAddr" : "*.*.*.*" }, "has_error" : false, "error_reasons" : null, "type" : "Tomcat", "http_method" : "GET", "biz_code" : null, "event_id" : "1", "next_spanId" : null, "source_event_id" : null, "method" : "invoke", "children_event_count" : 0, "discard" : [ ], "argument" : "(GET)(/apm2/health/v1/health-check)(200)", "attachment" : { "bizName" : "LubanApm", "instanceName" : "apm2-apm-pu-task-6b5bbfc84d-gtrrs:172.16.3.7:default", "envName" : "xxx-roma-2", "appName" : "apm-pu-task", "projectId" : "420a7f6d790349c1bbeec18aefe36404", "domainId" : "f9b2ea53c6eb48078435d499a3b03419" }, "host_name" : "apm2-apm-pu-task-6b5bbfc84d-gtrrs", "ip_address" : "*.*.*.*", "instance_name" : "default", "region" : null, "env_name" : "xxx-roma-2", "app_name" : "apm-pu-task", "indent" : 0, "id" : "1+1" } }
  • 请求示例 分页查询region ID为xxx-roma-2,应用ID为162,指定起止时间的span数据。 /v1/apm2/openapi/view/trace/span-search { "region" : "cn-north-7", "biz_id" : 162, "page" : 1, "page_size" : 15, "start_time_string" : "2022-10-25 10:03:16", "end_time_string" : "2022-10-25 10:23:16", "codes" : [ ] }
  • 响应示例 状态码: 200 OK,请求响应成功。 { "total" : 1, "span_info_list" : [ { "global_trace_id" : "421422-1745466413564-3952254", "trace_id" : "421422-1745466413564-3952254", "span_id" : "1", "env_id" : 194456, "instance_id" : 421422, "app_id" : 204292, "biz_id" : 108903, "domain_id" : 2, "source" : "/{{alphaNumeric}}/{{alphaNumeric}}/v1/health-check", "real_source" : "/apm2/health/v1/health-check", "start_time" : 1745466413564, "time_used" : 0, "code" : 200, "class_name" : "org/apache/catalina/core/StandardHostValve", "is_async" : false, "tags" : { }, "has_error" : false, "type" : "Tomcat", "http_method" : "GET", "project_id" : "fc6d40abe7e54492b7c7aa5a29d6cbab", "log_group_id" : "9902226b-1a7f-4709-9bdc-54d13f3d6757", "print_trace_id_flag" : true, "log_stream_id" : "cc60abf5-abed-4cee-8cd2-f95c468dab3a", "env_name" : "wulan", "instance_name" : "apm2-lubanops-open-api-6689b46fdb-tkhhz(172.16.0.83)", "app_name" : "lubanops-open-api", "region" : "cn-north-7", "project_name" : "cn-north-7", "app_type" : "JAVA" } ] }
  • 操作步骤 登录MAS控制台,在“多活管理”页面单击实例(实例所属命名空间类型为同城多活),进入实例控制台。 在页面顶端导航栏选择“监控列表”,单击页面左上角的“监控配置”。 配置全局监控配置(建议使用默认值),完成后单击“确定”。 表1 监控配置 参数 配置说明 监控类型 选择需要配置的监控类型,可选的监控类型依赖实例已经创建的监控器类型。 重试时间间隔(ms) 尝试重连时间间隔。 输入值必须在1000到300000之间。 数据库访问超时时间(ms) 当“监控类型”配置为“MySQL/Oracle/PostgreSQL监控”和“MongoDB监控”时可见; 访问数据库超时时间,超过这个时间认为一次访问数据库失效。 输入值必须在3000到100000之间。 监控超时时间(ms) 一个周期内监控器对数据库探测监控的超时时间,超过这个时间,则认为探测数据库失败,监控状态变为监控异常。 以毫秒为单位,输入值必须在12000到1200000之间。 健康精度 探测的健康精度。配置为1,表示多活实例的监控集群中只要有一个worker探测到数据库,则认为探测成功;当探测失败时,由Leader做故障处理。 输入值必须为1或2。
  • 概述 Redis监控器可对用户业务使用的Redis数据库进行探测,并且在数据库异常时自动触发流量切换。 表1 监控状态说明 监控状态 状态说明 绿色 监控正常。 红色 监控异常。从正常到异常,在允许自动切换的情况下,自动触发流量切换。 黄色 初始化监控失败。此状态表示MAS进程无法检测业务数据库,确保配置信息无误的情况下,需要联系运维处理。 浅灰 监控未生成或监控配置错误。 深灰 调用异常。监控连接ETCD状态异常。
  • 创建Redis监控 登录MAS控制台,在“多活管理”页面单击实例(实例所属命名空间类型为同城多活),进入实例控制台。 在页面顶端导航栏选择“监控列表”,单击页面左上角的“新增监控”。 在新增监控页面配置监控基础配置,完成后单击“下一步:数据中心配置”。 图1 新增Redis监控-基础配置 表2 基础配置信息 参数 配置说明 监控 选择需要新增的监控类型,此处请选择“Redis监控”。 应用名称 选择“应用列表”中创建的应用。 监控器名称 自定义监控器名称。 异常通知设置 默认为“关”。 若设置为“开”: 当监控器或被监控的数据库异常时会及时给用户发送异常通知或告警通知。支持华为 云消息 通知服务,请先配置密钥。 通知主题 若异常通知设置选择“开”,则需要在通知主题列表选择主题,如无主题列表,单击新增,新增通知主题之后进行后续操作。 是否监控 默认“是”,选“否”则不会探测数据库异常情况。 是否自动切换 默认“是”,选“否”则不会自动切换数据库。 路由算法 根据实际需求选择路由算法,单边读写/本地读异步双写/单边读异步双写。 模式 默认“正常”模式,还可选择“哨兵”或“集群”模式。具体根据Redis数据库的部署方式选择。 正常:包括单机、主备、读写分离、Proxy集群等模式,使用Redis PING命令进行探测。 哨兵:使用Redis PING命令进行探测。 集群:Cluster集群模式,使用Redis集群协议进行探测,当所有slot均正常时探测结果为成功,否则为失败。 填写数据中心配置,完成后单击“下一步:高级配置”。 图2 新增Redis监控-数据中心配置 表3 数据中心配置信息 参数 配置说明 云选择 被监控Redis集群所属云。可选择第三方云厂商,实现跨云监控。 局点 被监控Redis集群所属区域。 azs 被监控Redis集群所部署的可用区,选填项。 连接地址 被监控Redis的连接地址和端口。 连接密码 被监控Redis的连接密码。 确认密码 请再次输入密码。 填写高级配置,完成后单击“下一步:确认配置”。 图3 新增Redis监控-高级配置 表4 高级配置信息 参数 配置说明 重试时间间隔 探测异常后,探测重试的时间间隔,以毫秒为单位,默认值3000ms。 输入值必须在1000到300000之间,建议使用默认值。 数据库访问超时时间 访问数据库超时时间,超过这个时间认为一次访问数据库失效,以毫秒为单位,默认值3000ms。 输入值必须在3000到100000之间,建议使用默认值。 监控超时时间 一个周期内监控器对数据库探测监控的超时时间,超过这个时间,则认为探测数据库失败,监控状态变为监控异常。 以毫秒为单位,默认值20000ms,输入值必须在12000到1200000之间,建议使用默认值。 说明: 如果您需要修改监控超时时间,监控超时时间建议大于故障时数据中心1的数据同步到数据中心2所需时间,否则切换数据中心后,数据中心2的数据可能存在不完整的情况。 确认配置无误后单击“立即创建”,完成创建Redis监控。 Redis监控器创建完成后,数据中心的正常监控状态标识为绿色。如果是其他异常状态,可能是监控器信息配置错误或者是监控的数据库本身存在异常,请进行故障排除。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全