华为云用户手册

  • MRS 3.2.0-LTS.1.7补丁基本信息 表2 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.2.0-LTS.1.7修复问题列表: 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。 解决Flink写Hudi失败时,作业从checkpoint恢复失败的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.7补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.8补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JD BCS erver在session关闭超时的时候会出现session一直存在的问题。 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。 解决DGC API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦,不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。 Hudi支持changelog特性。 Hudi支持temp view特性。 MRS实时任务告警通知支持显示具体作业名称。 Flink读开启changelog后的表。 解决多AZ集群无法缩容的问题。 解决capacity调度原生页面无法访问队列任务详情的问题。 解决Flink作业无法通过checkpoint恢复的问题(遇到无法从checkpoint启动时:Cannot map checkpoint/savepoint state for operator xxxxx to the new program, because the operator is not available in the new program。需要在第一次启动作业以及通过checkpoint恢复作业时,均添加内核参数table.exec.uid.generation=ALWAYS。)。 Flink用hms方式同步Hive,支持参数配置化。 解决ResourceManager内存泄漏,开源单YARN-11489。 解决Yarn精细化监控部分指标没有数据的问题。 解决3AZ环境DataNode 5个节点,健康度阈值是80%,构造每个AZ下一个DataNode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。 解决AZ下缩容DataNode,副本未按照预期AZ策略补齐,导致退服失败的问题。 解决Flink在mysql数据库insert timestamp类型数据,数据通过Flink写入Hudi后和原数据差8小时的问题。 解决HetuEngine SQL查询偶现数组越界报错的问题。 解决 IAM 同步的用户加入supergroup用户组后,无法删除的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.8补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.4补丁基本信息 表5 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.4 发布时间 2023-10-16 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 解决的问题 MRS 3.2.0-LTS.1.4修复问题列表: 解决Flink读MySQL作业出现的类冲突问题 解决Flink Server提交SQL作业时解码异常错误 解决DGC提交Flink SQL作业报StackOverflow错误 解决普通集群使用RestA调用FlinkServer的jobs/action时报错 解决Flink客户端不支持-yD或-D配置keytab和principal的问题 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题 解决HetuEngine查询Hive的LZ4压缩格式数据失败问题 解决HetuEngine查询Hudi的OBS表失败问题 解决HetuEngine多hashkey时,查询条件包含单个hashkey时,无法查出结果的问题 解决Hudi数据源add columns/drop columns之后Hetu查询失败的问题 解决Hudi在replacement场景下无法正常归档文件问题 解决Hudi在InternalSchema转AvroSchema未去掉元字段导致流任务更新数据失败问题 解决Hudi版本升级后出现Spark读hudi表和run compaction失败问题 解决Hudi SQL执行call run_clustering_Mor后,rt/ro表的log数据丢失问题 解决Hudi ro表compaction期间数据查询不出来问题 解决Hudi表带decimal字段做ddl变更,在执行clustering报错问题 解决Hudi Cow/mor表执行完drop partition后,首次执行delete报堆栈异常的问题 解决Hive on Tez查询Hudi的schema演进表报错,需要适配默认InputFormat切分方式问题 解决Spark/Flink写Hudi表,控制归档文件大小的参数不生效的问题 解决Hudi mor表,log中1900前的timestamp数据错误问题 解决HetuEngine查询Hudi数据重复问题 解决Manager中12小时以上监控数据无法导出的问题 解决Manager中节点磁盘使用率和磁盘读速率无法显示一周数据的问题 解决弹性伸缩场景下操作更新集群拓扑时,全表查询TBL_HISTORY_TOPO LOG Y导致controller触发OOM问题 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题 解决弹性伸缩场景下OMA进程异常无法采集指标,导致扩缩容任务异常问题 解决大集群中监控数据丢失问题 解决Manager AD对接后同步用户失败问题 解决集群配置ranger元数据外置后RangerAdmin实例启动失败问题 LakeFormation下移混合云,对接lakeformation,policysync同步策略失败整改 解决Spark JDBC模式执行插入耗时过久的问题 解决Hudi-Connector支持bucket裁剪性能优化问题 补丁兼容关系 MRS 3.2.0-LTS.1.4补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.5补丁基本信息 表4 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.5 发布时间 2023-10-23 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。 解决的问题 MRS 3.2.0-LTS.1.5修复问题列表: 解决Spark-JDBC偶现多租户模式下,driver端口与thriftserver端口一致冲突引发一系列问题。 解决Spark空闲的SparkJDBC任务超过30分钟,没有结束,资源未释放浪费资源问题。 解决HetuEngine在存散分离场景下映射方式对接OBS,查询大数据量时报错的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.5补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • 异步复制客户端的端口说明 表1 容灾网关端口说明 端口 协议 使用说明 29210 tcp 用于与代理客户端通信 29211 tcp 用于接收控制命令 7443 tcp 用于与API进行通信 表2 生产站点/容灾站点服务器端口说明 端口 协议 使用说明 8091 tcp 用于代理客户端内部消息转发 59526 tcp 用于与容灾网关通信 29210 tcp 本地监听,用于切换后与代理客户端通信 29211 tcp 本地监听,用于切换后接收控制命令 7443 tcp 本地监听,用于切换后与API进行通信 父主题: 附录
  • 修订记录 发布日期 修订记录 2024-04-30 第六次正式发布。 新增 异步复制。 2020-04-29 第五次正式发布。 修改 步骤2:创建保护实例,修改约束限制,支持共享云硬盘。 2019-09-30 第四次正式发布。 修改 步骤2:创建保护实例,增加专属主机相关描述。 2019-03-30 第三次正式发布。 本次变更如下: 修改 容灾演练,支持自动创建演练VPC。 2019-01-30 第二次正式发布。 本次变更如下: 删除“源端”、“目的端”、“优先端”等概念,新增“生产站点”、“容灾站点”概念。 优化章节名称 2018-05-30 第一次正式发布。
  • 操作场景 您可以为需要容灾的云服务器在指定的保护组下创建保护实例。在当前的生产站点遇到不可抗力导致大规模服务器故障时,您可以调用保护组的操作接口进行故障切换,从而确保保护实例上运行的业务正常连续。 为每一个需要复制的服务器挑选一个保护组,并创建一个保护实例。创建保护实例过程中,会在保护组的容灾站点创建对应的服务器和磁盘,服务器规格可根据需要进行选择,支持选择与生产站点服务器规格不同的容灾站点服务器创建保护实例,容灾站点磁盘规格与生产站点磁盘规格相同,且自动组成复制对。 保护实例创建后,容灾站点服务器处于关机状态。这些自动创建的资源(包含服务器、磁盘等)在切换或者故障切换前无法使用。 图1 创建保护实例
  • 创建须知 如果生产站点服务器已经被添加到云服务器组中,则不支持指定专属主机创建容灾站点服务器。 保护实例创建完成后,系统默认容灾站点服务器名称与生产站点服务器名称相同,但ID不同。 如果需要修改服务器名称,请在保护实例详情页面单击服务器名称,进入服务器详情页面进行修改。 创建保护实例完成并对生产站点的服务器做容灾保护后,生产站点服务器中的“主机名”、“名称”、“委托”、“云服务器组”、“自动恢复”、“安全组”和“标签”配置项修改不会再自动同步到容灾站点的云服务器上。您可以登录控制台,手动将这些配置项的修改添加到容灾站点的云服务器上。 由弹性伸缩组伸缩时所创建的云服务器,在对该云服务器做容灾保护后,当弹性伸缩组缩容时,不支持对该云服务器执行删除操作。 创建保护实例时,如果生产站点服务器为Windows云服务器且设置为密钥方式登录,请确保生产站点服务器使用的密钥对存在,否则可能导致云平台无法创建容灾站点服务器,从而导致创建保护实例失败。 如果生产站点服务器对应的密钥对已被删除,请重新创建相同名称的密钥对。 创建保护实例时,如果生产站点服务器为Linux云服务器且设置为密钥方式登录,创建容灾站点服务器后,容灾站点服务器详情不显示密钥对信息,但可以使用生产站点服务器的密钥对登录容灾站点服务器。 创建保护实例时,选择的生产站点服务器如果加入了企业项目,保护实例创建成功后,容灾站点服务器不会自动加入企业项目,如有需要请手动将容灾站点服务器加入到企业项目。 SDRS不支持竞价实例作为生产站点。
  • 配置流程 当生产站点因为不可抗力因素(比如火灾、地震)或者设备故障(软、硬件破坏)导致应用在短时间内无法恢复时,存储容灾服务可提供跨可用区RPO=0的服务器级容灾保护。采用存储层同步复制技术提供可用区间的容灾保护,满足数据崩溃一致性,当生产站点故障时,通过简单的配置,即可在容灾站点迅速恢复业务。 跨可用区的容灾配置流程如图1所示。 创建保护实例时默认已为生产站点和容灾站点服务器上的云硬盘创建复制对。 图1 流程图 父主题: 同步复制(只适用于存量经营)
  • 操作场景 虚拟私有云可以为您的容灾服务器提供隔离的、用户自主配置和管理的云上虚拟网络环境。 异步复制其实就是将本地主数据中心中需要容灾的服务器的数据,实时复制到云上用户的专有网络中。当本地数据中心发生重大故障时,可以将业务切换到云上VPC中运行容灾服务器上,从而保持业务的连续性。 创建云上专有网络时需要考虑的因素: 容灾区域 需要根据业务对容灾系统的实际要求进行选择,如生产站点和容灾站点间的物理距离、网络性能以及网络成本等因素来选择容灾区域,如业务要求生产站点和容灾站点间的物理距离不低于100KM,网络时延小于100ms,同时成本限制不能使用专线等。 本地数据中心和华为云VPC间的连接网络 公网:适用于数据变化量不大,且本地生产数据中心的系统无需频繁访问云上资源的场景。 VPN:适用于数据变化量不大,本地生产数据中心需要随时连接华为云VPC内业务的场景。如用户有部分业务部署在华为云,本地数据中心的业务当前就是通过VPN与云上的业务进行交互,进行异步复制时就可以使用该VPN连接。 云专线:针对数据量较大且应用较复杂的场景,通常需要根据业务的具体数据变化量进行规划。 VPC的网段 用于运行切换或者容灾演练时创建的E CS ,如果需要保持切换或者容灾演练创建的ECS的IP地址和本地数据中心的生产服务器一致,可以将VPC的网段和本地生产数据中心的网段设置成相同的。业务切换或者容灾演练时,就可以保持服务器的IP地址不变,无需修改相关的配置。
  • 入门指引 当生产站点因为不可抗力因素(比如火灾、地震)或者设备故障(软、硬件破坏)导致应用在短时间内无法恢复时,异步复制功能可提供服务器级容灾保护。通过简单的配置,即可在容灾站点迅速恢复业务。 异步复制的配置流程如图1所示。 图1 流程图 搭建云上容灾专有网络 根据规划的容灾方案,在云上创建用于容灾的VPC和子网。 创建站点复制对,建立生产站点和容灾站点的复制关系 部署云容灾网关 云容灾网关将生产站点所有被容灾的服务器上的数据进行汇聚和压缩加密,并同步到容灾站点。 下载并安装代理客户端 代理客户端将所在服务器上的数据传输到云容灾网关。 创建保护实例 保护实例是一对拥有复制关系的服务器。系统会自动识别已安装代理客户端的生产站点服务器,选择需要进行容灾的生产站点服务器为其创建保护实例。保护实例创建成功后会自动开启保护,进行数据同步。 父主题: 异步复制
  • 操作步骤 在“创建保护实例”页面,根据界面提示配置保护实例的信息。参数说明表如表1所示 单击“下一步”。 进入容灾配置信息确认界面。 确认配置信息,单击“提交”。完成容灾配置,进入“异步复制”页面。 图1 创建保护实例 表1 参数说明 参数 说明 取值样例 生产站点服务器 选择需要保护的生产站点服务器,如果选择不到服务器,可能是由于agent没有部署成功。 为生产站点服务器的每块硬盘,对应选择容灾站点云硬盘的类型。 设置保护实例的名称。名称只能由中文字符、英文字母、数字、“_”、“-”和“.”组成,且不能有空格,长度不能大于64个字符。 - 保护组 为保护实例选择一个保护组。 首次创建保护实例或者当前的保护组不满足要求时,可以单击“创建保护组”创建新的保护组。 建议将某类业务相关的服务器放到一个保护组进行保护,可以对整个保护组进行开启保护、切换等操作。 protected-group-01
  • 操作步骤 登录应用服务网格控制台,单击服务网格的名称,进入网格详情页面。 在左侧导航栏选择“网关管理”,单击“添加网关”。 配置网关参数。 网关名称 请输入网关的名称。由小写字母、数字和中划线(-)组成,且必须以小写字母开头,小写字母或数字结尾,长度范围为4~59个字符。 集群选择 选择网关所属的集群。 访问方式 协议版本:支持选择IPV4和双栈两种,已开启ipv6的网格方可配置该参数。 服务网关使用弹性负载均衡服务(ELB)的负载均衡实例提供网络访问,支持共享型和独享型规格,且支持公网和私网。如果是独享型,实例规格需要选择“网络型(TCP/UDP)”,且网络类型需要勾选“IPv4私网”,确保负载均衡实例有私网IP地址。 访问入口 对外协议 请根据业务的协议类型选择。支持HTTP、GRPC、TCP、TLS及HTTPS五种协议类型的选择。 对外端口 开放在负载均衡服务地址的端口,可任意指定。 外部访问地址 系统自动填充负载均衡实例的IP地址,作为服务访问入口地址,您也可以将其修改为负载均衡实例关联的域名。 TLS终止 对外协议为HTTPS时,TLS终止为开启状态,且不可关闭。 对外协议为TLS时,可选择开启/关闭TLS终止。开启TLS终止时需要绑定证书,以支持TLS数据传输加密认证;关闭TLS终止时,网关将直接转发加密的TLS数据。 密钥证书 配置TLS协议并开启TLS时,需要绑定证书,以支持TLS数据传输加密认证。 配置HTTPS协议时,需要绑定密钥证书。 TLS最低版本/TLS最高版本 配置TLS协议并开启TLS终止,或者配置HTTPS协议时,提供TLS最低版本/TLS最高版本的选择。 图1 添加网关 (可选)配置路由参数。 请求的访问地址与转发规则匹配(转发规则由外部访问地址+URL组成)时,此请求将被转发到对应的目标服务处理。单击图标,弹出“添加路由”对话框。 URL匹配规则 前缀匹配:例如映射URL为/healthz,只要符合此前缀的URL均可访问。例如/healthz/v1、/healthz/v2。 完全匹配:只有完全匹配上才能生效。例如映射URL为/healthz,则必须为此URL才能访问。 支持通过YAML方式配置正则匹配规则,修改VirtualService配置文件即可: ... http: - delegate: name: nginx-80 namespace: default match: - uri: regex: /do[a-z]*/ ... 如上所示,“regex”表示按正则表达式方式匹配URL,注意URL必须以“/”开头。 URL 服务支持的映射URL,例如/example。 命名空间 服务网关所在的命名空间。 目标服务 添加网关的服务,直接在下拉框中选择。目标服务会根据对应的网关协议进行过滤,过滤规则请参见添加路由时,为什么选不到对应的服务?。 配置诊断失败的服务无法选择,需要先根据手动修复项或自动修复项进行修复。 访问端口 仅显示匹配对外协议的端口。 重写 (对外协议为HTTP/HTTPS时可配置) 重写HTTP/HTTPS URI和Host/Authority头,于转发前执行。默认关闭。开启后,需要配置如下参数: URI:使用此值重写URI的路径(或前缀),如果原始URI是基于前缀匹配,那么将替换相应匹配的前缀。 Host/Authority头:使用此值重写HTTP/HTTPS的Host/Authority头。 域名单独配置路由 为网关中某个域名单独配置路由规则。 图2 添加路由 配置完成后,单击“确定”。 网关添加完成后,可前往“服务管理”页面,获取服务外网访问地址。 图3 服务外网访问地址
  • 操作步骤 登录应用服务网格控制台,单击服务网格的名称,进入网格详情页面。 在左侧导航栏选择“网关管理”,在需要添加路由的网关所在行,单击操作列的“添加路由”,配置如下参数。 URL匹配规则 前缀匹配:例如映射URL为/healthz,只要符合此前缀的URL均可访问。例如/healthz/v1、/healthz/v2。 完全匹配:只有完全匹配上才能生效。例如映射URL为/healthz,则必须为此URL才能访问。 支持通过YAML方式配置正则匹配规则,修改VirtualService配置文件即可: ... http: - delegate: name: nginx-80 namespace: default match: - uri: regex: /do[a-z]*/ ... 如上所示,“regex”表示按正则表达式方式匹配URL,注意URL必须以“/”开头。 URL 服务支持的映射URL,例如/example。 同一网关下的URL配置不能相同。 命名空间 服务网关所在的命名空间。 目标服务 添加网关的服务,直接在下拉框中选择。目标服务会根据对应的网关协议进行过滤,过滤规则请参见添加路由时,为什么选不到对应的服务?。 配置诊断失败的服务无法选择,需要先根据手动修复项或自动修复项进行修复。 访问端口 仅显示匹配对外协议的端口。 重写 (对外协议为HTTP/HTTPS时可配置) 重写HTTP/HTTPS的URI和Host/Authority头,于转发前执行。默认关闭。开启后,需要配置如下参数: URI:使用此值重写URI的路径(或前缀),如果原始URI是基于前缀匹配,那么将替换相应匹配的前缀。 Host/Authority头:使用此值重写HTTP/HTTPS的Host/Authority头。 域名单独配置路由 为网关中某个域名单独配置路由规则。 图1 添加路由 配置完成后,单击“确定”。
  • 升级路径 网格类型 源版本 目标版本 升级方式 企业版 1.8.4-r1 1.8.6-r3 补丁更新(原地升级) 1.8.4-r2 1.8.6-r3 补丁更新(原地升级) 1.8.4-r3 1.8.6-r3 补丁更新(原地升级) 1.8.4-r4 1.8.6-r3 补丁更新(原地升级) 1.8.4-r5 1.8.6-r3 补丁更新(原地升级) 1.8.6-r1 1.8.6-r3 补丁更新(原地升级) 1.8.6-r2 1.8.6-r3 补丁更新(原地升级) 1.6.9-r4 1.6.9-r5 补丁更新(原地升级) 基础版 1.8.x 1.15.7-r1 先版本升级到1.13最新版本(金丝雀升级),再版本升级(金丝雀升级)到1.15.7-r1 1.13.x 1.15.7-r1 版本升级(金丝雀升级)到1.15.7-r1 1.15.5-rx 1.15.7-r1 补丁更新(金丝雀升级)到1.15.7-r1 1.15.x-rx 1.18.7-r1 版本升级(金丝雀升级)到1.18.7-r1 专有版 1.3.0-rx 1.15.7-r3 先迁移至基础版本网格,再版本升级至1.8.6-r4(金丝雀升级),再版本升级(金丝雀升级)到1.13.x最新版本,再版本升级(金丝雀升级)到1.15.7-r3 1.6.9-rx 1.15.7-r3 先迁移至基础版本网格,再版本升级至1.8.6-r4(金丝雀升级),再版本升级(金丝雀升级)到1.13.x最新版本,再版本升级(金丝雀升级)到1.15.7-r3 1.8.4-r1 1.15.7-r3 先迁移至基础版本网格,再版本升级(金丝雀升级)到1.13.x最新版本,再版本升级(金丝雀升级)到1.15.7-r3
  • 金丝雀升级原理 ASM基础版网格支持金丝雀升级,金丝雀升级过程中将允许新老网格控制面同时存在,通过在命名空间打上版本对应的标签,可以选择一部分sidecar重启,并连接上新版本的控制面,待所有sidecar都正常连接到新控制面之后下面老版本网格的控制面。 需要注意的是,在部署新网格版本控制面时,istio-ingressgateway和istio-egressgatway的新版本也会同时部署,新老网格版本的网关将同时工作。
  • 操作步骤 登录应用服务网格控制台,确认网格是否需要升级版本。判断方法如下: 列表上方是否提示可升级版本的网格。 网格名称右侧是否存在“可升级”提示。 若存在可升级版本的网格,单击该网格名称,进入网格详情页面。 在左侧导航栏选择“网格配置”,单击“升级”页签。 根据升级路径选择合适的升级方式完成网格升级。 基础版本升级 升级详情请查看金丝雀升级。 企业版补丁更新 单击“补丁更新”,在弹出的提示框中单击“确定”。 图1 补丁更新
  • 约束与限制 应用服务网格依赖集群CoreDNS的域名解析能力,请确保集群拥有足够资源,且CoreDNS插件运行正常。 集群启用Istio时,需要开通node节点(计算节点/工作节点)所在安全组的入方向7443端口规则,用于Sidecar自动注入回调。如果您使用CCE创建的默认安全组,此端口会自动开通。如果您自建安全组规则,请手动开通7443端口,以确保Istio自动注入功能正常。 请根据下表ASM网格版本与集群版本适配规则匹配合适的网格版本和集群版本。 表1 ASM网格版本与集群版本适配规则 ASM网格版本 集群版本 1.3 v1.13、v1.15、v1.17、v1.19 1.6 v1.15、v1.17 1.8 v1.15、v1.17、v1.19、v1.21 1.13 v1.21、v1.23 1.15 v1.21、v1.23、v1.25、v1.27 1.18 v1.25、v1.27、v1.28
  • 配置sidecar资源限制 支持为sidecar(即istio-proxy容器)配置CPU和内存的资源上下限。同一个节点上部署的工作负载,对于未设置资源上下限的工作负载,如果其异常资源泄露会导致其他工作负载分配不到资源而异常。未设置资源上下限的工作负载,工作负载监控信息也会不准确。 默认的sidecar资源上下限为: CPU(Core):最小 0.1,最大 2 MEM(MiB):最小 128,最大 1024 如需更改,请参考以下操作: 单击工作负载操作列的“sidecar资源限制”,也可以勾选多个工作负载,在列表左上角单击“sidecar资源限制”进行批量配置。 图2 sidecar资源限制 CPU最小值:也称CPU请求,表示容器使用的最小CPU需求,作为容器调度时资源分配的判断依赖。只有当节点上可分配CPU总量 ≥ 容器CPU请求数时,才允许将容器调度到该节点。 CPU最大值:也称CPU限制,表示容器能使用的CPU最大值。 MEM最小值:也称内存请求,表示容器使用的最小内存需求,作为容器调度时资源分配的判断依赖。只有当节点上可分配内存总量 ≥ 容器内存请求数时,才允许将容器调度到该节点。 MEM最大值:也称内存限制,表示容器能使用的内存最大值。当内存使用率超出设置的内存限制值时,该实例可能会被重启进而影响工作负载的正常使用。
  • sidecar注入 可展示当前已注入sidecar的命名空间及所属集群。如果还未做过注入操作,或者需要为更多命名空间注入sidecar,请参考以下操作: 登录应用服务网格控制台,单击服务网格的名称,进入网格详情页面。 在左侧导航栏选择“网格配置”,单击“sidecar管理”页签。 单击“sidecar管理”,选择命名空间,判断是否重启已有服务,单击“确定”。 图1 注入sidecar 选择命名空间:选择一个或多个命名空间,系统将为命名空间设置标签istio-injection=enabled。 是否重启已有服务: :会重启命名空间下已有服务关联的Pod,将会暂时中断业务。只有在重启后,已有服务关联的Pod才会自动注入istio-proxy sidecar。 :已有服务关联的Pod不会自动注入istio-proxy sidecar,需要在CCE控制台,手动重启工作负载才会注入sidecar。是否重启已有服务只会影响已有服务,只要为命名空间设置了istio-injection=enabled标签,后面新建的服务实例都会自动注入sidecar。 流量拦截配置 默认情况下,ASM所注入的sidecar会拦截所有入方向和出方向流量,可通过流量拦截配置修改默认的流量拦截规则。 入方向端口:可用于配置端口级别拦截规则,生效于网格服务的内部端口,以逗号分隔入站端口。 仅拦截指定端口表示访问网格服务指定端口范围内的请求将被重定向到sidecar中。 仅排除指定端口表示访问网格服务的请求,除端口范围外的请求将被重定向到sidecar中。 出方向端口:可用于配置端口级别拦截规则,生效于网格服务对外访问的流量方向上,以逗号分隔出站端口。 仅拦截指定端口表示网格服务访问指定端口范围内的请求将被重定向到sidecar中。 仅排除指定端口表示网格服务对外访问的请求,除指定端口范围外的流量都将被重定向到sidecar中。 出方向网段:可用于配置网段级别拦截规则,生效于网格服务对外访问的流量方向上,以逗号分隔 IP ,以 CIDR 形式表示。 仅拦截指定网段表示指定网段范围内的流量将被重定向到sidecar中。 仅排除指定网段表示除指定网段范围外的流量将被重定向到sidecar中。 若界面提示“以下集群未开放命名空间注入修改操作”,可能因为当前网格是通过1.0控制台创建的,默认不开放命名空间注入,需要通过kubectl命令行开放,具体操作请参见如何为集群开放命名空间注入?。 为集群的命名空间开启sidecar注入后,该命名空间下所有工作负载关联的Pod将自动注入sidecar。如果某些工作负载不希望注入sidecar,可参考某些工作负载不注入sidecar,该如何配置?进行配置。 对于1.8.4-r1及之前(所有1.3、1.6)版本的网格,建议确认工作负载是否包含注解:sidecar.istio.io/inject: 'true'。如未包含,请在spec.template.metadata.annotations字段下添加: annotations: sidecar.istio.io/inject: 'true'
  • 约束与限制 满足充电设施数字化智能运维平台规格,需要服务器不低于如下配置: 表2 服务器最低配置 软硬件 参数要求 CPU架构 c6.2xlarge.2 核心数 16vCPUs 内存 32GiB 带宽 10Mbit/s 存储空间 500GB | 超高IO 端口要求 808/44380/44381 操作系统 CentOS7.6 | 64bit 运行环境要求 CentOS7.6以上版本 性能指标描述 实时类消息处理时延小于1s 非实时类消息处理时延小于10s 数据采集及指令下发时延小于1s
  • 应用场景 客户痛点 充电桩元器件和设备生产商 典型客户:国电南瑞、科士达、盛弘股份、科陆电子、许继电气、和顺电气等。 客户痛点:主要部件为标准电气产品、企业间同质性高,不考虑营销售后服务、互联网+的话,很容易被淘汰主要部件为标准电气产品、企业间同质性高,不考虑营销售后服务、互联网+的话,很容易被淘汰。 充电站运营商、能源企业、主机厂等 典型客户:第三方充电站运营商:特锐德、星星充电、云快充等;国有能源企业:国家电网、中国普天等;新能源主机厂:特斯拉、蔚来、上汽、比亚迪、小鹏等;公共充电桩运营商:依威能源、汇充电、深圳车电网、上汽安悦、中国普天等。 客户痛点:无统一运维平台;充电设施整体利用率低、离线率高;主要依靠人工运维的效率低,流程复杂,运维成本高;充电桩与车辆充电接口不兼容,车桩不匹配;充电服务信息无法互联互通,导致充电设施位置、状态、运营商信息不准确;无序充电限制充电桩规模接入电网;电动汽车充电基础设施发展规划落后。 业务效果 提高设备生命周期:设备接入、数据融合、智能调度 ,统一部署的 物联网平台 ,实现四网融合,提高充电桩运维效率,提高设备生命周期; 提高运维效率:统一监测、高效管理, 实现统一的监测、控制和管理、 数据集中管理、数据源融合共享、实现跨系统协同联动、实现系统整体功能提升,业务流程融合再造、数据分析、发现问题、辅助决策、应急指挥; 保障安全需求:保障终端安全、接入安全、平台安全、应用安全、安全管控 应用行业推荐 通过华为云中立、安全、可信、持续创新的云服务,在云上快速部署智慧充电站平台,为传统充电桩制造业商家、运营商家、电力行业、房地产与建筑行业和政府乡镇、高速公路服务区等需求充电站管理平台的厂商提供状态可视、功能齐全、运维管理简便、且规模可自由伸缩的平台。特别适合如下类型和行业的自用和销售: 充电场站建设方:针对电力行业有充电设施管理(含充电桩运维、分布式光伏发电、光储充一体化、智能微电网)和场站管理需求的国企内部自用,可规范管理旗下充电站的运维管理,解决维修工单审批复杂、状态不可视的弊端,避免僵尸桩,优化国企内部管理机构、极大减少运维人力; 住宅及商业综合体停车场:房地产与建筑行业中商业综合体、楼宇建筑在建设中高档地下停车场时,智慧充电站平台就可针对停车场管理,充电桩做高效可行的管理和运维,极大的提高住宅小区、公寓的居住体验,成为房地产招商的一大亮点; 园区充电站:当政府建设智慧社区、示范乡镇、示范区、示范村、美丽乡村、国家生态文明试验区、大气污染防控重点区域的高速公路服务区快充站时,智慧充电站平台即可发挥极大作用; 充电桩制造商:充电桩制造商对充电桩管理、配套设施建设有需求时可用该平台,类似企业有国电南瑞、许继电气; 充电桩运营商:充电桩运营商对检测维修、运维工单管理有需求时可用该平台,类似企业有特锐德、特来电、星星充电; 光伏储能企业:有光伏、储能、充电桩运维业务的客户,可拓展到V2G、有序充电、换电管理; 园区运维商:有园区运维项目的客户。
  • 方案架构 基于华为云底座+IoT平台+大数据平台,通过敢为集成服务能力,针对充电站运维需求,提供端到端解决方案,实现运维全流程数字化,充电站状态可视、业务可观、事件可控。帮助客户降本增效、保护投资,同时挖掘多种创新性应用。 图1 业务架构 图2 部署架构 端&边层 应用通过物联网平台获取本业务的物联网监测数据,实现对于终端设备的统一管理与运行状态的监控。同时其他各领域相关应用,可根据各自业务管理与区域业务管理的需求与特点,调用相关物联网平台提供各类服务与开放接口,实现数据共享。 网络层 网络是整个物联网的通讯基础,不同的物联网场景和设备使用不同的网络接入技术和连接方式。针对2G/3G/4G/5G/NB-IoT/Lora和有线网络等不同的感知网络均能接入。传感设备数据,与物联网平台进行数据交互时,需要采取必要网络安全保障与防护。 平台层 物联网平台实现多样化感知设备管理能力,统一传感设备资产管理、物联网感知信息汇聚与共享,实现精细化管理,同时形成物联感知管理模式的标准和规范体系。提供设备接入、设备管理、数据管理、应用管理等能力。 平台安全策略 表1 关键措施及说明 关键措施 措施描述 操作系统和数据库安全加固 物联网平台统一对操作系统的服务、密码、文件和目录权限、内核参数等进行了安全加固,并且也对数据库进行了安全加固如最小化安装,账户权限最小化,数据库文件和目录权限保护等。 WEB安全 提供了验证码,常见OWASP WEB类攻击防护如会话固定攻击防护,跨站请求伪造攻击防护等,并使用商用工具APPSCAN进行扫描。 业务认证与鉴权 采用密码+单向证书认证的方式,部分安全性较高的通道采用双向证书认证,如行业应用与IoT平台之间。其中密码长度和复杂度满足安全要求。预置的证书私钥长度为2048位,且通过私钥保护密码加密,私钥保护密码满足密码复杂度要求。证书验证包括证书签名验证,证书有效期验证,并支持替换为用户自己的数字证书。 高强度加密 物联网平台通过对用户账户密码、数据库账户密码等用户私密数据采用不可逆加密算法(如PBKDF2或者HMAC)进行加密存储,可防止彩虹表攻击。对于需要还原的密码采用AES128以上的可逆加密算法。 统一身份管理 统一身份管理将分散的用户和权限资源进行统一、集中的管理。统一身份管理将帮助实现Portal用户身份的统一认证和单点登录,改变原有各业务系统中的分散式身份认证及授权管理,实现对用户的集中认证管理,简化用户访问各系统的过程。 高可靠性设计 物联网平台的开放架构支持各个功能模块独立部署,单个功能模块出现问题时不会影响其他模块的功能。核心服务设备采用主备双机或集群方式,当主用设备出现故障时,双机系统能够自动将业务切换到备用设备,保证业务的正常运行。 权限管理 物联网平台提供维护账号的权限管理,确保维护人员在满足工作需要的情况下操作权限最小化,防止未授权人员对设备进行非法操作。 日志管理 物联网平台对日志记录和输出进行管理。通过查询日志,可以及时发现非法操作记录、设备故障原因等信息。
  • 方案优势 核心能力自主可控:全自研的物联网平台(IoT)及智能充电站运维平台(IOC),100+软件著作权,实现100%核心能力自主可控; 产品成熟,案例丰富:敢为沉淀18年行业经验,平台成熟稳定;包含充电桩、分布式光伏、能源、园区等IoT行业应用,承接国内Top1央企充电站运维平台; 方案交付周期短:业界独有低代码/零代码IoT应用开发平台(桌面端、web端、3D),项目周期缩短50%; 平台化架构,支持方案平滑演进:方案充分结合华为IoTDA、IoTEdge等平台产品,支持无缝连接应用、消息、数据、API、设备,可快速简单打通并管理遗留系统与云原生应用;具备数据入湖、 数据仓库 、BI、AI融合等能力。
  • 密钥区域性 KMS通过密钥区域性,实现密钥跨区域使用。每组用户主密钥与副本密钥具有相同的密钥材料,因此可以实现单区域的加密数据在不同区域进行解密,解决因跨区导致的无法解密。 您可以独立管理多个区域的密钥,副本密钥同样支持创建密钥别名、启用、禁用、标签、授权、在线加解密。副本密钥的轮换无法自主设置,需按照主密钥的轮换设置进行同步轮换。 密钥区域性原理如图 密钥区域性所示。 图1 密钥区域性 表5 密钥区域性使用场景 使用场景 说明 灾备场景 如果密钥所在区域出现欠费资源冻结或异常无法处理数据解密,替换使用另一区域中的副本密钥进行正常数据处理,保证业务不中断。 跨区域签名验签 如果由于业务需要,客户业务处于不同区域,可通过不同区域密钥实现签名验签解密,提升业务对接高效性。
  • KMS支持的密钥算法 KMS创建的对称密钥使用的是AES、SM4加解密算法。KMS创建的非对称密钥支持RSA、ECC、SM2算法。 表2 KMS支持的密钥算法类型 密钥类型 算法类型 密钥规格 说明 适用场景 对称密钥 AES AES_256 AES对称密钥 数据的加解密 加解密数据密钥 说明: 小量数据的加解密可通过控制台在线工具进行。 大量数据的加解密需要调用API接口进行。 对称密钥 SM4 SM4 国密SM4对称密钥 数据的加解密 加解密数据密钥 摘要密钥 SHA HMAC_256 HMAC_384 HMAC_512 摘要密钥 数据防篡改 数据完整性校验 摘要密钥 SM3 HMAC_SM3 国密SM3摘要密钥 数据防篡改 数据完整性校验 非对称密钥 RSA RSA_2048 RSA_3072 RSA_4096 RSA非对称密钥 数字签名和验签 数据的加解密 说明: 非对称密钥适用于签名和验签场景,加密数据效率不高,加解密数据推荐使用对称密钥。 ECC EC_P256 EC_P384 椭圆曲线密码,使用NIST推荐的椭圆曲线 数字签名和验签 非对称密钥 SM2 SM2 国密SM2非对称密钥 数字签名和验签 小量数据的加解密 通过外部导入的密钥支持的密钥包装加解密算法如表3所示。 表3 密钥包装算法说明 密钥包装算法 说明 设置 RSAES_OAEP_SHA_256 具有“SHA-256”哈希函数的OAEP的RSA加密算法。 请您根据自己的HSM功能选择加密算法。 如果您的HSM支持“RSAES_OAEP_SHA_256”加密算法,推荐使用“RSAES_OAEP_SHA_256”加密密钥材料。 须知: “RSAES_OAEP_SHA_1”加密算法已经不再安全,请谨慎选择。 RSAES_OAEP_SHA_1 具有“SHA-1”哈希函数的OAEP的RSA加密算法。 SM2_ENCRYPT 国密推荐的SM2椭圆曲线公钥密码算法。 请在支持国密的局点使用SM2加密算法。
  • 功能介绍 表1 密钥管理 功能 服务内容 密钥全生命周期管理 创建、查看、启用、禁用、计划删除、取消删除自定义密钥 修改自定义密钥的别名和描述 用户自带密钥 导入密钥、删除密钥材料 小数据加解密 在线工具加解密小数据 签名验签 消息或消息摘要的签名、签名验证 说明: 仅支持通过API调用。 密钥标签 添加、搜索、编辑、删除标签 密钥轮换 开启、修改、关闭密钥轮换周期 密钥授权 创建、撤销、查询授权 退役授权 说明: 仅支持通过API调用。 云服务加密 对象存储服务 OBS加密 云硬盘服务EVS加密 镜像服务 IMS加密 弹性文件服务SFS加密(SFS文件系统加密) 弹性文件服务SFS加密(SFS Turbo文件系统加密) 云数据库RDS(MySQL、PostgreSQL、SQL Server引擎)加密 文档数据库服务DDS加密 数据仓库服务DWS加密 数据加密 密钥管理 创建、加密、解密数据加密密钥 说明: 仅支持通过API调用。 生成硬件真随机数 生成512bit的随机数,为加密系统提供基于硬件真随机数的密钥材料和加密参数 说明: 仅支持通过API调用。 消息认证码 生成、验证消息认证码 说明: 仅支持通过API调用。 密钥库管理 创建、禁用、删除密钥库
  • 专属密钥库 KMS通过专属密钥库支持HYOK功能,帮助用户完全自主可控名下的用户主密钥,用户主密钥不脱离加密机,并且密码运算完全在加密机中完成。与默认密钥库不同,用户可以通过专属加密集群随时对密钥进行全生命周期管理。 专属加密实例基础版、铂金版(国内)均支持HYOK功能。 HYOK(Hold Your Own Key)是指用户可以完全控制其密钥,密钥始终归用户所有。 专属密钥库操作可参见激活集群以及创建密钥库。专属密钥库支持的算法类型如表 专属密钥库的密钥算法类型所示。 表4 专属密钥库的密钥算法类型 密钥类型 算法类型 密钥规格 说明 适用场景 对称密钥 AES AES_256 AES对称密钥 数据的加解密 加解密数据密钥 说明: 小量数据的加解密可通过控制台在线工具进行。 大量数据的加解密需要调用API接口进行。 对称密钥 SM4 SM4 国密SM4对称密钥 数据的加解密 加解密数据密钥 非对称密钥 RSA RSA_2048 RSA_3072 RSA_4096 RSA非对称密钥 数字签名和验签 数据的加解密 说明: 非对称密钥适用于签名和验签场景,加密数据效率不高,加解密数据推荐使用对称密钥。 ECC EC_P256 EC_P384 椭圆曲线密码,使用NIST推荐的椭圆曲线 数字签名和验签 非对称密钥 SM2 SM2 国密SM2非对称密钥 数字签名和验签 小量数据的加解密
  • 方式二:使用RabbitMQ WebUI删除 登录RabbitMQ WebUI。 在顶部导航栏选择“Admin”,进入Admin页面。 在右侧导航栏选择“Virtual Hosts”,进入Virtual Hosts页面。 图1 Virtual Hosts页面 单击待删除的Vhost名称,进入Vhost详情页。 图2 待删除的Vhost 在“Delete this vhost”区域,单击“Delete this virtual host”,弹出确认删除对话框。 图3 删除Vhost 单击“确定”,完成Vhost的删除。
  • 方式三:调用API删除 在Linux中,连接RabbitMQ实例。 执行以下命令,删除Vhost。 curl -i -X DELETE http://${USERNAME}:${PASSWORD}@${HOST}:${PORT}/api/vhosts/${VHOST_NAME} 参数说明如下: USERNAME:创建RabbitMQ实例时,设置的用户名。在实例详情页的“连接信息”区域,查看用户名。 PASSWORD:创建RabbitMQ实例时,设置的密码。如果忘记密码,参考重置实例密码,重新设置密码。 HOST:WebUI的地址。在实例详情页的“连接信息”区域,查看Web界面UI地址。 PORT:WebUI的端口号。在实例详情页的“连接信息”区域,查看Web界面UI地址中的端口号。 VHOST_NAME:待删除Vhost的名称。 示例如下: curl -i -X DELETE http://root:txxxt@192.168.1.3:15672/api/vhosts/vhost-demo 删除成功后,回显如下所示。 图4 Vhost删除成功
共100000条