华为云用户手册

漏洞详情 Kubernetes官方发布安全公告，其核心组件kube-proxy存在主机边界绕过漏洞（CVE-2020-8558）。利用漏洞攻击者可能通过同一局域网下的容器，或在集群节点上访问同一个二层域下的相邻节点上绑定监听了本地127.0.0.1端口的TCP/UDP服务，从而获取接口信息。如果绑定在端口上的服务没有设置身份验证，则会导致该服务容易受到攻击。例如，如果集群管理员运行监听了127.0.0.1:1234的TCP服务，由于这个bug，该服务将有可能被与该节点在同一局域网中的其他主机，或与该服务运行在同一节点上的容器所访问。如果端口1234上的服务不需要额外的认证（因为假设只有其他localhost进程可以），那么很容易受到利用此bug进行攻击。 华为云提醒使用kube-proxy的用户及时安排自检并做好安全加固。 详情请参考链接：https://github.com/kubernetes/kubernetes/issues/92315 表1 漏洞信息 漏洞类型 CVE-ID 漏洞级别 披露/发现时间 代码注入 CVE-2020-8558 高 2020-07-08

华为云容器服务CCE Autopilot数据面账单变更公告 发布时间：2024/09/14 华为云计划于2024/09/18 22:00:00（北京时间）对CCE Autopilot数据面CPU、内存资源账单进行调整，调整后CCE Autopilot数据面资源账单的产品类型将从云容器引擎CCE调整为云容器实例CCI，此次调整资源单价保持不变，已出历史账单不变，不会对您的业务使用造成影响，具体调整如下： 表1 调整前 产品类型 产品 计费模式 使用类型 单价单位 规格 云容器引擎 CCE CCE Autopilot 按需 时长 元/秒 CCE 内存资源 云容器引擎 CCE CCE Autopilot 按需 时长 元/秒 CCE CPU资源 表2 调整后 产品类型 产品 计费模式 使用类型 单价单位 规格 云容器实例 CCI 云容器实例 - Autopilot Resources 按需 时长 元/秒 Autopilot 内存资源 云容器实例 CCI 云容器实例 - Autopilot Resources 按需 时长 元/秒 Autopilot CPU资源 局点上线时间安排： 上线局点 上线时间 西南-贵阳一 2024年9月18日 22:00 广州 2024年9月19日22:00 上海一 2024年9月20日22:00 北京四 2024年9月23日22:00 新加坡 2024年9月24日22:00 曼谷 2024年9月24日22:00 如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。 感谢您对华为云的支持！ 父主题： 产品变更公告

1.19版本集群停止维护公告 发布时间：2023/07/07 华为云CCE集群1.19版本即将于2023/09/30 00:00（北京时间）正式停止维护，届时针对CCE集群1.19以及之前的版本，华为云将不再支持新集群创建。若您账号下存在1.19及之前的集群版本，为了保证您的服务权益，建议尽快升级到最新的商用版本。 关于如何升级集群，请参见CCE集群升级指导。 关于CCE集群的版本机制，请参见Kubernetes版本策略。 父主题： 集群版本公告

（停止维护）Kubernetes 1.9及之前版本说明 云容器引擎（CCE）严格遵循社区一致性认证。本文介绍CCE发布Kubernetes 1.9及之前版本所做的变更说明。 表1 v1.9及之前版本集群说明 Kubernetes版本（CCE增强版） 版本说明 v1.9.10-r2 主要特性： ELB负载均衡 支持源IP跟后端服务会话保持 v1.9.10-r1 主要特性： 支持对接SFS存储 支持Service自动创建二代ELB 支持公网二代ELB透传源IP 支持设置节点最大实例数maxPods v1.9.10-r0 主要特性： kubernetes对接ELB/Ingress，新增流控机制 Kubernetes同步社区1.9.10版本 支持Kubernetes RBAC能力授权 问题修复： 修复操作系统cgroup内核BUG导致概率出现的节点内存泄漏问题 v1.9.7-r1 主要特性： 增强PVC和PV事件的上报机制，PVC详情页支持查看事件 支持对接第三方认证系统 集群支持纳管EulerOS2.3的物理机 数据盘支持用户自定义分配比例 裸金属场景支持对接EVS云硬盘存储 裸金属场景下支持IB网卡 裸金属场景支持通过CM-v3接口创建节点 v1.9.7-r0 主要特性： 新建集群的Docker版本升级到1706 支持DNS级联 支持插件化管理 Kubernetes同步社区1.9.7版本 支持7层ingress的https功能 有状态工作负载支持迁移调度更新升级 v1.9.2-r3 主要特性： 集群支持创建/纳管CentOS7.4操作系统的节点 kubernetes的Service支持对接DNAT网关服务 NetworkPolicy能力开放 增强型ELB支持Service配置多个端口 问题修复： 修复kubernetes资源回收过程中连不上kube-apiserver导致pod残留的问题 修复节点弹性扩容数据不准确的问题 v1.9.2-r2 主要特性： 经典型ELB支持自定义健康检查端口 经典型ELB性能优化 ELB四层负载均衡支持修改Service的端口 问题修复： 修复网络插件防止健康检查概率死锁问题 修复高可用集群haproxy连接数限制问题 v1.9.2-r1 主要特性： Kubernetes同步社区1.9.2版本 集群节点支持CentOS 7.1操作系统 支持GPU节点，支持GPU资源限制 支持web-terminal插件 v1.7.3-r13 主要特性： 新建集群的Docker版本升级到1706 支持DNS级联 支持插件化管理 增强PVC和PV事件的上报机制 裸金属场景支持对接OBS对象存储 v1.7.3-r12 主要特性： 集群支持创建/纳管CentOS7.4操作系统的节点 kubernetes的Service支持对接DNAT网关服务 NetworkPolicy能力开放 增强型ELB支持Service配置多个端口 问题修复： 修复kubernetes资源回收过程中连不上kube-apiserver导致pod残留的问题 修复节点弹性扩容数据不准确的问题 事件老化周期提示修正：集群老化周期为1小时 v1.7.3-r11 主要特性： 经典型ELB支持自定义健康检查端口 经典型ELB性能优化 ELB四层负载均衡支持修改Service的端口 支持删除命名空间 支持EVS云硬盘存储解绑 支持配置迁移策略 问题修复： 修复网络插件防止健康检查概率死锁问题 修复高可用集群haproxy连接数限制问题 v1.7.3-r10 主要特性： 容器网络支持Overlay L2模式 集群节点支持GPU类型虚机 集群节点支持CentOS 7.1操作系统，支持操作系统选择 Windows集群支持对接二代ELB 支持弹性文件服务SFS导入 裸金属场景支持对接SFS文件存储、OBS对象存储 v1.7.3-r9 主要特性： 工作负载支持跨AZ部署 容器存储支持OBS 对象存储服务 支持ELB L7负载均衡 Windows集群支持EVS存储 裸金属场景支持devicemapper direct-lvm模式 v1.7.3-r8 主要特性： 集群支持节点弹性扩容 支持纳管ARM节点 v1.7.3-r7 主要特性： 容器隧道网络集群支持纳管SUSE 12sp2节点 docker支持direct-lvm模式挂载devicemapper 集群支持安装dashboard 支持创建Windows集群 v1.7.3-r6 主要特性： 集群存储对接原生EVS接口 v1.7.3-r5 主要特性： 支持创建HA高可靠集群 问题修复： 节点重启后容器网络不通 v1.7.3-r4 主要特性： 集群性能优化 裸金属场景支持对接ELB v1.7.3-r3 主要特性： 容器存储支持KVM虚拟机挂载 v1.7.3-r2 主要特性： 容器存储支持SFS文件存储 工作负载支持自定义应用日志 开放工作负载优雅缩容 问题修复： 修复容器存储AK/SK会过期的问题 v1.7.3-r1 主要特性： kube-dns支持外部 域名 解析 v1.7.3-r0 主要特性： Kubernetes同步社区1.7.3版本 支持ELB负载均衡 容器存储支持XEN虚拟机挂载 容器存储支持EVS云硬盘存储 父主题： Kubernetes版本发布记录

API变更与弃用 在Kubernetes 1.31版本中，在没有--分隔符的情况下将无法运行kubectl exec [POD] [COMMAND]命令，您需要使用kubectl exec [POD] -- [COMMAND]命令。 在Kubernetes 1.31版本中，在CustomResourceDefinition（CRD）中指定caBundle字段时，如果caBundle非空，但内容无效或不包含任何CA证书，那么该CRD将不会提供服务。CRD的caBundle设置为有效状态后，将不再允许通过更新操作将其变为无效或内容为空的状态（直接更新将报错invalid field value），以避免中断CRD的正常服务。

新增特性及特性增强 StatefulSet起始序号（GA） 在Kubernetes 1.31中，StatefulSetStartOrdinal特性进阶至GA。默认情况下，StatefulSet中Pod的序号是从0开始，该特性引入后允许用户自定义Pod的起始序号。详细使用方式请参考起始序号。 弹性索引Job（GA） 在Kubernetes 1.31中，ElasticIndexedJob特性进阶至GA。该特性允许用户在索引Job创建后修改其.spec.completions和.spec.parallelism字段，使之具备弹性伸缩能力。详细使用方式请参考弹性索引Job。 Pod失效策略（GA） 在Kubernetes 1.31中，JobPodFailurePolicy特性进阶至GA。该特性允许用户根据Pod失效的原因来分别指定处理方式（重试或者忽略），以优化避免不必要的Pod重启带来的运行成本。详细使用方式请参考Pod失效策略。 Pod干扰状况（GA） 在Kubernetes 1.31中，PodDisruptionConditions特性进阶至GA。该特性在Pod的Condition中新增了DisruptionTarget类型，表示Pod失效的原因，例如被高优先级的Pod抢占、因节点删除而被清理、被kubelet终止等。若Pod是Job或者CronJob控制器创建的，可以与Pod失效策略一起使用，通过该Condition定义失效时的行为。更多关于本特性的详细信息请参考Pod干扰状况。 定制资源的可选择字段（Beta） 在Kubernetes 1.31中，CustomResourceFieldSelectors特性进阶至Beta。该特性支持对CRD配置selectableFields，并支持使用Field Selectors过滤List、Watch和DeleteCollection请求，方便用户定位或管理符合特定条件的CRD资源。详细使用方式请参考定制资源的可选择字段。 Job成功策略（Beta） 在Kubernetes 1.31中，JobSuccessPolicy特性进阶至Beta。该特性允许用户基于成功的Pod个数为Job配置成功策略。详细使用方式请参考成功策略。 podAffinity中的matchLabelKeys（Beta） 在Kubernetes 1.31中，MatchLabelKeysInPodAffinity特性进阶至Beta。该特性在podAffinity和podAntiAffinity中引入了更为精细的配置字段matchLabelKeys和mismatchLabelKeys，以解决调度器在Deployment滚动更新期间无法区分新老Pod，继而导致调度结果不符合亲和性和反亲和性预期的问题。详细使用方式请参考matchLabelKeys。 ServiceAccountTokenNodeBinding（Beta） 在Kubernetes 1.31中，ServiceAccountTokenNodeBinding特性进阶至Beta。该特性支持创建绑定到节点的ServiceAccount Token：在Token中包含节点信息的声明，并在使用Token时验证节点的存在，若节点被删除，则Token将会失效。详细使用方式请参考手动为 ServiceAccount 创建 API 令牌。

Helm V2 升级Helm V3 公告 发布时间：2022/08/30 因控制台“模板管理”功能所依赖的开源软件Helm已从 V2 演进至 V3 版本，即日起平台会自动将集群中 Helm V2 格式实例转换为 Helm V3 格式。部分 Helm V2 功能在 Helm V3 上有了更好的解决方案，但可能存在与原有方式不兼容的情况，需要您根据Helm V3 与 Helm V2 的差异及适配方案进行排查并做相应的适配验证。 如您短期内切换到 Helm V3 存在困难，可通过后台 Helm 客户端方式继续管理并部署 Helm V2 实例，操作方法请参见通过 Helm V2 客户端部署应用。为了更好地维护您的权益以及更好地获取运维支撑，请您在2022年12月30日前彻底切换至 Helm V3 管理方式。 父主题： 产品变更公告

背景信息 2020年12月08日，CentOS官方宣布了停止维护CentOS Linux的计划，并推出了CentOS Stream项目。更多信息，请参见CentOS官方公告。 CentOS 8系统2021年12月31日已停止维护服务，CentOS 7系统于2024年06月30日停止维护服务。CentOS官方不再提供CentOS 9及后续版本，不再支持新的软件和补丁更新。CentOS用户现有业务随时面临宕机和安全风险，并无法确保及时恢复。

影响 基于CentOS官方的变更计划，对CentOS操作系统的使用者产生的影响如下所述： 2024年06月30日以后，CentOS 7的使用者将无法获得包括问题修复和功能更新在内的任何软件维护和支持。 云容器引擎暂不会下线CentOS 7公共镜像，同时已经使用CentOS 7创建的节点运行不会受到影响，但将停止更新镜像。 云容器引擎对于CentOS操作系统的服务支持将和CentOS官方日期保持同步。

弃用和移除 Kubernetes 1.27版本 在Kubernetes 1.27版本，针对卷扩展GA特性的以下特性门禁将被移除，且不得再在--feature-gates标志中引用。（Expand CS IVolumes，ExpandInUsePersistentVolumes，ExpandPersistentVolumes） 在Kubernetes 1.27版本，移除--master-service-namespace 命令行参数。该参数支持指定在何处创建名为kubernetes的Service来表示 API服务 器。自v1.26版本已被弃用，1.27版本正式移除。 在Kubernetes 1.27版本，移除ControllerManagerLeaderMigration特性门禁。Leader Migration提供了一种机制，让HA集群在升级多副本的控制平面时通过在kube-controller-manager和cloud-controller-manager这两个组件之间共享的资源锁，安全地迁移“特定于云平台”的控制器。特性自v1.24正式发布，被无条件启用， 在v1.27版本中此特性门禁选项将被移除。 在Kubernetes 1.27版本，移除--enable-taint-manager命令行参数。该参数支持的特性基于污点的驱逐已被默认启用，且在标志被移除时也将继续被隐式启用。 在Kubernetes 1.27版本，移除--pod-eviction-timeout 命令行参数。弃用的命令行参数--pod-eviction-timeout将被从kube-controller-manager中移除。 在Kubernetes 1.27版本，移除CSI Migration特性门禁。CSI migration程序允许从树内卷插件移动到树外CSI驱动程序。CSI迁移自Kubernetes v1.16起正式发布，关联的CSIMigration特性门禁将在v1.27中被移除。 在Kubernetes 1.27版本，移除CSIInlineVolume特性门禁。CSI Ephemeral Volume特性允许在Pod规约中直接指定CSI卷作为临时使用场景。这些CSI卷可用于使用挂载的卷直接在Pod内注入任意状态，例如配置、Secret、身份、变量或类似信息。 此特性在v1.25中进阶至正式发布。因此，此特性门禁CSIInlineVolume将在v1.27版本中移除。 在Kubernetes 1.27版本，移除EphemeralContainers特性门禁。对于Kubernetes v1.27，临时容器的API支持被无条件启用；EphemeralContainers特性门禁将被移除。 在Kubernetes 1.27版本，移除LocalStorageCapacityIsolation特性门禁。Local Ephemeral Storage Capacity Isolation特性在 v1.25 中进阶至正式发布。此特性支持emptyDir卷这类Pod之间本地临时存储的容量隔离，因此可以硬性限制Pod对共享资源的消耗。如果本地临时存储的消耗超过了配置的限制，kubelet将驱逐 Pod。特性门禁LocalStorageCapacityIsolation将在v1.27版本中被移除。 在Kubernetes 1.27版本，移除NetworkPolicyEndPort特性门禁。Kubernetes v1.25版本将NetworkPolicy中的endPort进阶至正式发布。支持endPort字段的NetworkPolicy提供程序可用于指定一系列端口以应用NetworkPolicy。 在Kubernetes 1.27版本，移除StatefulSetMinReadySeconds特性门禁。对于作为StatefulSet一部分的Pod，只有当Pod至少在minReadySeconds中指定的持续期内可用（并通过检查）时，Kubernetes才会将此Pod标记为只读。 该特性在Kubernetes v1.25中正式发布，StatefulSetMinReadySeconds特性门禁将锁定为true，并在v1.27版本中被移除。 在Kubernetes 1.27版本，移除IdentifyPodOS特性门禁。启用该特性门禁，您可以为Pod指定操作系统，此项特性支持自v1.25版本进入稳定。IdentifyPodOS特性门禁将在Kubernetes v1.27中被移除。 在Kubernetes 1.27版本，移除DaemonSetUpdateSurge特性门禁。Kubernetes v1.25版本还稳定了对DaemonSet Pod的浪涌支持，其实现是为了最大限度地减少部署期间DaemonSet的停机时间。DaemonSetUpdateSurge特性门禁将在Kubernetes v1.27中被移除。 在Kubernetes 1.27版本，移除--container-runtime 命令行参数。kubelet 接受一个已弃用的命令行参数--container-runtime， 并且在移除dockershim代码后，唯一有效的值将是remote。 Kubernetes v1.27将移除该参数，该参数自v1.24版本以来已被弃用。 Kubernetes 1.26版本 移除v2beta2版本的HorizontalPodAutoscaler API HorizontalPodAutoscaler的autoscaling/v2beta2 API版本将不再在1.26版本中提供，详情请参见各发行版本中移除的API。 用户应迁移至autoscaling/v2版本的API。 移除v1beta1版本的流量控制API组 在Kubernetes 1.26版本后，开始不再提供flowcontrol.apiserver.k8s.io/v1beta1 API版本的FlowSchema和PriorityLevelConfiguration，详情请参见各发行版本中移除的API。但此API从Kubernetes 1.23版本开始，可以使用flowcontrol.apiserver.k8s.io/v1beta2；从Kubernetes 1.26版本开始，可以使用flowcontrol.apiserver.k8s.io/v1beta3。 存储驱动的弃用和移除，移除云服务厂商的in-tree卷驱动。 移除kube-proxy userspace模式 在Kubernetes 1.26版本，Userspace代理模式已被移除，已弃用的Userspace代理模式不再受Linux或Windows支持。Linux用户应使用Iptables或IPVS，Windows用户应使用Kernelspace，现在使用--mode userspace会失败。 Windows winkernel kube-proxy不再支持Windows HNS v1 APIs。 弃用--prune-whitelist标志 在Kubernetes 1.26版本，为了支持Inclusive Naming Initiative，--prune-whitelist标志将被弃用，并替换为--prune-allowlist，该标志在未来将彻底移除。 移除动态Kubelet配置 DynamicKubeletConfig特性门控移除，通过API动态更新节点上的Kubelet配置。在Kubernetes 1.24版本中从Kubelet移除相关代码，在Kubernetes 1.26版本从APIServer移除相关代码，移除该逻辑有助于简化代码提升可靠性，推荐方式是修改Kubelet配置文件然后重启Kubelet。更多信息，请参见在Kubernetes 1.26版本从APIServer移除相关代码。 弃用kube-apiserver命令行参数 在Kubernetes 1.26版本，正式标记弃用 --master-service-namespace 命令行参数，它对APIServer没有任何效果。 弃用kubectl run命令行参数 在Kubernetes 1.26版本，kubectl run未使用的几个子命令将被标记为弃用，并在未来某个版本移除，包括--cascade、--filename、--force、--grace-period、--kustomize、--recursive、--timeout、--wait等这些子命令。 移除与日志相关的原有命令行参数 在Kubernetes 1.26版本，将移除一些与日志相关的命令行参数，这些参数在之前的版本已被弃用。

Prometheus插件版本发布记录（停止维护） 表1 Prometheus插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 2.23.32 v1.17 v1.19 v1.21 - 2.10.0 2.23.31 v1.15 适配CCE v1.15集群 2.10.0 2.23.30 v1.17 v1.19 v1.21 适配CCE v1.21集群 2.10.0 2.21.14 v1.17 v1.19 v1.21 适配CCE v1.21集群 2.10.0 2.21.12 v1.15 适配CCE v1.15集群 2.10.0 2.21.11 v1.17 v1.19 适配CCE v1.19集群 2.10.0 1.15.1 v1.15 v1.17 Prometheus是一个监控系统和时间序列库 2.10.0 父主题： 插件版本发布记录

漏洞详情 CVE-2020-8554是Kubernetes社区发现的关于集群内网络流量劫持的安全问题。具有创建和更新Service和Pod对象权限的潜在攻击者，能够劫持集群内来自其他Pod或者节点的流量。潜在攻击者通过设置Service对象的spec.externalIPs字段，能够劫持集群内其他Pod或者节点访问该externalIP（如某公网知名IP）的流量，并将其转发到攻击者创建的恶意Pod中，造成中间人攻击。同理，攻击者通过修改Service对象的status.loadBalancer.ingress.ip也能达到此目的。 表1 漏洞信息 漏洞类型 CVE-ID 漏洞级别 披露/发现时间 流量劫持 CVE-2020-8554 中 2020-12-07

漏洞修复方案 建议您检查所有使用externalIP和loadBalancerIP的Service，确认是否有可疑的Service。 该问题由Kubernetes软件的设计缺陷导致，当前用户可以采取如下措施进行防范： 限制externalIP的使用 方法一：通过Admission Webhook容器（k8s.gcr.io/multitenancy/externalip-webhook:v1.0.0）限制externalIP的使用。源代码和部署说明发布在：https://github.com/kubernetes-sigs/externalip-webhook。 方法二：使用开源软件OPA Gatekeeper限制externalIP的使用。示例说明ConstraintTemplate和Constraint发布在：https://github.com/open-policy-agent/gatekeeper-library/tree/master/library/general/externalip。 限制LoadBalancerIP的使用 由于社区不建议集群管理员向集群内的用户授予service/status对象的patch权限，因此社区没有为LoadBalancerIP提供规避措施。如果您需要对LoadBalancerIP进行限制，则可以参考externalIP的规避措施。

漏洞详情 外部安全研究人员披露sudo中的堆溢出漏洞（CVE-2021-3156），该漏洞在类似Unix的主要操作系统上都可以使用。在其默认配置下会影响从1.8.2到1.8.31p2的所有旧版本以及从1.9.0到1.9.5p1的所有稳定版本。成功利用此漏洞，任何没有特权的用户都可以在易受攻击的主机上获得root特权。 sudo是一个功能强大的实用程序，大多数基于Unix和Linux的操作系统都包含sudo。它允许用户使用其他用户的安全特权运行程序。 表1 漏洞信息 漏洞类型 CVE-ID 漏洞级别 披露/发现时间 权限提升 CVE-2021-3156 高 2021-01-26

漏洞详情 CVE-2020-15257是containerd官方发布的一处Docker容器逃逸漏洞。containerd是一个支持Docker和常见Kubernetes配置的容器运行时管理组件，它处理与容器化有关的抽象，并提供API以管理容器的生命周期。在特定的条件下，可以通过访问containerd-shim API，来实现Docker容器逃逸。 表1 漏洞信息 漏洞类型 CVE-ID 漏洞级别 披露/发现时间 Docker容器逃逸 CVE-2020-15257 中 2020-11-30

漏洞详情 Docker、containerd或者其他基于runc的容器运行时存在安全漏洞，攻击者可以通过特定的容器镜像或者exec操作可以获取到宿主机的runc执行时的文件句柄并修改掉runc的二进制文件，从而获取到宿主机的root执行权限。 华为云容器引擎已修复runc漏洞CVE-2019-5736。 表1 漏洞信息 漏洞类型 CVE-ID 漏洞级别 披露/发现时间 华为云修复时间 代码执行 CVE-2019-5736 高 2019-02-11 2019-02-12 漏洞CVE-2019-5736的详细信息，请参见：https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2019-5736

漏洞修复方案 华为云CCE容器服务： 华为云容器引擎已修复runc漏洞CVE-2019-5736。 自建Kubernetes或使用开源容器引擎： 升级Docker到18.09.2版本，由于开源Docker在17.06之后的版本做了较大变更，涉及架构解耦重构，该办法可能会导致用户容器业务中断，建议做好充分验证，并按节点逐步滚动升级。 仅升级runc，对于17.06等Docker版本，可以不中断已运行业务，当前runc官方尚未发布包含漏洞修复补丁的新版本，如果要单独升级runc，用户可自行编译。 另特别提醒，本次Docker官方补丁使用了高版本Linux内核的系统调用，在低版本内核部分版本上可能会失效，若补丁失效时，建议升级至3.17以上内核。华为云CCE容器服务提供的补丁针对官方补丁进行了优化适配，已验证在多版本内核上均可生效。

1.21版本集群停止维护公告 发布时间：2024/01/22 华为云CCE集群1.21版本即将于2024/04/30 00:00（北京时间）正式停止维护，届时针对CCE集群1.21以及之前的版本，华为云将不再支持新集群创建。若您账号下存在1.21及之前的集群版本，为了保证您的服务权益，建议尽快升级到最新的商用版本。 关于如何升级集群，请参见CCE集群升级指导。 关于CCE集群的版本机制，请参见Kubernetes版本策略。 父主题： 集群版本公告

漏洞影响 本次漏洞典型的攻击方式是通过恶意镜像：在恶意镜像中，将攻击函数隐藏在恶意动态库如（libseccomp.so.2）中，并使执行命令指向/proc/self/exe。 当runc动态编译时，会从容器镜像中载入动态链接库，导致加载恶意动态库；当打开/prco/self/exe即runc时，会执行恶意动态链接库中的恶意程序，由于恶意程序继承runc打开的文件句柄，可以通过该文件句柄替换host上的runc。 此后，再次执行runc相关的命令，则会产生逃逸。 该漏洞影响范围如下： 本次漏洞对所有采用runc的容器引擎均生效，runc是Docker容器的核心组件，因此对绝大部分容器均会产生影响。其中主要影响的是多用户共享节点的场景，可导致某用户通过渗透进而控制节点并攻击整集群。 华为云CCE容器服务： CCE容器服务创建的Kubernetes集群属于单租户专属，不存在跨租户共享，影响范围较小，对于多用户场景需要关注。 当前CCE采用华为优化的Docker容器，其中RUNC采用静态编译，目前公开披露的攻击方法无法成功入侵。 华为云CCI容器实例服务： CCI引擎采用华为Kata容器引擎，提供单节点上多容器高安全的hypervisor级别的隔离能力，并没有采用runc容器，因此本次漏洞将不会对CCI产生影响。

漏洞影响 由于kube-apiserver中在升级请求的代理后端中允许将请求传播回源客户端，攻击者可以通过截取某些发送至节点kubelet的升级请求，通过请求中原有的访问凭据转发请求至其他目标节点，从而造成被攻击节点的权限提升漏洞。该漏洞为中危漏洞，CVSS评分为6.4。 如果有多个集群共享使用了相同的CA和认证凭证，攻击者可以利用此漏洞攻击其他集群，这种情况下该漏洞为高危漏洞。 对于此次漏洞的跨集群攻击场景，CCE集群使用了独立签发的CA，同时不同集群间认证凭据完全隔离，跨集群场景不受影响。 从v1.6.0之后到下列修复版本的所有kube-apiserver组件均包含漏洞代码： kube-apiserver v1.18.6 kube-apiserver v1.17.9 kube-apiserver v1.16.13 下列应用场景在此次漏洞的影响范围内： 如果集群运行业务中存在多租户场景，且以节点作为不同租户间隔离的安全边界。 不同集群间共享使用了相同的集群CA和认证凭据。

关于CCE集群Docker支持策略公告 发布时间：2024/02/19 Kubernetes社区已在v1.24版本移除dockershim，默认不再支持Docker容器引擎。当前v1.27.1-r0至v1.27.5-r0、v1.28.1-r0至v1.28.3-r0版本的集群不支持创建Docker容器引擎的节点。考虑到当前仍然有部分用户使用Docker，CCE将继续支持创建Docker节点。后续如果下线Docker容器引擎将另行通知。 建议您在新建节点时选择更加轻量、安全的Containerd容器引擎，同时将存量节点的容器容器引擎逐步迁移至Containerd，具体操作请参见将节点容器引擎从Docker迁移到Containerd。 Containerd和Docker的对比请参见容器引擎Containerd和Docker。 父主题： 产品变更公告

资源变更与弃用 社区1.21 ReleaseNotes CronJob现在已毕业到稳定状态，版本号变为batch/v1。 不可变的Secret和ConfigMap现在已升级到稳定状态。向这些对象添加了一个新的不可变字段，以拒绝更改。此拒绝可保护集群免受可能无意中中断应用程序的更新。因为这些资源是不可变的，kubelet不会监视或轮询更改。这减少了kube-apiserver的负载，提高了可扩展性和性能。更多信息，请参见Immutable ConfigMaps。 优雅节点关闭现在已升级到测试状态。通过此更新，kubelet可以感知节点关闭，并可以优雅地终止该节点的Pod。在此更新之前，当节点关闭时，其Pod没有遵循预期的终止生命周期，这导致了工作负载问题。现在kubelet可以通过systemd检测即将关闭的系统，并通知正在运行的Pod，使它们优雅地终止。 具有多个容器的Pod现在可以使用kubectl.kubernetes.io/默认容器注释为kubectl命令预选容器。 PodSecurityPolicy废弃，详情请参见https://kubernetes.io/blog/2021/04/06/podsecuritypolicy-deprecation-past-present-and-future/。 BoundServiceAccountTokenVolume特性进入Beta，该特性能够提升服务账号（ServiceAccount）Token的安全性，改变了Pod挂载Token的方式，Kubernetes 1.21及以上版本的集群中会默认开启。 社区1.20 ReleaseNotes API优先级和公平性已达到测试状态，默认启用。这允许kube-apiserver按优先级对传入请求进行分类。更多信息，请参见API Priority and Fairness。 修复 exec probe timeouts不生效的BUG，在此修复之前，exec 探测器不考虑 timeoutSeconds 字段。相反，探测将无限期运行，甚至超过其配置的截止日期，直到返回结果。 通过此更改，如果未指定值，将使用默认值，默认值为1秒。如果探测时间超过一秒，可能会导致应用健康检查失败。请在升级时确定使用该特性的应用更新timeoutSeconds字段。新引入的 ExecProbeTimeout 特性门控所提供的修复使集群操作员能够恢复到以前的行为，但这种行为将在后续版本中锁定并删除。 RuntimeClass已达到稳定状态。RuntimeClass资源提供了一种机制，用于支持集群中的多个运行时，并将有关该容器运行时的信息公开到控制平面。 kubectl调试已达到测试状态。kubectl调试直接从kubectl提供对常见调试工作流的支持。 Dockershim在1.20被标记为废弃，目前您可以继续在集群中使用Docker。该变动与集群所使用的容器镜像（Image）无关。您依然可以使用Docker构建您的镜像。更多信息，请参见Dockershim Deprecation FAQ。

判断方法 如果节点是EulerOS和CentOS，可以用如需命令查看安全包版本： rpm -qa |grep docker 使用EulerOS或者CentOS的节点，docker版本低于18.09.0.100.51.h10.51.h3-1.h15.eulerosv2r7的docker包涉及该CVE漏洞。 使用其它非EulerOS和CentOS的镜像（如Ubuntu），可以使用docker version查看docker版本。若版本低于19.03.15、20.10.3，则涉及该漏洞。

漏洞详情 Docker是一款开源的应用容器引擎，支持在Linux系统上创建一个容器（轻量级虚拟机）并部署和运行应用程序，以及通过配置文件实现应用程序的自动化安装、部署和升级。 Docker 19.03.15和20.10.3之前的版本存在资源管理错误漏洞，攻击者可以利用该漏洞导致dockerd守护进程崩溃。 表1 漏洞信息 漏洞类型 CVE-ID 漏洞级别 披露/发现时间 资源管理错误 CVE-2021-21285 中 2021-02-02

故障隔离 DEW采用region间隔离设计，可以确保任何一个region的故障不会影响其它region的DEW服务。 DEW的基础设施包括服务器和加密机等采用AZ级容灾设计，任何一个AZ的故障不会影响DEW服务的可用性，DEW服务将自动屏蔽发生故障的AZ并将流量切换到其它AZ，实现业务的平滑调度。 DEW的基础设施包括服务器和加密机等采用集群设计，任何一个服务器或加密机的可用性问题不会影响DEW服务的可用性。

OBS服务端加密 用户使用OBS（Object Storage Service，OBS）服务端加密方式上传时，可以选择“SEE-KMS加密”，从而使用KMS提供的密钥来加密上传的文件，如图1所示。更多信息请参见《对象存储服务控制台指南》。 图1 OBS服务端加密 可供选择的用户主密钥包含以下两种： KMS为使用OBS的用户创建一个默认密钥“obs/default”。 用户通过KMS界面创建的自定义密钥。 SM4加密算法仅支持华北-乌兰察布一区域。 用户也可以通过调用OBS API接口，选择服务端加密SSE-KMS方式（SSE-KMS方式是指OBS使用KMS提供的密钥进行服务端加密）上传文件，详情请参考《对象存储服务API参考》。 父主题： 使用KMS加密的云服务

漏洞影响 docker daemon组件在拉取镜像的过程中没有对镜像层digest进行有效性校验，拉取一个被恶意损坏的镜像可能会导致docker daemon崩溃。 该漏洞可能在以下场景触发： 在集群内的节点上手动docker pull一个被恶意损坏的镜像。 部署工作负载时负载模板中定义了一个被恶意损坏的镜像，kubelet自动拉取镜像时触发。 该漏洞的影响范围如下： 若镜像被恶意损坏，拉取镜像时可能会导致docker daemon崩溃。 使用 容器镜像服务 （SWR）时，如果您的镜像是通过在SWR获取的，上传到镜像仓库的镜像会进行digest校验，此场景不受影响。 该漏洞不会影响运行中的容器。

版本说明 专属加密提供标准版、铂金版（国内）专属加密实例，具体服务内容如表1所示。 带*条目根据不同型号设备略有不同，请联系客服进行确认。 表1 专属加密 功能 服务内容 标准版-虚拟共享 铂金版（国内）-单用户独占 独享芯片加密 用户独享云端密码芯片资源，实现用户密钥硬件隔离的同时保障业务性能 支持 支持 全业务支持 支持金融支付、身份认证、数字签名等应用安全，满足各种重要系统对于数据安全性的严苛要求 支持 支持 弹性扩展 可根据您的业务需要弹性地增加和缩减密码运算资源 支持 支持 高可靠 后端硬件设备可以HA双机（主-备）部署，实现高可靠（需订购2个实例实现） 支持 支持 兼容性 提供与实体密码设备相同的功能与接口，方便向云端迁移，具体支持： PKCS#11接口，CSP接口，JCE接口，GM/T 0018-2012 SDF接口等 支持 支持 机框、电源独占 用户独享硬件加密机机框、电源资源 不支持 支持 网络独占 用户独享硬件加密机网络带宽、接口资源 不支持 支持 FIPS 140-2认证 采用符合 FIPS 140-2 第 3 级标准的 HSM 上生成和使用加密密钥 不支持 不支持 通用算法 对称算法 AES AES 非对称算法 RSA（1024，4096）* RSA（1024，4096）* 摘要算法 SHA1、SHA256、SHA384 SHA1、SHA256、SHA384 国密算法 对称算法 SM1、SM4、SM7 * SM1、SM4、SM7 * 非对称算法 SM2 SM2 摘要算法 SM3 SM3 通用算法性能 RSA2048验签运算性能 3,500 TPS 40,000 TPS RSA2048签名运算性能 400 TPS 4,000 TPS 国密算法性能 SM1加密运算性能 600 TPS 15,000 TPS SM2签名运算性能 3,000 TPS 80,000 TPS SM2验签运算性能 2,000 TPS 15,000 TPS SM4加密运算性能 4000~35000Tps* 35000~40000Tps* SM4解密运算性能 4000~30000Tps* 35000~40000Tps* SM7算法性能 1000Tps* 1000Tps* 数据通讯 TCP/IP 最大并发连接 64 2,048 父主题： 专属加密

IMS服务端加密 用户使用OBS桶中已上传的外部镜像文件创建私有镜像时，可以选择“KMS加密”，使用KMS提供的密钥来加密镜像，如图1所示，更多信息请参见 。 图1 IMS服务端加密 可供选择的用户主密钥包含以下两种： KMS为使用IMS（Image Management Service，IMS）的用户创建一个默认密钥“ims/default”。 用户通过KMS界面创建的自定义密钥。 用户也可以通过调用IMS API接口创建加密镜像，详情请参考《 镜像服务 API参考》。 父主题： 使用KMS加密的云服务

DDS服务端加密 用户在通过文档数据库服务（Document Database Service，DDS）购买文档数据库实例选择自定义购买时，可以选择“磁盘加密”，使用KMS提供的密钥来加密文档数据库实例的磁盘，更多信息请参见《文档数据库服务用户指南》。 图1 DDS服务端加密 用户可选择通过KMS界面创建的自定义密钥进行加密。 用户也可以通过调用DDS API接口购买加密数据库实例，详情请参考《文档数据库API参考》。 父主题： 使用KMS加密的云服务