华为云用户手册

安装步骤 登录CCE控制台，单击左侧导航栏的“插件管理”，在“插件市场”页签下，单击dashboard插件下的“安装插件”。 在安装插件页面，选择安装的集群和插件版本，单击“下一步：规格配置”。 在规格配置页面，配置以下参数。 证书配置：dashboard服务端使用的证书。 默认选中，可手动上传证书。 证书文件：单击查看证书文件样例参考。 证书私钥：单击查看证书私钥样例参考。 不选择，将不需要上传证书。 dashboard默认生成的证书不合法，将影响浏览器正常访问，建议您选择手动上传合法证书，以便通过浏览器校验，保证连接的安全性。 访问类型：可以选择节点访问（NodePort）和负载均衡（LoadBalancer）两种类型。 节点访问： 绑定弹性IP：若集群没有绑定弹性IP，需单击此处绑定弹性IP，绑定后单击刷新按钮。 该插件默认以NodePort形式提供访问，需为集群任意一个节点绑定弹性IP才能使用。 负载均衡： 负载均衡：选择弹性负载均衡实例。若无弹性负载均衡实例，需新建共享型弹性负载均衡，完成后单击刷新按钮。 负载均衡实例需与当前集群处于相同VPC且为公网类型。 端口配置：访问类型为负载均衡时，需端口配置。 协议：默认为TCP。 容器端口：默认为8443。 访问端口：容器端口最终映射到负载均衡服务地址的端口，用负载均衡服务地址访问工作负载时使用，端口范围为1-65535，可任意指定。 单击“安装”。 待插件安装完成后，单击“返回”，在“插件实例”页签下，选择对应的集群，可查看到运行中的实例，这表明该插件已在当前集群的各节点中安装。

注意事项 集群升级时若需要升级CoreDNS插件，请确保节点数大于等于CoreDNS的实例数，且CoreDNS的所有实例都处于运行状态，否则将导致升级失败。1.11或1.13版本的集群若需升级到更高版本，需先将CoreDNS插件升级当前集群可用的最新版本。 1.11及以下版本的集群升级到1.13版本的过程中，对集群有如下影响： 由于OS会升级，所有集群节点会重启，对应用有影响。 由于集群签名证书机制变更，所以会导致集群证书失效，请在升级完集群后重新获取证书或者kubeconfig文件。 1.13版本内升级时，集群上的应用只会在升级网络组件时有短暂中断。 社区Kubernetes 1.9版本升级1.11版本时，集群的kube-dns会被卸载并替换为CoreDNS，可能会导致原来配置在kube-dns中的级联DNS配置丢失或DNS服务短暂中断，请备份您配置在kube-dns中的 DNS地址 ，以便在域名解析异常时重新在CoreDNS中进行配置。

使用kubectl创建-自动创建ELB ENI LoadBalancer Service仅支持独享型ELB，在创建Service时无需要指定nodeport。 apiVersion: v1kind: Servicemetadata: name: example annotations: kubernetes.io/elb.class: performance kubernetes.io/elb.autocreate: ' { "type": "public", "bandwidth_name": "cce-bandwidth-1630813564682", "bandwidth_chargemode": "traffic", "bandwidth_size": 5, "bandwidth_sharetype": "PER", "eip_type": "5_bgp", "available_zone": [ "cn-north-4b" ], "l7_flavor_name": "L7_flavor.elb.s2.medium", "l4_flavor_name": "L4_flavor.elb.s1.small" } 'spec: selector: app: example ports: - name: cce-service-0 targetPort: 80 port: 8082 protocol: TCP type: LoadBalancer 详细的参数说明请参见表4。

ELB转发说明 ENI LoadBalancer类型Service创建完后，可以在ELB控制台查看ELB实例的监听器转发规则，如下所示。 图1 ELB转发说明 可以看到这个ELB实例创建了一个监听器，其后端服务器地址是Pod的IP地址，业务端口是容器端口。这是因为Pod使用了ENI或Sub-ENI，ELB会直通Pod，当有流量通过ELB请求时，会直接转发给Pod，从而访问到Pod，这跟操作场景中所述是一致的。

约束与限制 仅支持独享型ELB实例，且ELB实例需要支持网络型（TCP/UDP）。 ELB实例创建出来后没法更改flavor，因此对应CCE自动创建的ELB实例，Service自动创建的ELB实例只支持对接Service；对接已有的实例不受此约束限制。 集群必须为1.17及以上版本。 仅支持绑定弹性网卡的工作负载（即容器对接ENI）的访问类型选择“ENI负载均衡 ( ENI LoadBalancer )”。

使用kubectl创建-使用已有ELB 使用已有ELB实例创建时，指定ELB实例的ID即可。 apiVersion: v1kind: Servicemetadata: name: example annotations: kubernetes.io/elb.id: bcc44e84-d0b5-4192-8bec-b2ca55ce5025 # ELB实例ID，替换为实际取值spec: selector: app: example ports: - name: cce-service-0 targetPort: 80 port: 8082 protocol: TCP type: LoadBalancer

约束与限制 在CCE所创的集群中，Kubernetes v1.15.11版本是Flexvolume插件（storage-driver）被 CS I插件（Everest）兼容接管的过渡版本，v1.17及之后版本的集群中将彻底去除对Flexvolume插件（storage-driver）的支持，请您将Flexvolume插件的使用切换到CSI插件上。CSI和Flexvolume能力对比请参见CSI和Flexvolume存储插件的区别。 CSI插件（Everest）兼容接管Flexvolume插件（storage-driver）后，原有功能保持不变，但请注意不要新建Flexvolume插件（storage-driver）的存储，否则将导致部分存储功能异常。 本插件仅支持在v1.13及以下版本的集群中安装，v1.15及以上版本的集群在创建时默认安装Everest插件。 在v1.13及以下版本的集群中，当存储功能有升级或者BUG修复时，用户无需升级集群或新建集群来升级存储功能，仅需安装或升级storage-driver插件。

插件简介 storage-driver是一款 云存储 驱动插件，北向遵循标准容器平台存储驱动接口。实现Kubernetes Flex Volume标准接口，提供容器使用华为云EVS块存储、SFS文件存储、OBS 对象存储、SFS Turbo 极速文件存储等华为云IAAS存储的能力。通过安装升级云存储插件可以实现云存储功能的快速安装和更新升级。 该插件为系统资源插件，kubernetes 1.13及以下版本的集群在创建时默认安装。

安装插件 本插件为系统默认安装，若因特殊情况卸载后，可参照如下步骤重新安装。 未安装storage-driver插件的集群，可参考如下步骤进行安装： 登录CCE控制台，在左侧导航栏中选择“插件管理”，在“插件市场”页签下，单击storage-driver插件下的“安装插件”。 在安装插件页面，选择安装的集群和插件版本，单击“下一步：规格配置”。 云存储插件暂未开放可配置参数，直接单击“安装”。 待插件安装完成后，单击“返回”，在“插件实例”页签下，选择对应的集群，可查看到运行中的实例，这表明该插件已在当前集群的各节点中安装。

升级插件 登录CCE控制台，在左侧导航栏中选择“插件管理”，在“插件实例”页签下，选择对应的集群，单击storage-driver下的“升级”。 如果升级按钮处于冻结状态，则说明当前插件版本是最新的版本，不需要进行升级操作。 升级storage-driver插件时，会替换原先节点上的旧版本的storage-driver插件，安装最新版本的storage-driver插件以实现功能的快速升级。 在基本信息页面选择插件版本，单击“下一步”。 云存储插件暂未开放可配置参数，直接单击“升级”即可升级storage-driver插件。

插件简介 node-problem-detector（简称：npd）是一款监控集群节点异常事件的插件，以及对接第三方监控平台功能的组件。它是一个在每个节点上运行的守护程序，可从不同的守护进程中搜集节点问题并将其报告给apiserver。node-problem-detector可以作为DaemonSet运行， 也可以独立运行。 有关社区开源项目node-problem-detector的详细信息，请参见node-problem-detector。 为快速提升您NPD插件的能力和可靠性，2020年12月30日后系统将定期自动升级插件到最新版本，升级过程会重启各节点上的NPD容器，但不会对您的业务造成影响。若您想提前体验，可以主动在CCE控制台的“插件管理”页面进行升级。升级插件方法请参见升级插件。 强烈建议您进行此次升级，如果您不希望升级npd插件，可以通过提交工单免除此次升级。

存储类别 对象存储提供了三种存储类别：标准存储、低频访问存储、归档存储，从而满足客户业务对存储性能、成本的不同诉求。 标准存储：访问时延低和吞吐量高，因而适用于有大量热点文件（平均一个月多次）或小文件（小于1MB），且需要频繁访问数据的业务场景，例如：大数据、移动应用、热点视频、社交图片等场景。 低频访问存储：适用于不频繁访问（平均一年少于12次）但在需要时也要求快速访问数据的业务场景，例如：文件同步/共享、企业备份等场景。与标准存储相比，低频访问存储有相同的数据持久性、吞吐量以及访问时延，且成本较低，但是可用性略低于标准存储。 归档存储：适用于很少访问（平均一年访问一次）数据的业务场景，例如：数据归档、长期备份等场景。归档存储安全、持久且成本极低，可以用来替代磁带库。为了保持成本低廉，数据取回时间可能长达数分钟到数小时不等。

使用说明 标准接口：具备标准Http Restful API接口，用户必须通过编程或第三方工具访问对象存储。 数据共享：服务器、嵌入式设备、IOT设备等所有调用相同路径，均可访问共享的对象存储数据。 公共/私有网络：对象存储数据允许在公网访问，满足互联网应用需求。 容量与性能：容量无限制，性能较高（IO读写时延10ms级）。 应用场景：适用于（基于OBS界面、OBS工具、OBS SDK等）的一次上传共享多读（ReadOnlyMany）的各种工作负载（Deployment/StatefulSet）和普通任务（Job）使用，主要面向大数据分析、静态网站托管、在线 视频点播 、基因测序、智能视频监控、备份归档、企业云盘（网盘）等场景。

权限说明 kubectl访问CCE集群是通过集群上生成的配置文件（kubeconfig.json）进行认证，kubeconfig.json文件内包含用户信息，CCE根据用户信息的权限判断kubectl有权限访问哪些Kubernetes资源。即哪个用户获取的kubeconfig.json文件，kubeconfig.json就拥有哪个用户的信息，这样使用kubectl访问时就拥有这个用户的权限。 用户拥有的权限请参见集群权限（ IAM 授权）与命名空间权限（Kubernetes RBAC授权）的关系。 在CloudShell中使用kubectl是由登录用户的权限决定kubectl的权限。

使用CloudShell连接集群 CloudShell是一款用于管理与运维云资源的网页版Shell工具，CCE支持使用CloudShell连接集群，在CloudShell中可以使用kubectl访问集群。 CloudShell中kubectl证书有效期为1天，从云容器引擎重新跳转可以重置有效期。 CloudShell基于VPCEP实现，在CloudShell中使用kubectl访问集群需要在集群控制节点的安全组（安全组名称：集群名称-cce-control-随机数）中放通如下网段访问5443端口。5443端口默认对所有网段放通，如果您对安全组做过加固，当出现在CloudShell中无法访问集群时，请检查5443端口是否放通了198.19.128.0/16网段。 集群必须安装CoreDNS才能使用CloudShell。 图1 CloudShell 图2 在CloudShell中使用kubectl

常见问题（Error from server Forbidden） 使用kubectl在创建或查询Kubernetes资源时，显示如下内容。 # kubectl get deploy Error from server (Forbidden): deployments.apps is forbidden: User "0c97ac3cb280f4d91fa7c0096739e1f8" cannot list resource "deployments" in API group "apps" in the namespace "default" 原因是用户没有操作该Kubernetes资源的权限，请参见命名空间权限（Kubernetes RBAC授权）为用户授权。

域名双向认证 CCE当前支持域名双向认证。 域名双向认证默认不开启，可通过 kubectl config use-context externalTLSVerify 命令切换到externalTLSVerify这个context开启使用。 集群绑定或解绑弹性IP、配置或更新自定义域名时，集群服务端证书将同步签入最新的集群访问地址（包括集群绑定的弹性IP、集群配置的所有自定义域名）。 异步同步集群通常耗时约5-10min，同步结果可以在操作记录中查看“同步证书”。 对已经绑定了EIP的集群，如果在使用双向认证时出现认证不通过的情况（x509: certificate is valid），需要重新绑定EIP并重新下载kubeconfig.json。 早期未支持域名双向认证时，kubeconfig.json中包含"insecure-skip-tls-verify": true字段，如图5所示。如果需要使用双向认证，您可以重新下载kubeconfig.json文件并配置开启域名双向认证。 图5 未开启域名双向认证

操作场景 环境变量是指容器运行环境中设定的一个变量，环境变量可以在工作负载部署后修改，为工作负载提供极大的灵活性。 CCE中设置的环境变量与Dockerfile中的“ENV”效果相同。 在CCE中，您可以通过三种方式来添加环境变量：手动添加、密钥导入、配置项导入。 容器启动后，容器中的内容不应修改。如果修改配置项（例如将容器应用的密码、证书、环境变量配置到容器中），当容器重启（例如节点异常重新调度pod）后，会导致配置丢失，业务异常。 配置信息应通过入参等方式导入容器中，以免重启后配置丢失。

Nginx Ingress Controller工作原理 Nginx型的Ingress使用弹性负载均衡（ELB）作为流量入口，并在集群中部署nginx-ingress插件来对流量进行负载均衡及访问控制。 nginx-ingress插件直接使用社区模板与镜像，CCE不提供额外维护，不建议用于商用场景。 开源社区地址：https://github.com/kubernetes/ingress-nginx Nginx型的Ingress Controller通过pod部署在工作节点上，因此引入了相应的运维成本和Nginx组件运行成本，其工作原理如图3，实现步骤如下： 当用户更新Ingress资源后，Ingress Controller就会将其中定义的转发规则写入到Nginx的配置文件（nginx.conf）中。 内置的Nginx组件进行reload，加载更新后的配置文件，完成Nginx转发规则的修改和更新。 在流量访问集群时，首先被已创建的负载均衡实例转发到集群内部的Nginx组件，然后Nginx组件再根据转发规则将其转发至对应的各个工作负载。 图3 Nginx Ingress Controller工作原理

Ingress特性对比 表1 Ingress特性对比 特性 ELB Ingress Controller Nginx Ingress Controller 运维 免运维，更新升级由华为云负责 自行安装、升级、维护 性能 一个Ingress支持一个ELB实例 多个Ingress只支持一个ELB实例 使用企业级LB，高性能高可用，升级、故障等场景不影响业务转发 性能依赖pod的资源配置 支持配置动态加载 更新配置需reload，可能会造成业务中断 组件部署 Master节点，不占用工作节点 Worker节点，需要Nginx组件运行成本 路由重定向 不支持 支持 SSL配置 支持 支持 由于华为云自研的ELB Ingress和社区开源的Nginx Ingress在原理上存在本质区别，因此支持的Service类型不同，如表2中所示。 表2 支持Service类型 Ingress类型 访问类型 集群内访问（ClusterIP） 节点访问（NodePort） ELB Ingress 负载均衡路由 不支持 支持 ENI负载均衡路由 支持 不支持 Nginx Ingress 负载均衡路由 支持 支持 ENI负载均衡路由 支持 不支持 ELB Ingress Controller部署在master节点，所有策略配置和转发行为均在ELB侧完成。不使用ENI负载均衡的情况下，集群外部的ELB只能通过VPC的IP对接集群内部节点，因此ELB Ingress只支持NodePort类型的Service。使用ENI负载均衡后，ELB可直接将流量转发到集群内Pod，此时Ingress仅支持对接ClusterIP类型的Service。 Nginx Ingress Controller运行在集群中，作为服务通过NodePort对外暴露，流量经过Nginx-ingress转发到集群内其他业务，流量转发行为及转发对象均在集群内部，因此支持ClusterIP和NodePort类型的Service。当集群使用ENI负载均衡时，Nginx Ingress仅支持ClusterIP类型的Service。 综上，华为云自研的ELB Ingress使用企业级LB进行流量转发，拥有高性能和高稳定性的优点，而Nginx Ingress Controller部署在集群节点上，牺牲了一定的集群资源但可配置性相对更好。

为什么需要Ingress Service基于TCP和UDP协议进行访问转发，为集群提供了四层负载均衡的能力。但是在实际场景中，Service无法满足应用层中存在着大量的HTTP/HTTPS访问需求。因此，Kubernetes集群提供了另一种基于HTTP协议的访问方式——Ingress。 Ingress是Kubernetes集群中一种独立的资源，制定了集群外部访问流量的转发规则。如图1所示，用户可根据域名和路径对转发规则进行自定义，完成对访问流量的细粒度划分。 图1 Ingress示意图 下面对Ingress的相关定义进行介绍： Ingress资源：一组基于域名或URL把请求转发到指定Service实例的访问规则，是Kubernetes的一种资源对象，通过接口服务实现增、删、改、查的操作。 Ingress Controller：请求转发的执行器，用以实时监控资源对象Ingress、Service、End-point、Secret（主要是TLS证书和Key）、Node、ConfigMap的变化，解析Ingress定义的规则并负责将请求转发到相应的后端Service。 Ingress Controller在不同厂商之间的实现方式不同，根据负载均衡器种类的不同，可以将其分成ELB型和Nginx型。CCE支持上述两种Ingress Controller类型，其中ELB Ingress Controller基于弹性负载均衡服务（ELB）实现流量转发；而Nginx Ingress Controller使用Kubernetes社区维护的模板与镜像，通过Nginx组件完成流量转发。

ELB Ingress Controller工作原理 CCE自研的ELB Ingress Controller基于弹性负载均衡服务ELB实现公网和内网（同一VPC内）的七层网络访问，通过不同的URL将访问流量分发到对应的服务。 ELB Ingress Controller部署于Master节点上，与集群所在VPC下的弹性负载均衡器绑定，支持在同一个ELB实例（同一IP）下进行不同域名、端口和转发策略的设置。ELB Ingress Controller的工作原理如图2，实现步骤如下： 用户创建Ingress资源，在Ingress中配置流量访问规则，包括负载均衡器、URL、SSL以及访问的后端Service端口等。 Ingress Controller监听到Ingress资源发生变化时，就会根据其中定义的流量访问规则，在ELB侧重新配置监听器以及后端服务器路由。 当用户进行访问时，流量根据ELB中配置的转发策略转发到对应的后端Service端口，然后再经过Service二次转发访问到关联的各个工作负载。 图2 ELB Ingress Controller工作原理

将工作负载部署到特定节点池 在定义工作负载时，您可以间接的控制将其部署在哪个节点池上。 例如，您可以通过CCE控制台工作负载页面的“调度策略”设置工作负载与节点的亲和性，强制将该工作负载部署到特定节点池上，从而实现该工作负载仅在该节点池中的节点上运行的目的。如果您需要更好地控制工作负载实例的调度位置，您可以使用调度策略概述章节中关于工作负载与节点的亲和或反亲和策略相关说明。 您也可以为容器指定资源请求，工作负载将仅在满足资源请求的节点上运行。 例如，如果工作负载定义了需要包含四个CPU的容器，则工作负载将不会选择在具有两个CPU的节点上运行。

功能点及注意事项 功能点 功能说明 注意事项 创建节点池 新增节点池。 单个集群不建议超过100个节点池。 删除节点池 删除节点池时会先删除节点池中的节点，原有节点上的工作负载实例会自动迁移至其他节点池的可用节点。 如果工作负载实例具有特定的节点选择器，且如果集群中的其他节点均不符合标准，则工作负载实例可能仍处于无法安排的状态。 节点池开启弹性伸缩 开启弹性伸缩后，节点池将根据集群负载情况自动创建或删除节点池内的节点。 节点池中的节点建议不要放置重要数据，以防止节点被弹性缩容，数据无法恢复。 节点池关闭弹性伸缩 关闭弹性伸缩后，节点池内节点数量不随集群负载情况自动调整。 / 调整节点池大小 支持直接调整节点池内节点个数。若减小节点数量，将从现有节点池内随机缩容节点。 开启弹性伸缩后，不建议手动调整节点池大小。 调整节点池配置 可修改节点池名称、节点个数、K8S标签、Taints及资源标签。 修改K8S标签和Taints会对节点池内节点全部生效，可能会引起Pod重新调度，请谨慎变更。 添加已有节点 可添加不属于集群的节点到节点池。要求如下： 待添加节点需与CCE集群在同一虚拟私有云和子网内。 实例未被其他集群使用且实例与节点池配置相同（机型、计费模式等）。 无特殊情况时，不建议添加已有节点，推荐直接新建节点池。 移出节点池内节点 可以将同一个集群下某个节点池中的节点迁移到默认节点池（defaultpool）中 暂不支持将默认节点池（defaultpool）中的节点迁移到其他节点池中，也不支持将自定义节点池中的节点迁移到其他自定义节点池。 拷贝节点池 可以方便的拷贝现有节点池的配置，从而创建新的节点池。 / 配置kubernetes参数 通过该功能您可以对核心组件进行深度配置。 本功能仅支持在v1.15及以上版本的集群中对节点池进行配置，V1.15以下版本不显示该功能。 默认节点池DefaultPool不支持修改该类配置。

简介 为帮助您更好地管理Kubernetes集群内的节点，云容器引擎CCE引入节点池概念。节点池是集群中具有相同配置的一组节点，一个节点池包含一个节点或多个节点。 您可以在CCE控制台创建新的自定义节点池，借助节点池基本功能方便快捷地创建、管理和销毁节点，而不会影响整个集群。新节点池中所有节点的参数和类型都彼此相同，您无法在节点池中配置单个节点，任何配置更改都会影响节点池中的所有节点。 通过节点池功能您还可以实现节点的动态扩缩容： 当集群中出现因资源不足而无法调度的实例（Pod）时，自动触发扩容，为您减少人力成本。 当满足节点空闲等缩容条件时，自动触发缩容，为您节约资源成本。 本章节介绍节点池在云容器引擎（CCE）中的工作原理，以及如何创建和管理节点池。

名词解释 使用云容器引擎服务，会涉及到以下基本概念： 集群：是指容器运行所需云资源的集合，包含了若干台云服务器、负载均衡器等云资源。 实例（Pod）：由相关的一个或多个容器构成一个实例，这些容器共享相同的存储和网络空间。 工作负载：Kubernetes资源对象，用于管理Pod副本的创建、调度以及整个生命周期的自动控制。 Service：由多个相同配置的实例（Pod）和访问这些实例（Pod）的规则组成的微服务。 Ingress：Ingress是用于将外部HTTP（S）流量路由到服务（Service）的规则集合。 Helm应用：Helm是管理Kubernetes应用程序的打包工具，提供了Helm Chart在指定集群内图形化的增删改查。 镜像仓库：用于存放Docker镜像，Docker镜像用于部署容器服务。 您在使用前可以了解更多Kubernetes相关知识，具体请参见https://kubernetes.io/docs/concepts/。

操作步骤 登录弹性云服务器控制台，找到CCE集群中的节点对应的弹性云服务器，单击云服务器名称，进入详情页面。 在“安全组”页签下，单击“更改安全组规则”。 图1 更改安全组规则 在打开的页面中单击“入方向规则”页签，单击“添加规则”，为云服务器添加入方向规则，详细配置请参见图2，单击“确定”。 您只需为工作负载所在集群下的任意一个节点更改安全组规则，请添加规则即可，不要修改原有的安全组规则。 安全组需放通网段100.125.0.0/16流量。 图2 添加安全组规则

主要功能 云容器引擎支持对容器应用的全生命周期管理，具有以下功能： 集群管理 通过控制台一键创建Kubernetes集群，支持跨可用区高可用。 一站式容器管理 容器应用全生命周期管理。 高性能容器隧道网络、VPC网络、云原生网络2.0等容器网络。 云硬盘EVS、弹性文件存储SFS、 对象存储OBS 等持久化存储支持。 资源、应用、容器多维度监控。 多样化的日志报表统计。 基于角色的权限管理和容器运行时安全。 应用市场内容 丰富的Helm chart组件。 对接开源镜像中心和华为云 容器镜像服务 ，支持 自定义镜像 和共享镜像。 开发者服务 提供OpenAPI和社区原生API。 提供Kubectl插件和社区原生Kubectl工具。

CCE发布Kubernetes版本说明 为了能够方便您使用稳定又可靠的Kubernetes版本，请您务必在维护周期结束之前升级您的Kubernetes集群。 CCE在发布Kubernetes最新版本后，会对该版本所做的变更进行说明。详情请参见表1。 表1 集群版本差异说明 升级前版本 目标版本 说明 v1.21 v1.23 社区v1.21与v1.23版本之间的CHANGE LOG v1.22到v1.23的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.23.md v1.21到v1.22的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.22.md v1.19 v1.21 社区v1.19与v1.21版本之间的CHANGELOG v1.20到v1.21的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.21.md v1.19到v1.20的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.20.md v1.17 v1.19 社区v1.17与v1.19版本之间的CHANGELOG v1.18到v1.19的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.19.md v1.17到v1.18的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md v1.15 v1.17 社区v1.15与v1.17版本之间的CHANGELOG v1.16到v1.17的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.17.md v1.15到v1.16的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.16.md v1.13 v1.15 社区v1.13与v1.15版本之间的CHANGELOG v1.14到v1.15的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.15.md v1.13到v1.14的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.14.md 集群版本由v1.13升级到v1.15后，v1.13版本集群中的Flexvolume容器存储插件（storage-driver）能力将由v1.15的CSI插件（Everest，插件版本v1.1.6及以上）接管，接管后原有功能保持不变，但请注意不要新建Flexvolume类型的存储，否则将导致部分存储功能异常。 父主题： 集群升级

约束与限制 集群版本由v1.13升级到v1.15后，v1.13版本集群中的Flexvolume容器存储插件（storage-driver）能力将由v1.15的CSI插件（Everest，插件版本v1.1.6及以上）接管，接管后原有功能保持不变。CSI和Flexvolume能力对比请参见CSI和Flexvolume存储插件的区别。 插件版本为1.2.0的Everest优化了使用OBS存储时的密钥认证功能，低于该版本的Everest插件在升级完成后，需要重启集群中使用OBS存储的全部工作负载，否则工作负载使用存储的能力将受影响！ v1.15及以上版本的集群默认安装本插件，v1.13及以下版本集群创建时默认安装storage-driver插件。