华为云用户手册

排查项七：检查everest插件是否工作正常。 0/1 nodes are available: 1 everest driver not found at node。集群everest插件的everest-csi-driver在节点上未正常启动。 检查kube-system命名空间下名为everest-csi-driver的守护进程，查看对应Pod是否正常启动，若未正常启动，删除该Pod，守护进程会重新拉起该Pod。

排查项五：检查Pod污点容忍情况 0/1 nodes are available: 1 node(s) had taints that the pod didn't tolerate. 是因为节点打上了污点，不允许Pod调度到节点上。 查看节点的上污点的情况。如下则说明节点上存在污点。 $ kubectl describe node 192.168.0.37Name: 192.168.0.37...Taints: key1=value1:NoSchedule... 在某些情况下，系统会自动给节点添加一个污点。当前内置的污点包括： node.kubernetes.io/not-ready：节点未准备好。 node.kubernetes.io/unreachable：节点控制器访问不到节点。 node.kubernetes.io/memory-pressure：节点存在内存压力。 node.kubernetes.io/disk-pressure：节点存在磁盘压力，此情况下您可通过节点磁盘空间不足的方案进行解决。 node.kubernetes.io/pid-pressure：节点的 PID 压力，此情况下您可通过修改节点进程 ID数量上限kernel.pid_max进行解决。 node.kubernetes.io/network-unavailable：节点网络不可用。 node.kubernetes.io/unschedulable：节点不可调度。 node.cloudprovider.kubernetes.io/uninitialized：如果kubelet启动时指定了一个“外部”云平台驱动， 它将给当前节点添加一个污点将其标志为不可用。在cloud-controller-manager初始化这个节点后，kubelet将删除这个污点。 解决方案： 要想把Pod调度到这个节点上，有两种方法： 若该污点为用户自行添加，可考虑删除节点上的污点。若该污点为系统自动添加，解决相应问题后污点会自动删除。 Pod的定义中容忍这个污点，如下所示。详细内容请参见污点和容忍。 apiVersion: v1kind: Podmetadata: name: nginxspec: containers: - name: nginx image: nginx:alpine tolerations: - key: "key1" operator: "Equal" value: "value1" effect: "NoSchedule"

排查项八：检查节点thinpool空间是否充足。 节点在创建时会绑定一个100G的docker专用数据盘，详情请参见数据盘空间分配说明。若数据盘空间不足，将导致实例无法正常创建。 方案一 您可以执行以下命令清理未使用的Docker镜像： docker system prune -a 该命令会把暂时没有用到的Docker镜像都删除，执行命令前请确认。 方案二 或者您也可以选择扩容磁盘，具体步骤如下： 在EVS界面扩容数据盘。 登录CCE控制台，进入集群，在左侧选择“节点管理”，单击节点后的“同步云服务器”。 登录目标节点。 使用lsblk命令查看节点块设备信息。 这里存在两种情况，根据容器存储Rootfs而不同。 Overlayfs，没有单独划分thinpool，在dockersys空间下统一存储镜像相关数据。 # lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 50G 0 disk └─sda1 8:1 0 50G 0 part /sdb 8:16 0 200G 0 disk ├─vgpaas-dockersys 253:0 0 90G 0 lvm /var/lib/docker # docker使用的空间└─vgpaas-kubernetes 253:1 0 10G 0 lvm /mnt/paas/kubernetes/kubelet # kubernetes使用的空间 在节点上执行如下命令， 将新增的磁盘容量加到dockersys盘上。 pvresize /dev/sdb lvextend -l+100%FREE -n vgpaas/dockersysresize2fs /dev/vgpaas/dockersys Devicemapper，单独划分了thinpool存储镜像相关数据。 # lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 50G 0 disk └─sda1 8:1 0 50G 0 part /sdb 8:16 0 200G 0 disk ├─vgpaas-dockersys 253:0 0 18G 0 lvm /var/lib/docker ├─vgpaas-thinpool_tmeta 253:1 0 3G 0 lvm │ └─vgpaas-thinpool 253:3 0 67G 0 lvm # thinpool空间│ ...├─vgpaas-thinpool_tdata 253:2 0 67G 0 lvm │ └─vgpaas-thinpool 253:3 0 67G 0 lvm │ ...└─vgpaas-kubernetes 253:4 0 10G 0 lvm /mnt/paas/kubernetes/kubelet 在节点上执行如下命令， 将新增的磁盘容量加到thinpool盘上。 pvresize /dev/sdb lvextend -l+100%FREE -n vgpaas/thinpool 在节点上执行如下命令， 将新增的磁盘容量加到dockersys盘上。 pvresize /dev/sdb lvextend -l+100%FREE -n vgpaas/dockersysresize2fs /dev/vgpaas/dockersys

排查项三：检查工作负载的亲和性配置 当亲和性配置出现如下互斥情况时，也会导致实例调度失败： 例如： workload1、workload2设置了工作负载间的反亲和，如workload1部署在Node1，workload2部署在Node2。 workload3部署上线时，既希望与workload2亲和，又希望可以部署在不同节点如Node1上，这就造成了工作负载亲和与节点亲和间的互斥，导致最终工作负载部署失败。 0/2 nodes are available: 1 node(s) didn't match node selector, 1 node(s) didn't match pod affinity rules, 1 node(s) didn't match pod affinity/anti-affinity. node selector 表示节点亲和不满足。 pod affinity rules 表示Pod亲和不满足。 pod affinity/anti-affinity 表示Pod亲和/反亲和不满足。 解决方案： 在设置“工作负载间的亲和性”和“工作负载和节点的亲和性”时，需确保不要出现互斥情况，否则工作负载会部署失败。 若工作负载配置了节点亲和性，需确保亲和的节点标签中supportContainer设置为true，否则会导致pod无法调动到节点上，查看事件提示如下错误信息： No nodes are available that match all of the following predicates: MatchNode Selector, NodeNotSupportsContainer 节点标签为false时将会调度失败。

排查项四：挂载的存储卷与节点是否处于同一可用区 0/2 nodes are available: 2 node(s) had volume node affinity conflict. 存储卷与节点之间存在亲和性冲突，导致无法调度。 这是因为云硬盘不能跨可用区挂载到节点。例如云硬盘存储卷在可用区1，节点在可用区2，则会导致无法调度。 CCE中创建云硬盘存储卷，默认带有亲和性设置，如下所示： kind: PersistentVolumeapiVersion: v1metadata: name: pvc-c29bfac7-efa3-40e6-b8d6-229d8a5372acspec: ... nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: failure-domain.beta.kubernetes.io/zone operator: In values: - cn-east-3a 解决方案： 重新创建存储卷，可用区选择与节点同一分区，或重新创建工作负载，存储卷选择自动分配。

排查项二：节点资源（CPU、内存等）是否充足 0/2 nodes are available: 2 Insufficient cpu. CPU不足。 0/2 nodes are available: 2 Insufficient memory. 内存不足。 当“实例资源的申请量”超过了“实例所在节点的可分配资源总量”时，节点无法满足实例所需资源要求导致调度失败。 如果节点可分配资源小于Pod的申请量，则节点无法满足实例所需资源要求导致调度失败。 解决方案： 资源不足的情况主要解决办法是扩容，建议在集群中增加节点数量。

排查思路 根据具体事件信息确定具体问题原因，如表1所示。 表1 实例调度失败 事件信息 问题原因与解决方案 no nodes available to schedule pods. 集群中没有可用的节点。 排查项一：集群内是否无可用节点 0/2 nodes are available: 2 Insufficient cpu. 0/2 nodes are available: 2 Insufficient memory. 节点资源（CPU、内存）不足。 排查项二：节点资源（CPU、内存等）是否充足 0/2 nodes are available: 1 node(s) didn't match node selector, 1 node(s) didn't match pod affinity rules, 1 node(s) didn't match pod affinity/anti-affinity. 节点与Pod亲和性配置互斥，没有满足Pod要求的节点。 排查项三：检查工作负载的亲和性配置 0/2 nodes are available: 2 node(s) had volume node affinity conflict. Pod挂载云硬盘存储卷与节点不在同一个可用区。 排查项四：挂载的存储卷与节点是否处于同一可用区 0/1 nodes are available: 1 node(s) had taints that the pod didn't tolerate. 节点存在污点Tanits，而Pod不能容忍这些污点，所以不可调度。 排查项五：检查Pod污点容忍情况 0/7 nodes are available: 7 Insufficient ephemeral-storage. 节点临时存储不足。 排查项六：检查临时卷使用量 0/1 nodes are available: 1 everest driver not found at node 节点上everest-csi-driver不在running状态。 排查项七：检查everest插件是否工作正常。 Failed to create pod sandbox: ... Create more free space in thin pool or use dm.min_free_space option to change behavior 节点thinpool空间不足。 排查项八：检查节点thinpool空间是否充足。

CCE启动实例失败时的重试机制是怎样的？ CCE是基于原生Kubernetes的云容器引擎服务，完全兼容Kubernetes社区原生版本，与社区最新版本保持紧密同步，完全兼容Kubernetes API和Kubectl。 在Kubernetes中，Pod的spec中包含一个restartPolicy字段，其取值包括：Always、OnFailure和Never，默认值为：Always。 Always：当容器失效时，由kubelet自动重启该容器。 OnFailure：当容器终止运行且退出不为0时（正常退出），由kubelet自动重启该容器。 Never：不论容器运行状态如何，kubelet都不会重启该容器。 restartPolicy适用于Pod中的所有容器。 restartPolicy仅针对同一节点上kubelet的容器重启动作。当Pod中的容器退出时，kubelet 会按指数回退方式计算重启的延迟（10s、20s、40s...），其最长延迟为5分钟。 一旦某容器执行了10分钟并且没有出现问题，kubelet对该容器的重启回退计时器执行重置操作。 每种控制器对Pod的重启策略要求如下： Replication Controller（RC）和DaemonSet：必须设置为Always，需要保证该容器的持续运行。 Job：OnFailure或Never，确保容器执行完成后不再重启。 父主题： 容器设置

Pod事件 Pod所在的节点文件系统损坏，新建的Pod无法成功在/var/lib/kubelet/device-plugins/.xxxxx写入数据，Pod通常会出现以下类似事件： Message： Pod Update Plugin resources failed due to failed to write checkpoint file "kubelet_internal_checkpoint": open /var/lib/kubelet/device-plugins/.xxxxxx: read-only file system, which is unexpected. 此类异常Pod仅为异常记录，并不实际占用系统资源。

CCE存储类型选择 创建工作负载时，可以使用以下类型的存储。建议将工作负载pod数据存储在 云存储 上。若存储在本地磁盘上，节点异常无法恢复时，本地磁盘中的数据也将无法恢复。 本地硬盘：将容器所在宿主机的文件目录挂载到容器的指定路径中（对应Kubernetes的HostPath），也可以不填写源路径（对应Kubernetes的EmptyDir），不填写时将分配主机的临时目录挂载到容器的挂载点，指定源路径的本地硬盘数据卷适用于将数据持久化存储到容器所在宿主机，EmptyDir（不填写源路径）适用于容器的临时存储。配置项（ConfigMap）是一种用于存储工作负载所需配置信息的资源类型，内容由用户决定。密钥（Secret）是一种用于存储工作负载所需要认证信息、密钥的敏感信息等的资源类型，内容由用户决定。 云硬盘存储卷：CCE支持将EVS创建的云硬盘挂载到容器的某一路径下。当容器迁移时，挂载的云硬盘将一同迁移。这种存储方式适用于需要永久化保存的数据。 文件存储卷： CCE支持创建SFS存储卷并挂载到容器的某一路径下，也可以使用底层SFS服务创建的文件存储卷，SFS存储卷适用于多读多写的持久化存储，适用于多种工作负载场景，包括 媒体处理 、内容管理、大数据分析和分析工作负载程序等场景。 对象存储卷：CCE支持创建OBS对象存储卷并挂载到容器的某一路径下，对象存储适用于云工作负载、数据分析、内容分析和热点对象等场景。 极速文件存储卷：CCE支持创建SFS Turbo极速文件存储卷并挂载到容器的某一路径下，极速文件存储具有按需申请，快速供给，弹性扩展，方便灵活等特点，适用于DevOps、容器微服务、企业办公等应用场景。

TCP健康检查的机制 ELB节点根据健康检查配置，向后端服务器（IP+健康检查端口）发送TCP SYN报文。 后端服务器收到请求报文后，如果相应的端口已经被正常监听，则会返回SYN+ACK报文。 如果在超时时间内没有收到后端服务器的SYN+ACK报文，则判定健康检查失败，然后发送RST报文给后端服务器中断TCP连接。 如果在超时时间内收到了SYN+ACK报文，则发送ACK给后端服务器，判定健康检查成功，并发送RST报文给后端服务器中断TCP连接。

完整错误信息 java.io.IOException: Connection reset by peerat sun.nio.ch.FileDispatcherImpl.read0(Native Method)at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)at sun.nio.ch.IOUtil.read(IOUtil.java:197)at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)at com.wanyu.smarthome.gateway.EquipmentSocketServer.handleReadEx(EquipmentSocketServer.java:245)at com.wanyu.smarthome.gateway.EquipmentSocketServer.run(EquipmentSocketServer.java:115)

变更配置 按需计费：您可以将集群的“按需计费”方式变更为包周期（包年/包月）计费。按需计费变更为包周期后，控制节点、工作节点及附属资源（云硬盘，弹性公网IP）将转为包周期资源，并会生成新的订单，用户支付订单后，包周期资源立即生效。 包年/包月：包年/包月计费方式的集群在计费周期内不支持变更配置。创建后不能删除，如需停止使用，请到费用中心执行退订操作。 变更须知： 集群中使用代金券购买的云服务器降低规格时，系统不会退还代金券。 升级规格配置后需按照与原规格的价差，结合已使用的时间周期，补上差价。 集群中的云服务器规格（CPU或内存）变小，会影响云服务器的性能。 降低规格配置后，如需重新升级至原规格，可能需要补交费用。

问题描述 在CCE的控制台界面中为已经创建的工作负载更换镜像，选择我上传的镜像，容器在拉取镜像时报错“Auth is empty, only accept X-Auth-Token or Authorization”。 Failed to pull image "IP地址:端口号/magicdoom/tidb-operator:latest": rpc error: code = Unknown desc = Error response from daemon: Get https://IP地址:端口号/v2/magicdoom/tidb-operator/manifests/latest: error parsing HTTP 400 response body: json: cannot unmarshal number into Go struct field Error.code of type errcode.ErrorCode: "{\"errors\":[{\"code\":400,\"message\":\"Auth is empty, only accept X-Auth-Token or Authorization.\"}]}"

计费模式 CCE支持按需计费、包年/包月两种计费模式，供您灵活选择。 按需计费：一种先使用后付费的方式，从“开通”开启计费到“删除”结束计费，按实际购买时长计费。这种购买方式比较灵活，您可以按需取用资源，随时开启和释放，无需提前购买大量资源。 关于CCE集群休眠或节点关机后的收费说明： 集群休眠：集群休眠后，控制节点资源费用将停止收费，集群所属的云硬盘、绑定的弹性IP、带宽等资源按各自的计费方式（“包年/包月”或“按需付费”）进行收费。 节点关机：集群休眠后，集群中的工作节点（即E CS ）并不会自动关机，如需关机可勾选“关机集群下所有节点”选项。您也可以在集群休眠后自行登录ECS控制台将节点关机，具体请参见节点关机。 大部分节点关机后不再收费，特殊ECS实例（包含本地硬盘，如磁盘增强型，超高I/O型等）关机后仍然正常收费，具体请参见ECS计费模式。 包年/包月：先购买再使用的方式。这种购买方式相对于按需计费能够提供更大的折扣，对于长期使用者，推荐该方式。用户在购买时，系统会根据用户所选的机型对用户云帐号中的金额进行扣除。 计费模式更改：计费周期内暂不支持计费模式更改。 以集群作为计费量纲，根据集群类型和规模大小，按阶梯计费。 华为云提供给客户进行续费与充值的时间，当您的包周期资源到期未续订或按需资源欠费时提供宽限期和保留期，详情请参见宽限期保留期。

建议方案 节点安装了gpu-device-plugin插件后，nvidia-smi命令行工具在/opt/cloud/cce/nvidia/bin目录下。如果插件安装后，依然没有这个命令行工具，通常是由于nvidia驱动安装失败。请排查nvidia驱动是否下载成功。（在/opt/cloud/cce/nvidia目录下可以看到驱动文件） 如果驱动地址填写错误，需要将插件卸载后重新安装，并配置正确的地址。 nvidia驱动建议放在OBS桶里，并设置为公共读。

解决方案 由于本案例涉及的是内网域名解析，按照内网域名解析的规则，需要确保VPC内的子网DNS设置成的云上DNS，具体以内网DNS服务的控制台界面提示为准。 本案例的子网中已经完成该设置，其中用户可以在该VPC子网内的节点（ECS）进行域名解析，也说明已完成该设置，如下图： 但是在容器内进行解析却提示bad address无法解析域名返回地址，如下图： 登录CCE控制台查看该集群的插件安装情况。 如果已安装插件列表中没有coredns插件，可能是用户卸载了该插件等原因导致。 安装coredns插件，并添加相应的域名及对应的DNS服务地址，即可进行域名解析。

操作步骤 如果您在购买按需计费节点后，想更换为包周期计费，可按如下步骤进行操作： 登录CCE控制台，在左侧导航栏中选择“集群管理”。 单击需要转包周期集群后的。 图1 转包周期 在转包周期页面中，选择需要转包周期的集群节点。 “集群转包周期”默认为勾选，如果您仅对集群下的节点进行转包周期，请取消“集群转包周期”前的勾选。 图2 节点转包周期 如果集群也需要转包周期，请保持“集群转包周期”前的勾选，并选择集群下需要转包周期的节点。 图3 集群及集群下的节点转包周期 单击“确定”，等待生成订单并完成支付即可。

监控安全风险 CCE提供基于 应用运维管理 AOM的资源和操作监控能力，对集群进行全方位的监控。CCE默认采集集群底层资源以及运行在集群上负载的监控数据，您也可以采集负载的自定义指标监控数据。 资源监控指标 资源基础监控包含CPU/内存/磁盘等，具体请参见监控。您可以在CCE控制台从集群、节点、工作负载等维度查看这些监控指标数据，也可以在 AOM 中查看。 自定义指标 CCE支持采集应用程序中的自定义指标并上传到AOM，具体使用方法请参见自定义监控。 父主题： 安全

亲和性与反亲和性 在应用没有容器化之前，原先一个虚机上会装多个组件，进程间会有通信。但在做容器化拆分的时候，往往直接按进程拆分容器，比如业务进程一个容器，监控日志处理或者本地数据放在另一个容器，并且有独立的生命周期。这时如果分布在网络中两个较远的点，请求经过多次转发，性能会很差。 亲和性：可以实现就近部署，增强网络能力实现通信上的就近路由，减少网络的损耗。如：应用A与应用B两个应用频繁交互，所以有必要利用亲和性让两个应用的尽可能的靠近，甚至在一个节点上，以减少因网络通信而带来的性能损耗。 反亲和性：主要是出于高可靠性考虑，尽量分散实例，某个节点故障的时候，对应用的影响只是 N 分之一或者只是一个实例。如：当应用采用多副本部署时，有必要采用反亲和性让各个应用实例打散分布在各个节点上，以提高HA。

工作负载 工作负载是在Kubernetes上运行的应用程序。无论您的工作负载是单个组件还是协同工作的多个组件，您都可以在Kubernetes上的一组Pod中运行它。在Kubernetes中，工作负载是对一组Pod的抽象模型，用于描述业务的运行载体，包括Deployment、Statefulset、Daemonset、Job、CronJob等多种类型。 无状态工作负载：即kubernetes中的“Deployment”，无状态工作负载支持弹性伸缩与滚动升级，适用于实例完全独立、功能相同的场景，如：nginx、wordpress等。 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysql-HA等。 创建守护进程集：即kubernetes中的“DaemonSet”，守护进程集确保全部（或者某些）节点都运行一个Pod实例，支持实例动态添加到新节点，适用于实例在每个节点上都需要运行的场景，如ceph、fluentd、Prometheus Node Exporter等。 普通任务：即kubernetes中的“Job”，普通任务是一次性运行的短任务，部署完成后即可执行。使用场景为在创建工作负载前，执行普通任务，将镜像上传至镜像仓库。 定时任务：即kubernetes中的“CronJob”，定时任务是按照指定时间周期运行的短任务。使用场景为在某个固定时间点，为所有运行中的节点做时间同步。 图4 工作负载与Pod的关系

命名空间（Namespace） 命名空间是对一组资源和对象的抽象整合。在同一个集群内可创建不同的命名空间，不同命名空间中的数据彼此隔离。使得它们既可以共享同一个集群的服务，也能够互不干扰。例如： 可以将开发环境、测试环境的业务分别放在不同的命名空间。 常见的pods，services，replication controllers和deployments等都是属于某一个namespace的（默认是default），而node，persistentVolumes等则不属于任何namespace。

模板（Chart） Kubernetes集群可以通过Helm实现软件包管理，这里的Kubernetes软件包被称为模板（Chart）。Helm对于Kubernetes的关系类似于在Ubuntu系统中使用的apt命令，或是在CentOS系统中使用的yum命令，它能够快速查找、下载和安装模板（Chart）。 模板（Chart）是一种Helm的打包格式，它只是描述了一组相关的集群资源定义，而不是真正的容器镜像包。模板中仅仅包含了用于部署Kubernetes应用的一系列YAML文件，您可以在Helm模板中自定义应用程序的一些参数设置。在模板的实际安装过程中，Helm会根据模板中的YAML文件定义在集群中部署资源，相关的容器镜像并不会包含在模板包中，而是依旧从YAML中定义好的镜像仓库中进行拉取。 对于应用开发者而言，需要将容器镜像包发布到镜像仓库，并通过Helm的模板将安装应用时的依赖关系统一打包，预置一些关键参数，来降低应用的部署难度。 对于应用使用者而言，可以使用Helm查找模板（Chart）包并支持调整自定义参数。Helm会根据模板包中的YAML文件直接在集群中安装应用程序及其依赖，应用使用者不用编写复杂的应用部署文件，即可以实现简单的应用查找、安装、升级、回滚、卸载。

镜像（Image） Docker镜像是一个模板，是容器应用打包的标准格式，用于创建Docker容器。或者说，Docker镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的配置参数（如匿名卷、环境变量、用户等）。镜像不包含任何动态数据，其内容在构建之后也不会被改变。在部署容器化应用时可以指定镜像，镜像可以来自于 Docker Hub、 容器镜像服务 或者用户的私有 Registry。例如一个Docker镜像可以包含一个完整的Ubuntu操作系统环境，里面仅安装了用户需要的应用程序及其依赖文件。 镜像（Image）和容器（Container）的关系，就像是面向对象程序设计中的类和实例一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。 图5 镜像、容器、工作负载的关系

变更配置 按需计费：您可以将集群的“按需计费”方式变更为包周期（包年/包月）计费。按需计费变更为包周期后，控制节点、工作节点及附属资源（云硬盘，弹性公网IP）将转为包周期资源，并会生成新的订单，用户支付订单后，包周期资源立即生效。 包年/包月：包年/包月计费方式的集群在计费周期内不支持变更配置。创建后不能删除，如需停止使用，请到费用中心执行退订操作。 变更须知： 集群中使用代金券购买的云服务器降低规格时，系统不会退还代金券。 升级规格配置后需按照与原规格的价差，结合已使用的时间周期，补上差价。 集群中的云服务器规格（CPU或内存）变小，会影响云服务器的性能。 降低规格配置后，如需重新升级至原规格，可能需要补交费用。

计费模式 CCE支持按需计费、包年/包月两种计费模式，供您灵活选择。 按需计费：一种先使用后付费的方式，从“开通”开启计费到“删除”结束计费，按实际购买时长计费。这种购买方式比较灵活，您可以按需取用资源，随时开启和释放，无需提前购买大量资源。 关于CCE集群休眠或节点关机后的收费说明： 集群休眠：集群休眠后，控制节点资源费用将停止收费，集群所属的云硬盘、绑定的弹性IP、带宽等资源按各自的计费方式（“包年/包月”或“按需付费”）进行收费。 节点关机：集群休眠后，集群中的工作节点（即ECS）并不会自动关机，如需关机可勾选“关机集群下所有节点”选项。您也可以在集群休眠后自行登录ECS控制台将节点关机，具体请参见节点关机。 大部分节点关机后不再收费，特殊ECS实例（包含本地硬盘，如磁盘增强型，超高I/O型等）关机后仍然正常收费，具体请参见ECS计费模式。 包年/包月：先购买再使用的方式。这种购买方式相对于按需计费能够提供更大的折扣，对于长期使用者，推荐该方式。用户在购买时，系统会根据用户所选的机型对用户云帐号中的金额进行扣除。 计费模式更改：计费周期内暂不支持计费模式更改。 以集群作为计费量纲，根据集群类型和规模大小，按阶梯计费。 华为云提供给客户进行续费与充值的时间，当您的包周期资源到期未续订或按需资源欠费时提供宽限期和保留期，详情请参见宽限期保留期。

应用场景 CCE集群支持管理X86资源池和ARM资源池，能方便的创建Kubernetes集群、部署您的容器化应用，以及方便的管理和维护。 容器化Web应用：使用CCE集群，能帮助用户快速部署Web业务应用，对接华为云中间件（如 GaussDB 、Redis），并支持配置高可用容灾、自动弹性伸缩、发布公网、灰度升级等。 中间件部署平台：CCE集群可以作为中间件的部署平台，使用StatefulSet、PVC等资源配置，能够实现应用的有状态化，同时配套弹性负载均衡实例，可实现中间件服务的对外发布。 执行普通任务、定时任务：使用容器化方式运行Job、CronJob类型应用，帮助业务降低对主机系统配置的依赖，全局的资源调度既保证任务运行时资源量，也提高集群下整体资源利用率。 图1 CCE集群

CCE Turbo 集群与CCE集群对比 CCE支持多种类型的集群创建，以满足您各种业务需求，如下为CCE Turbo集群与CCE集群区别： 表1 集群类型对比 维度 子维度 CCE Turbo集群 CCE集群 集群 定位 面向云原生2.0的新一代容器集群产品，计算、网络、调度全面加速 标准版本集群，提供商用级的容器集群服务 节点形态 支持虚拟机和裸金属服务器混合 支持虚拟机和裸金属服务器混合 网络 网络模型 云原生网络2.0：面向大规模和高性能的场景。 组网规模最大支持2000节点 云原生网络1.0：面向性能和规模要求不高的场景。 容器隧道网络模式 VPC网络模式 网络性能 VPC网络和容器网络融合，性能无损耗 VPC网络叠加容器网络，性能有一定损耗 容器网络隔离 Pod可直接关联安全组，基于安全组的隔离策略，支持集群内外部统一的安全隔离。 隧道网络模式：集群内部网络隔离策略，支持Networkpolicy。 VPC网络模式：不支持 安全 隔离性 物理机：安全容器，支持虚机级别的隔离 虚拟机：普通容器，Cgroups隔离 普通容器，Cgroups隔离

审计 云审计 服务（Cloud Trace Service， CTS ），是华为 云安全 解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务后，系统将开始记录CCE资源的操作，并为您保存最近7天的操作记录。CTS支持记录的CCE操作请参见云审计服务支持CCE操作列表。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 CCE用户查看云审计日志方法，请参见云审计日志。 图1 云审计服务

优势 云上容灾 通过云容器引擎，可以将业务系统同时部署在多个云的容器服务上，统一流量分发，单云故障后能够自动将业务流量切换到其他云上，并能快速自动解决现网事故。 统一架构，高弹性 云上云下同架构平台，可灵活根据流量峰值实现资源在云上云下的弹性伸缩、平滑迁移和扩容。 计算与数据分离，能力共享 通过云容器引擎，用户可以实现敏感业务数据与一般业务数据的分离，可以实现开发环境和生产环境分离，可以实现特殊计算能力与一般业务的分离，并能够实现弹性扩展和集群的统一管理，达到云上云下资源和能力的共享。 降低成本 业务高峰时，利用公有云资源池快速扩容，用户不再需要根据流量峰值始终保持和维护大量资源，节约成本。