华为云用户手册

创建权限 登录U CS 控制台，在左侧导航栏中选择“权限管理”。 单击右上角的“创建权限”按钮。 在弹出页面中填写权限参数。 图2 创建权限 权限名称：自定义权限的名称，需以小写字母开头，由小写字母、数字、中划线（-）组成，且不能以中划线（-）结尾。 用户：在下拉列表中勾选新创建的用户名。支持选择多个用户，假设一个企业中的开发团队有多名员工，他们对资源的操作权限一样，就可以在创建权限时选择多个用户以达到批量授权的目的。 本文以添加一个“readonly_user”用户为例。 权限类型：支持管理员权限、只读权限、开发权限和自定义权限。 表1 权限类型说明 权限类型 说明 管理员权限 对所有集群资源对象的读写权限 只读权限 对所有集群资源对象的只读权限 开发权限 对大多数集群资源对象的读写权限，对命名空间、资源配额等集群资源对象的只读权限 自定义权限 权限由您选择的操作类型和资源对象决定 权限内容：表示对哪些资源可以执行哪些操作。管理员权限、只读权限、开发权限的权限内容已经模板化，您可以单击按钮查看权限的详细内容。当权限类型选择“自定义权限”时，需要设置操作类型和资源对象。 操作类型：包含如下类型，也支持新增操作类型（如deletecollection，表示删除多个资源）。 get：按名称检索特定的资源对象。 list：检索命名空间中特定类型的所有资源对象。 watch：响应资源变化。 create：创建资源。 update：更新资源。 patch：局部更新资源。 delete：删除资源。 对于全部操作推荐选择：全部。 对于只读操作推荐选择：get + list + watch。 对于读写操作推荐选择：get + list + watch + create + update + patch + delete。 资源对象：您可以选择“全部资源”或“指定资源”。全部资源对象包括当前已有的资源对象和后续新增的自定义资源对象；“指定资源”即表示您自己选择资源对象的范围，为了便于查找，UCS服务将资源对象按照工作负载、服务、配置和存储、身份验证、授权、权限、扩展、集群维度划分。 若系统资源中没有您需要的资源对象，也可以新增自定义资源对象。 如果针对不同资源对象，操作类型不同（例如：对deployments具有create、delete操作权限，对secrets具有get、list、watch操作权限），可以单击按钮添加多组内容。 若您想了解更多资源对象和操作类型的知识，请参阅Kubernetes API。 描述：添加权限的描述信息。 单击“确定”。权限创建完成后，需要继续关联舰队或未加入舰队的集群，才可正常操作Kubernetes资源。

关联权限至舰队或未加入舰队的集群 舰队是多个集群的集合，舰队可以实现多集群的权限统一管理。因此建议您将集群加入舰队后，为舰队关联权限，这样舰队中的集群将具有相同的权限。 登录UCS控制台，在左侧导航栏中选择“容器舰队”。 在目标舰队栏中，单击右上角的按钮。 图3 为舰队关联权限 在弹出的页面单击“关联权限”，打开“修改权限”页面，将已创建好的权限和舰队的命名空间关联起来。 图4 修改权限 命名空间：支持“全部命名空间”和“指定命名空间”。全部命名空间包括当前舰队已有的命名空间和舰队后续新增的命名空间；“指定命名空间”即表示您自己选择命名空间的范围，UCS服务提供了几个常见的命名空间供您选择（如default、kube-system、kube-public），您也可以新增命名空间，但要自行确保新增的命名空间在集群中存在。 请注意，选择的命名空间仅对权限中命名空间级资源生效，不影响权限中的集群资源。关于命名空间级和集群级资源的介绍，请参见Kubernetes资源对象章节。 关联权限：从下拉列表中选择权限，支持一次性选择多个权限，以达到批量授权的目的。 本示例中，选择“default”命名空间，选择“readonly”权限。 如果针对不同命名空间，关联的权限不同（例如：为default命名空间关联readonly权限，为development命名空间关联develop权限），可以单击按钮添加多组授权关系。 单击“确定”，完成权限的关联。 如果后续需要修改舰队的权限，采用同样的方法，重新选择命名空间和权限即可。

授权流程 图1 给用户授予Kubernetes资源权限流程 创建用户。 管理员账号在 IAM 控制台创建一个用户。 为用户授予UCS系统策略。 授予Kubernetes资源权限之前，必须先为用户授予UCS系统策略的权限，本例中应该授予UCS ReadOnlyAccess策略（UCS服务只读权限）。 创建权限。 管理员账号在UCS控制台创建权限，选择“只读权限”的权限类型，表示对所有Kubernetes资源对象的只读权限。 关联权限至舰队或未加入舰队的集群。 将权限关联至舰队，关联时需要选择权限作用的命名空间。也可以关联权限至未加入舰队的集群。 验证权限是否生效。 新创建的用户登录控制台，验证只读权限是否生效。

升级参数说明 最大浪涌（maxSurge） 与spec.replicas相比，可以有多少个Pod存在，默认值是25%，比如spec.replicas为 4，那升级过程中就不能超过5个Pod存在，即按1个的步伐升级，实际升级过程中会换算成数字，且换算会向上取整。这个值也可以直接设置成数字。 仅Deployment在“滚动升级”方式下支持配置。 最大无效实例数（maxUnavailable） 与spec.replicas相比，可以有多少个Pod失效，也就是删除的比例，默认值是25%，比如spec.replicas为4，那升级过程中就至少有3个Pod存在，即删除Pod的步伐是1。同样这个值也可以设置成数字。 仅Deployment、DaemonSet在“滚动升级”方式下支持配置。 实例可用最短时间（minReadySeconds） 指定新创建的 Pod 在没有任意容器崩溃情况下的最小就绪时间， 只有超出这个时间 Pod 才被视为可用。默认值为 0（Pod 在准备就绪后立即将被视为可用）。 仅Deployment、DaemonSet支持配置。 最大保留版本数（revisionHistoryLimit） 用来设定出于回滚目的所要保留的旧 ReplicaSet 数量。 这些旧 ReplicaSet 会消耗 etcd 中的资源，并占用 kubectl get rs 的输出。 每个工作负载修订版本的配置都存储在其 ReplicaSets 中；因此，一旦删除了旧的 ReplicaSet， 将失去回滚到工作负载的对应修订版本的能力。 默认情况下，系统保留 10 个旧 ReplicaSet，但其理想值取决于新工作负载的频率和稳定性。 升级最大时长（progressDeadlineSeconds） 指定系统在报告 Deployment 进展失败 之前等待 Deployment 取得进展的秒数。 这类报告会在资源状态中体现为 Type=Progressing、Status=False、 Reason=ProgressDeadlineExceeded。Deployment 控制器将持续重试 Deployment。 将来，一旦实现了自动回滚，Deployment 控制器将在探测到这样的条件时立即回滚 Deployment。 如果指定，则此字段值需要大于 .spec.minReadySeconds 取值。 仅Deployment支持配置。 缩容时间窗（terminationGracePeriodSeconds）： 优雅删除时间，默认为30秒，删除Pod时发送SIGTERM终止信号，然后等待容器中的应用程序终止执行，如果在terminationGracePeriodSeconds时间内未能终止，则发送SIGKILL的系统信号强行终止。

升级示例 Deployment的升级可以是声明式的，也就是说只需要修改Deployment的YAML定义即可，比如使用kubectl edit命令将上面Deployment中的镜像修改为nginx:alpine。修改完成后再查询ReplicaSet和Pod，发现创建了一个新的ReplicaSet，Pod也重新创建了。 $ kubectl edit deploy nginx $ kubectl get rs NAME DESIRED CURRENT READY AGE nginx-6f9f58dffd 2 2 2 1m nginx-7f98958cdf 0 0 0 48m $ kubectl get pods NAME READY STATUS RESTARTS AGE nginx-6f9f58dffd-tdmqk 1/1 Running 0 1m nginx-6f9f58dffd-tesqr 1/1 Running 0 1m Deployment可以通过maxSurge和maxUnavailable两个参数控制升级过程中同时重新创建Pod的比例，这在很多时候是非常有用，配置如下所示。 spec: strategy: rollingUpdate: maxSurge: 1 maxUnavailable: 0 type: RollingUpdate 在前面的例子中，由于spec.replicas是2，如果maxSurge和maxUnavailable都为默认值25%，那实际升级过程中，maxSurge允许最多3个Pod存在（向上取整，2*1.25=2.5，取整为3），而maxUnavailable则不允许有Pod Unavailable（向上取整，2*0.75=1.5，取整为2），也就是说在升级过程中，一直会有2个Pod处于运行状态，每次新建一个Pod，等这个Pod创建成功后再删掉一个旧Pod，直至Pod全部为新Pod。

回滚 回滚也称为回退，即当发现升级出现问题时，让应用回到原版本。Deployment可以非常方便的回滚到原版本。 例如上面升级的新版镜像有问题，可以执行kubectl rollout undo命令进行回滚。 $ kubectl rollout undo deployment nginx deployment.apps/nginx rolled back Deployment之所以能如此容易的做到回滚，是因为Deployment是通过ReplicaSet控制Pod的，升级后之前ReplicaSet都一直存在，Deployment回滚做的就是使用之前的ReplicaSet再次把Pod创建出来。Deployment中保存ReplicaSet的数量可以使用revisionHistoryLimit参数限制，默认值为10。

创建命名空间 通过控制台创建命名空间 登录UCS控制台，在左侧导航栏中单击“服务网格”。 单击服务网格名称，进入详情页。 在左侧导航栏，单击“服务中心”下的“命名空间”，进入命名空间列表页。 单击右上角“创建命名空间”。 图1 创建命名空间 参照下表信息设置命名空间参数。 参数 参数说明 名称 新建命名空间的名称，命名必须唯一。 描述 输入对命名空间的描述信息。 标签 为命名空间添加标签键值对 建议根据需要在命名空间中设置资源配额，避免因资源过载导致集群或节点异常。 例如：在集群中每个节点可以创建的实例（Pod）数默认为110个，如果您创建的是50节点规格的集群，则最多可以创建5500个实例。因此，您可以在命名空间中自行设置资源配额以确保所有命名空间内的实例总数不超过5500个，以避免资源过载。 设置完成后，单击“确定”。 通过YAML创建命名空间 apiVersion: v1 kind: Namespace # 创建服务类别为命名空间 metadata: name: weather # 命名空间名 annotations: namespaceDesc: description labels: app: forecast # 标签键值对 restartNamespacePod: false # 重启服务关闭 istio-injection: disabled # 注入数据面代理关闭

更新命名空间 控制台更新命名空间，操作步骤如下： 登录UCS控制台，在左侧导航栏中单击“服务网格”。 单击服务网格名称，进入详情页。 在左侧导航栏，单击“服务中心”下的“命名空间”，进入命名空间列表页。 单击命名空间列表右侧操作列下的“更新”，弹出“更新命名空间”对话框。 更新命名空间参数。 表1 命名空间参数 参数 参数说明 描述 添加或修改描述。 标签 添加或删除标签键值对。 注入数据面代理 开启后，新创建的Pod会自动注入 istio-proxy sidecar，已存在的Pod需要配合重启服务才能生效注入istio-proxy sidecar。 重启服务 Sidecar自动注入开启时，将立即重启未注入sidecar的服务负载以注入sidecar；Sidecar自动注入关闭时，将立即重启已注入sidecar的服务负载以取消sidecar注入。 设置完成后，单击右下角“确定”。更新命名空间完成。 YAML编辑更新命名空间，操作步骤如下： 登录UCS控制台，在左侧导航栏中单击“服务网格”。 单击服务网格名称，进入详情页。 在左侧导航栏，单击“服务中心”下的“命名空间”，进入命名空间列表页。 单击命名空间列表右侧操作列下的“YAML编辑”，弹出YAML编辑界面。 更新标签、描述和是否注入数据面代理设置。 设置完成后，单击右下角“确定”。更新命名空间完成。

UCS功能所需的最小权限 华为云各服务之间存在业务交互关系，UCS也依赖其他云服务实现一些功能（如镜像仓库、域名解析），因此，上述四种系统策略经常和其他云服务的角色或策略结合使用，以达到精细化授权的目的。管理员在为IAM用户授权时，应该遵循权限最小化的安全实践原则，表1列举了UCS各功能管理员、操作、只读权限所需要的最小权限。 如您的华为云账号为首次登录UCS控制台，需要为其授权，同意授权后，UCS将在 统一身份认证 服务为您创建名为ucs_admin_trust的委托，为保证UCS服务正常使用，请不要删除或者修改该委托。 IAM用户所在用户组未授予任何权限的情况下，您将无法访问UCS控制台，请参考表1授予相关权限。 表1 UCS功能所需的最小权限 功能 权限类型 权限范围 最小权限 容器舰队 管理员权限 创建、删除舰队 注册华为云集群（CCE集群、 CCE Turbo 集群）、本地集群或附着集群 注销集群 将集群加入、移出舰队 为集群或舰队关联权限 开通集群联邦、联邦管理相关操作（如创建联邦工作负载、创建域名访问等） UCS FullAccess 只读权限 查询集群、舰队的列表或详情 UCS ReadOnlyAccess 华为云集群 管理员权限 对华为云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的读写权限。 UCS FullAccess + CCE Administrator 操作权限 对华为云集群及集群下大多数Kubernetes资源对象的读写权限，对命名空间、资源配额等Kubernetes资源对象的只读权限。 UCS CommonOperations + CCE Administrator 只读权限 对华为云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的只读权限。 UCS ReadOnlyAccess + CCE Administrator 本地/附着/多云/伙伴云集群 管理员权限 本地/附着/多云/伙伴云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的读写权限。 UCS FullAccess 操作权限 本地/附着/多云/伙伴云集群及集群下大多数Kubernetes资源对象的读写权限，对命名空间、资源配额等Kubernetes资源对象的只读权限。 UCS CommonOperations + UCS RBAC权限（需要包含namespaces资源对象的list权限） 只读权限 本地/附着/多云/伙伴云集群及集群下所有Kubernetes资源对象（包含节点、工作负载、任务、服务等）的只读权限。 UCS ReadOnlyAccess + UCS RBAC权限（需要包含namespaces资源对象的list权限） 镜像仓库 管理员权限 容器镜像服务 的所有权限，包括创建组织、上传镜像、查看镜像列表或详情、下载镜像等操作。 SWR Administrator 权限管理 管理员权限 创建、删除权限 查看权限列表或详情 说明： 创建权限需要同时授予子用户IAM ReadOnlyAccess权限（IAM服务的只读权限），用于获取IAM用户列表。 UCS FullAccess + IAM ReadOnlyAccess 只读权限 查看权限列表或详情 UCS ReadOnlyAccess + IAM ReadOnlyAccess 策略中心 管理员权限 启用策略中心 创建、停用策略实例 查看策略列表 查看策略实施详情 UCS FullAccess 只读权限 对于已启用策略中心的舰队和集群，拥有该权限的用户可以查看策略列表和查看策略实施详情。 UCS CommonOperations 或 UCS ReadOnlyAccess 服务网格 管理员权限 应用服务网格的所有权限，包括创建网格、添加集群、sidecar注入、查看网格列表或详情、卸载网格等。 CCE Administrator 流量分发 管理员权限 创建流量策略、暂停调度策略、删除调度策略等操作。 （推荐）UCS CommonOperations + DNS Administrator 或 UCS FullAccess + DNS Administrator 只读权限 查看流量策略列表或详情 UCS ReadOnlyAccess + DNS Administrator 容器智能分析 管理员权限 接入、取消接入集群 查看基础设施、应用负载等多维度监控数据 UCS CIAOperations 云原生服务中心 管理员权限 云原生服务中心的所有权限，包括订阅服务、查看服务列表或详情、创建服务实例、查看实例列表或详情、删除服务实例、退订服务等操作。 UCS FullAccess 只读权限 云原生服务中心的只读权限，包括查看服务列表或详情、查看实例列表或详情等操作。 UCS ReadOnlyAccess

系统策略 IAM中预置的UCS系统策略包含UCS FullAccess、UCS CommonOperations、UCS CIAOperations和UCS ReadOnlyAccess几种类型。 UCS FullAccess：UCS服务管理员权限，拥有该权限的用户拥有服务的所有权限（包含制定权限策略、安全策略等）。 UCS CommonOperations：UCS服务基本操作权限，拥有该权限的用户可以执行创建工作负载、流量分发等操作。 UCS CIAOperations：UCS服务容器智能分析管理员权限。 UCS ReadOnlyAccess：UCS服务只读权限（除容器智能分析只读权限）。 您可以通过查看策略内容来了解系统策略所支持的授权项，授权项的格式为“服务名:资源类型:操作”，支持通配符号*，通配符号*表示所有。 例如，UCS FullAccess的策略内容如下所示。可以看出，该策略包含了UCS、CCE（云容器引擎）、SWR（容器 镜像服务 ）的所有权限， AOM （ 应用运维管理 ）、 SMN （应用运维管理）、DNS（云解析服务）等服务的部分资源的操作权限。 { "Version": "1.1", "Statement": [ { "Action": [ "ucs:*:*", "cce:*:*", "swr:*:*", "aom:*:get", "aom:*:list", "smn:*:list", "dns:*:get*", "dns:*:list*", "dns:*:get", "dns:*:list", "dns:recordset:create", "dns:recordset:delete", "dns:recordset:update", "dns:tag:get", "lts:*:get", "lts:*:list", "apm:*:get", "apm:*:list", "vpcep:epservices:*", "vpcep:connections:*", "vpcep:endpoints:*", "elb:*:get", "elb:*:list", "vpc:*:get", "vpc:*:list", "ief:*:get", "ief:*:list", "cgs:images:operate", "cgs:*:get", "cgs:*:list" ], "Effect": "Allow" } ] }

常见问题处理 log-operator标准输出报错：Failed to create log group, the number of log groups exceeds the quota 示例： 2023/05/05 12:17:20.799 [E] call 3 times faild, resion: create group failed, projectID: xxx, groupName: k8s-log-xxx, err: create groups status code: 400, response: {"error_code":"LTS.0104","error_msg":"Failed to create log group, the number of log groups exceeds the quota"}, url: https://lts.cn-north-4.myhuaweicloud.com/v2/xxx/groups, process will retry after 45s 解决方案：LTS日志组有配额限制，如果出现该报错，请前往LTS下删除部分无用的日志组。限制详情请参见：日志组。 配置了容器文件路径采集，采集的目录不是挂载到容器内的，且节点引擎为docker，采集不到日志。 解决方案： 请检查工作负载所在节点的容器存储模式是否为deviceMapper，deviceMapper不支持采集容器内日志（创建日志策略时已提示此限制，如图7所示）。检查方法如下： 进入业务工作负载所在节点。 执行docker info | grep "Storage Driver"。 若返回的Storage Driver值为devicemapper，则该日志无法采集。 图7 创建日志策略 日志无法上报，otel组件标准输出报错：log's quota has full 解决方案： 云日志 服务（LTS）有免费赠送的额度，超出后将收费，报错说明免费额度已用完，如果需要继续使用，请前往云日志服务控制台“配置中心”，打开“超额继续采集日志”开关。 图8 配额设置 采集容器内日志，且采集目录配置了通配符，日志无法采集。 排查方法：请检查工作负载配置中Volume挂载情况，如果业务容器的数据目录是通过数据卷（Volume）挂载的，插件不支持采集它的父目录，需设置采集目录为完整的数据目录。例如/var/log/service目录是数据卷挂载的路径，则设置采集目录为/var/log或/var/log/*将采集不到该目录下的日志，需设置采集目录为/var/log/service。 解决方案：若日志生成目录为/application/logs/{应用名}/*.log，建议工作负载挂载Volume时，直接挂载/application/logs，日志策略中配置采集路径为/application/logs/*/*.log

使用云原生日志采集插件采集日志 查看并配置日志采集策略。 登录容器舰队控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。 右上角单击“日志采集策略”，将显示当前集群所有上报LTS的日志策略。 图1 查看日志策略 若安装插件时勾选了采集标准输出和采集Kubernetes事件，将创建两个日志策略，并对接默认的LTS日志组、日志流。 创建日志策略：单击上方“创建日志策略”，输入要采集的配置信息。 策略模板：若安装插件时未勾选需要采集的日志策略，或者删除了对应的日志策略，可通过该方式重新创建默认日志策略。 图2 使用策略模板 自定义策略：用于配置自定义日志策略。 图3 自定义策略 表2 自定义策略参数说明 参数 说明 日志类型 指定采集哪类日志。 容器标准输出：用于采集容器标准输出，可以按命名空间、工作负载名称、实例标签配置采集策略。 容器文件路径：用于采集容器内的日志，可以按工作负载和实例标签配置采集策略。 节点文件路径：用于采集节点上的日志文件，一条日志策略只能配置一个文件路径。 日志源 采集哪些容器的日志。 所有容器：可以指定采集某个命名空间的所有容器，如不指定则采集所有命名空间的容器。 指定工作负载：指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。 指定实例标签：根据标签指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。 路径配置 用于配置需要采集的日志路径。 文件路径必须以/ 开头，只能包含大写字母、小写字母、数字或特殊字符-_/*?，且长度不能超过512个字符。 文件名称只能包含大写字母、小写字母、数字或特殊字符-_*?.。 日志文件夹：请填写绝对路径。日志文件名：不支持.gz、.tar、.zip后缀类型。 最多有三级目录采用通配符匹配，且第一级目录不能使用通配符。 目录名和文件名支持完整名称和通配符模式，通配符只支持星号（*）和半角问号（?）。 星号（*）表示匹配多个任意字符。半角问号（?）表示匹配单个任意字符。例如： 日志路径为/var/logs/* 文件名*.log，表示/var/logs下所有目录中后缀名为.log的文件。 日志路径为 /var/logs/app_* 文件名*.log，表示/var/logs目录下所有符合app_*格式的目录中后缀名为.log的文件。 如果业务容器的数据目录是通过数据卷（Volume）挂载的，插件不支持采集它的父目录，需设置采集目录为完整的数据目录。例如/var/log/service目录是数据卷挂载的路径，则设置采集目录为/var/log或/var/log/*将采集不到该目录下的日志，需设置采集目录为/var/log/service。 日志格式 单行文本 每条日志仅包含一行文本，以换行符 \n 作为各条日志的分界线。 多行文本 有些程序打印的日志存在一条完整的日志数据跨占多行（例如 Java 程序日志）情况，日志采集系统默认是按行采集。如果您想在日志采集系统中按整条显示日志，可以开启多行文本，采用首行正则的方式进行匹配，当选择多行文本时，需填写日志匹配格式。 例如： 需采集的日志格式如下，则需填写时间的正则匹配，在日志匹配格式处填写：\d{4}-\d{2}-\d{2} \d{2}\:\d{2}\:\d{2}.* 则下面以日期开头三行日志会作为一条完整日志。 2022-01-01 00:00:00 Exception in thread "main" java.lang.RuntimeException: Something has gone wrong, aborting! at com.myproject.module.MyProject.badMethod(MyProject.java:22) at com.myproject.module.MyProject.oneMoreMethod(MyProject.java:18) 上报到云日志服务(LTS) 用于配置日志上报的日志组和日志流。 使用默认日志组/日志流：将为您自动选择默认日志组（k8s-log-{集群ID}）和默认的日志流（stdout-{集群ID}）。 自定义日志组/日志流：可在下拉框选择任意日志组和日志流。 日志组 日志组是云日志服务进行日志管理的基本单位。如果您未创建日志组，CCE会提示您进行创建，默认名称为k8s-log-{集群ID}，如 k8s-log-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3。 日志流 日志流（LogStream）：日志流是日志读写的基本单位，日志组中可以创建日志流，将不同类型的日志分类存储，方便对日志进一步分类管理。在安装插件或者根据模板创建日志策略时，会自动创建以下日志流： 容器日志：默认名称为stdout-{集群ID}，如 stdout-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3 k8s事件：默认名称为event-{集群ID}，如 event-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3 编辑日志策略：单击“编辑”按钮，可对已经存在的日志策略进行修改。 删除日志策略：单击“删除”按钮，可对已经存在的日志策略进行删除。 查看日志。 登录容器舰队控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。 日志中心下有5个页签，支持不同类型日志查看。 容器日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流（stdout-{集群ID}）中的所有日志数据，华为云集群支持通过工作负载搜索。 图4 容器日志查询 Kubernetes事件：显示默认日志组（k8s-log-{集群ID}）下默认日志流（event-{集群ID}）中的所有日志数据，用于查询集群产生的Kubernetes事件。 控制面组件日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流（{组件名}-{集群ID}）中的所有日志数据，用于查看集群控制面重要组件的日志信息。 控制面审计日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流audit-{集群ID}）中的所有日志数据，用于查看集群控制面审计日志信息。 全局日志查询：支持查看所有日志组日志流下的日志信息。可通过选择日志流查看所选日志流中的日志信息，默认会选择集群默认日志组（k8s-log-{集群ID}），可通过单击切换日志组右侧的图标切换其他日志组。 图5 全局日志查询 单击右上角“日志采集策略”，单击“查看日志”，可以直接跳转至对应日志策略的日志列表。 图6 查看日志

集群数据面组件说明 当前支持收集以下两种类型的控制面日志，每个日志流对应一个Kubernetes控制层面组件。关于这些组件的更多信息，请参见Kubernetes组件。 表1 集群控制面组件说明 类别 组件 日志流 说明 数据面组件日志 default-stdout stdout-{clusterID} 采集标准输出。默认日志组：k8s-logs-{集群ID}。 default-event event-{clusterID} 采集Kubernetes事件。默认日志组：k8s-logs-{集群ID}。

第三方云厂商集群 由于第三方云厂商集群提供的KubeConfig文件格式存在差异，您需要自行创建一个具有所有集群资源操作权限的ServiceAccount，并获取这个ServiceAccount的token，用于配置UCS支持的KubeConfig文件。 通过kubectl连接集群。 创建ucs-service-account.yaml文件。 apiVersion: v1 kind: ServiceAccount metadata: name: ucs-user --- apiVersion: v1 kind: Secret metadata: name: ucs-user-token annotations: kubernetes.io/service-account.name: "ucs-user" type: kubernetes.io/service-account-token --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: ucs-user-role rules: - apiGroups: - '*' resources: - '*' verbs: - '*' - nonResourceURLs: - '*' verbs: - get --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: ucs-user-role-binding subjects: - kind: ServiceAccount name: ucs-user namespace: default roleRef: kind: ClusterRole name: ucs-user-role apiGroup: rbac.authorization.k8s.io 在集群中执行以下命令创建ServiceAccount。 kubectl apply -f ucs-service-account.yaml 使用以下命令获取token。 kubectl get secret ucs-user-token -n default -oyaml | grep token: | awk '{print $2}' | base64 -d ;echo 配置KubeConfig文件。 参考以下示例创建一个kubeconfig.yaml文件，并将token替换为4中获取的值。 kubeconfig.yaml： kind: Config apiVersion: v1 preferences: {} clusters: - name: internalCluster cluster: server: 'https://kubernetes.default.svc.cluster.local:443' insecure-skip-tls-verify: true users: - name: ucs-user user: token: 'MIIFbAYJKo*****' contexts: - name: internal context: cluster: internalCluster user: ucs-user current-context: internal KubeConfig文件中的关键参数说明如下： 参数名 参数值 说明 是否可选 server 'https://kubernetes.default.svc.cluster.local:443' APIServer的集群内访问地址。由于部分厂商集群对APIServer地址做了外部访问限制，可能导致UCS无法正常接入集群，因此建议使用集群内访问地址。 必选 insecure-skip-tls-verify true 如使用该参数，表示跳过证书认证，参数值必须为true。 二选一 说明： 当server字段为集群内访问地址时，优选跳过证书认证。 certificate-authority-data base64加密字符串 如使用该参数，表示集群开启双向认证，参数值为经base64加密后的服务端证书。 原生K8s集群的服务端证书默认地址为master节点的“/etc/kubernetes/pki/ca.crt”。 token base64加密字符串 用户以token方式进行认证，参数值为4中获取的token值。 三选一 说明： 优选token方式，UCS不支持除这三种方式外的其他认证方式。 client-certificate-data client-key-data base64加密字符串 用户以证书加私钥的方式进行认证。 client-certificate-data：经base64加密后的客户端证书。 client-key-data：经base64加密后的客户端私钥。 username password 字符串 用户通过用户名密码进行认证。 username：访问集群的用户名。 password：用户名对应的密码。 使用5中配置的KubeConfig文件接入集群，详细步骤请继续参考注册附着集群（公网接入）或注册附着集群（私网接入）。 使用UCS期间，创建的ServiceAccount、ClusterRole、ClusterRoleBinding对象均不能删除，否则token将会失效。 如集群不再接入UCS，可使用kubectl delete -f ucs-service-account.yaml命令删除UCS创建的SA对象。

自建集群 如果您的集群是通过Kubernetes官方二进制文件或Kubeadm等部署工具搭建的标准集群，可直接使用以下方法获取KubeConfig文件。 该方法不适用于云服务商提供的商用集群，商用集群的KubeConfig文件获取请参考第三方云厂商集群。 登录集群Master节点。 查看集群访问凭证。默认情况下，自建集群的配置文件路径为Master节点的“$HOME/.kube/config”，如您的集群指定了其他KubeConfig配置文件，请自行更换路径。 cat $HOME/.kube/config 复制该凭证内容。 在本地创建一个YAML文件，将上一步中复制的凭证内容粘贴至该文件并保存。 使用4中的YAML文件接入集群，详细步骤请继续参考注册附着集群（公网接入）或注册附着集群（私网接入）。

通过控制台配置工作负载升级 在创建工作负载时，单击“展开高级配置”。 参考表1，设置升级策略。 表1 参数说明 参数 描述 升级方式 设置不同的升级策略，有如下两种。 RollingUpdate：滚动升级，即逐步创建新Pod再删除旧Pod，为默认策略。 Recreate：替换升级，即先把当前Pod删掉再重新创建Pod。 最大无效实例数（maxUnavailable） 与spec.replicas相比，可以有多少个Pod失效，也就是删除的比例，默认值是25%，比如spec.replicas为4，那升级过程中就至少有3个Pod存在，即删除Pod的步伐是1。同样这个值也可以设置成数字。 仅Deployment支持配置。 最大浪涌（maxSurge） 与spec.replicas相比，可以有多少个Pod存在，默认值是25%，比如spec.replicas为 4，那升级过程中就不能超过5个Pod存在，即按1个的步伐升级，实际升级过程中会换算成数字，且换算会向上取整。这个值也可以直接设置成数字。 仅Deployment支持配置。 实例可用最短时间（minReadySeconds） 指定新创建的 Pod 在没有任意容器崩溃情况下的最小就绪时间， 只有超出这个时间 Pod 才被视为可用。默认值为 0（Pod 在准备就绪后立即将被视为可用）。 最大保留版本数（revisionHistoryLimit） 用来设定出于回滚目的所要保留的旧 ReplicaSet 数量。 这些旧 ReplicaSet 会消耗 etcd 中的资源，并占用 kubectl get rs 的输出。 每个 Deployment 修订版本的配置都存储在其 ReplicaSets 中；因此，一旦删除了旧的 ReplicaSet， 将失去回滚到 Deployment 的对应修订版本的能力。 默认情况下，系统保留 10 个旧 ReplicaSet，但其理想值取决于新 Deployment 的频率和稳定性。 升级最大时长（progressDeadlineSeconds） 指定系统在报告 Deployment 进展失败 之前等待 Deployment 取得进展的秒数。 这类报告会在资源状态中体现为 Type=Progressing、Status=False、 Reason=ProgressDeadlineExceeded。Deployment 控制器将持续重试 Deployment。 将来，一旦实现了自动回滚，Deployment 控制器将在探测到这样的条件时立即回滚 Deployment。 如果指定，则此字段值需要大于 .spec.minReadySeconds 取值。 缩容时间窗（terminationGracePeriodSeconds） 优雅删除时间，默认为30秒，删除Pod时发送SIGTERM终止信号，然后等待容器中的应用程序终止执行，如果在terminationGracePeriodSeconds时间内未能终止，则发送SIGKILL的系统信号强行终止。 图1 升级策略

通过命令行配置升级示例 Deployment的升级可以是声明式的，也就是说只需要修改Deployment的YAML定义即可，比如使用kubectl edit命令将上面Deployment中的镜像修改为nginx:alpine。修改完成后再查询ReplicaSet和Pod，发现创建了一个新的ReplicaSet，Pod也重新创建了。 $ kubectl edit deploy nginx $ kubectl get rs NAME DESIRED CURRENT READY AGE nginx-6f9f58dffd 2 2 2 1m nginx-7f98958cdf 0 0 0 48m $ kubectl get pods NAME READY STATUS RESTARTS AGE nginx-6f9f58dffd-tdmqk 1/1 Running 0 1m nginx-6f9f58dffd-tesqr 1/1 Running 0 1m Deployment可以通过maxSurge和maxUnavailable两个参数控制升级过程中同时重新创建Pod的比例，这在很多时候是非常有用，配置如下所示。 spec: strategy: rollingUpdate: maxSurge: 1 maxUnavailable: 0 type: RollingUpdate 在前面的例子中，由于spec.replicas是2，如果maxSurge和maxUnavailable都为默认值25%，那实际升级过程中，maxSurge允许最多3个Pod存在（向上取整，2*1.25=2.5，取整为3），而maxUnavailable则不允许有Pod Unavailable（向上取整，2*0.75=1.5，取整为2），也就是说在升级过程中，一直会有2个Pod处于运行状态，每次新建一个Pod，等这个Pod创建成功后再删掉一个旧Pod，直至Pod全部为新Pod。

通过命令行回退工作负载版本 例如上面升级的新版镜像有问题，可以执行kubectl rollout undo命令进行回滚。 $ kubectl rollout undo deployment nginx deployment.apps/nginx rolled back Deployment之所以能如此容易的做到回滚，是因为Deployment是通过ReplicaSet控制Pod的，升级后之前ReplicaSet都一直存在，Deployment回滚做的就是使用之前的ReplicaSet再次把Pod创建出来。Deployment中保存ReplicaSet的数量可以使用revisionHistoryLimit参数限制，默认值为10。

管理员：IAM授权 Tenant Administrator管理员按照图3方式为各个职能团队进行IAM授权，即：先创建四个用户组，分别为这些用户组授予UCS FullAccess、UCS CommonOperations、UCS CIAOperations和UCS ReadOnlyAccess权限，然后为各个用户组添加用户。 图3 IAM授权方式 例如：为开发团队创建用户组dev，授予UCS CommonOperations权限，并添加devuser1、devuser2两个用户。 图4 授权记录 图5 用户管理 详细的操作指导请参见UCS服务资源权限（IAM授权）。需要注意的是，UCS的一些功能依赖其他云服务实现，在使用这些功能时，还需要授予其他云服务的权限。例如，创建权限时需要获取IAM用户列表，因此，为行管团队授予UCS FullAccess权限的同时还需授予VDC ReadOnlyAccess权限。更多依赖关系请参见UCS功能所需的最小权限。

行管团队：搭建基础设施、配置权限策略 创建权限。 为开发人员创建开发权限。 创建舰队并将权限关联至舰队。 舰队是多个集群的集合，舰队可以实现多集群的权限统一管理。行管人员关联上一步创建的开发权限至舰队，后续加入舰队的集群将拥有舰队的权限，这样开发人员就有操作舰队中集群资源（如创建工作负载）的权限了。详细的操作指导请参见管理容器舰队。 注册集群，并将它们添加到舰队中。 UCS服务支持注册华为云集群、本地集群、多云集群及附着集群，行管人员可以根据实际需求选择。详细的操作指导请参见华为云集群、附着集群概述、本地集群概述或多云集群概述。 开通集群联邦。 集群联邦可以提供：多集群统一编排、跨集群弹性伸缩、跨集群服务发现、应用故障自动迁移等能力。集群联邦开通后，舰队内的成员集群将自动接入联邦。

权限设计 公司不同的职能团队针对UCS资源的操作范围如下图所示： 图2 UCS资源操作全景 ：由Tenant Administrator角色的管理员为各个职能团队授权。 、、、、、、：拥有UCS FullAccess权限的行管团队负责创建舰队、注册集群、将集群加入舰队，以及开通集群联邦能力，搭建多集群联邦基础设施。同时，行管团队创建权限，并将权限关联至舰队或未加入舰队的集群，使开发团队对具体的Kubernetes资源拥有相应的操作权限。 、：拥有UCS CommonOperations权限的开发团队执行创建工作负载、流量分发等操作。 ：拥有UCS CIAOperations权限的运维团队执行监控运维等操作。 ：拥有UCS ReadOnlyAccess权限的访客进行集群、舰队、工作负载等资源的查看操作。

添加集群 容器舰队开通集群联邦后，可以继续为舰队添加集群，添加后，集群会自动接入集群联邦。一个集群联邦最多可接入20个集群。 登录UCS控制台，在左侧导航栏中选择“容器舰队”。 在目标舰队栏中单击“添加集群”，或单击右上角的按钮。 您也可以单击舰队名称进入舰队详情页，在“容器集群”页面单击右上角“添加集群”。 图3 为舰队添加集群 勾选一个或多个已有集群。一个集群只能加入一个舰队，因此列表中显示的集群均为未加入舰队的集群。 图4 添加集群 请确保所选择的集群符合表1中的约束条件，否则会出现集群添加成功，但是接入集群联邦失败的情况。如果出现这种情况，请参考舰队开通集群联邦后，添加集群报错如何解决？进行修复。 单击“确定”，完成集群添加。

开通集群联邦 集群联邦和容器舰队绑定在一起，只需要为容器舰队一键开通集群联邦，就可以方便地操作集群联邦了。 集群联邦的开通包含两个阶段：一、开通集群联邦，二、集群接入联邦。容器舰队开通集群联邦能力后，容器舰队内的成员集群将自动接入联邦。 开通集群联邦有配额限制，并且对容器舰队中的集群有一些约束，请在开通前仔细阅读，避免集群联邦开通失败。 表1 集群约束 项目 约束 集群版本 容器舰队中的所有集群版本必须为1.19及以上。 集群状态 容器舰队中的所有集群状态必须为“运行中”。 集群网络状态 CCE集群、CCE Turbo集群：CCE集群所在region为北京四的，开通联邦时UCS将自动在集群所属VPC下创建VPCEP打通网络，非该region则需要集群绑定公网地址。 其他集群：成功接入UCS即可。 配额 集群联邦配额为1，即只能为一个容器舰队开通集群联邦。 登录UCS控制台，在左侧导航栏中选择“容器舰队”。 在“容器舰队”页签下找到目标舰队，页面提示暂未开通集群联邦能力，单击“去开通”按钮。 图1 开通集群联邦 在弹出的提示框中单击“确定”，等待集群联邦开通成功。 当集群不满足约束条件时，界面会弹出报错信息，请按照提示修改，然后重新开通集群联邦。 开通集群联邦大约需要10分钟，请耐心等待。您可以单击集群联邦状态，查看详细的开通进度。开通成功后，容器舰队顶部的提示信息变为“集群联邦能力已开通 ，集群接入成功”。 图2 查看集群联邦开通进度

创建无状态负载 登录UCS控制台，在左侧导航栏中选择“容器舰队”。 在“容器舰队”页签下找到已开通集群联邦的舰队，单击名称进入详情页。 在左侧导航栏中选择“工作负载”，在“无状态负载”页签中单击右上角“镜像创建”。 若使用已有的YAML创建工作负载，请单击右上角“YAML创建”。 设置工作负载基本信息。 负载类型：选择“无状态负载”。 负载名称：新增工作负载的名称，命名必须唯一。 命名空间：选择工作负载所在命名空间。如需新建命名空间，请参见创建命名空间。 描述：工作负载的描述信息。 实例数量：设置多集群的工作负载中各集群的实例数。用户可以设置具体实例个数，默认为2。每个工作负载实例都由相同的容器部署而成。在UCS中可以通过设置弹性扩缩容策略，根据工作负载资源使用情况，动态调整工作负载实例数。 设置工作负载容器配置。 Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器并分别进行设置。 基本信息： 表1 基本信息参数说明 参数 说明 容器名称 为容器命名。 镜像名称 单击后方“选择镜像”，选择容器使用的镜像。 我的镜像：当前区域下华为云镜像仓库中的镜像。若无可用的镜像，可单击“上传镜像”进行上传。 镜像中心：开源镜像仓库中的官方镜像。 共享镜像：由他人账号共享的私有镜像，详情请参见共享私有镜像。 镜像版本 选择需要部署的镜像版本。 更新策略 镜像更新/拉取策略。勾选“总是拉取镜像”表示每次都从镜像仓库拉取镜像；如不勾选则优先使用节点已有的镜像，如果没有这个镜像再从镜像仓库拉取。 CPU配额 申请：容器需要使用的最小CPU值，默认0.25Core。 限制：允许容器使用的CPU最大值。建议设容器配额的最高限额，避免容器资源超额导致系统故障。 内存配额 申请：容器需要使用的内存最小值，默认512MiB。 限制：允许容器使用的内存最大值。如果超过，容器会被终止。 关于CPU/内存配额申请和限制的具体说明请参见设置容器规格。 初始化容器 选择容器是否作为初始化容器。 Init 容器是一种特殊容器，在 Pod 内的应用容器启动之前运行。详细说明请参见Init 容器。 生命周期：设置生命周期回调函数可在容器的特定阶段执行调用，比如容器在停止前希望执行某项操作，就可以设置相应的函数。目前提供的生命周期回调函数有启动命令、启动后处理、停止前处理，详情请参见设置容器生命周期。 健康检查：设置健康检查可以在容器运行过程中定时检查容器的健康状况，详情请参见设置容器健康检查。 环境变量：容器运行环境中设定的一个变量，通过环境变量设置的配置项不会随着Pod生命周期结束而变化，详情请参见设置环境变量。 数据存储：配置容器存储，可以使用本地存储和存储卷声明（PVC）。建议使用PVC将工作负载Pod数据存储在 云存储 上。若存储在本地磁盘上，节点异常无法恢复时，本地磁盘中的数据也将无法恢复。容器存储相关内容请参见容器存储。 安全设置：对容器权限进行设置，保护系统和其他容器不受其影响。请输入用户ID，容器将以当前用户权限运行。 镜像访问凭证：用于访问镜像仓库的凭证。该凭证仅访问私有镜像仓库时使用，如所选镜像为公开镜像，则无需选择密钥。密钥的创建方法请参见创建密钥。 （可选）单击服务配置栏的，进行工作负载服务配置。 若工作负载需要和其它服务互访，或需要被公网访问，您需要添加服务（Service），设置访问方式。工作负载访问的方式决定了这个工作负载的网络属性，不同访问方式的工作负载可以提供不同网络能力，操作详情请参见服务与路由。 您也可以在创建完工作负载之后再创建Service，参见集群内访问（ClusterIP）和节点访问（NodePort）。 Service名称：新增服务名称，用户可自定义，服务名称必须唯一。 访问类型： 集群内访问（ClusterIP）：只能集群内访问服务。 节点访问（NodePort）：可以通过集群内任意节点访问到服务。 服务亲和（仅节点访问设置）： 集群级别：集群下所有节点的IP+访问端口均可以访问到此服务关联的负载，服务访问会因路由跳转导致一定性能损失，且无法获取到客户端源IP。 节点级别：只有通过负载所在节点的IP+访问端口才可以访问此服务关联的负载，服务访问没有因路由跳转导致的性能损失，且可以获取到客户端源IP。 端口配置： 协议：TCP或UDP，请根据业务的协议类型选择。 服务端口：容器端口映射到集群虚拟IP上的端口，用虚拟IP访问应用时使用，端口范围为1-65535，可任意指定。 容器端口：容器镜像中应用程序实际监听的端口，需用户确定。例如：nginx程序实际监听的端口为80。 节点端口（仅节点访问设置）：容器端口映射到节点私有IP上的端口，用私有IP访问应用时使用，端口范围为30000-32767，建议选择“自动生成”。 自动生成：系统会自动分配端口号。 指定端口：指定固定的节点端口，默认取值范围为30000-32767。若指定端口时，请确保同个集群内的端口唯一性。 （可选）单击“展开高级配置”，设置工作负载高级配置。 升级策略：指定无状态负载的升级方式，包括整体替换升级和逐步滚动升级，详细参数说明请参见配置工作负载升级策略。 滚动升级：滚动升级将逐步用新版本的实例替换旧版本的实例，升级的过程中，业务流量会同时负载均衡分布到新的和旧的实例上，因此业务不会中断。 替换升级：先删除旧实例，再创建新实例。升级过程中业务会中断。 调度策略：您可设置亲和（affinity）与反亲和（anti-affinity）实现Pod的计划性调度，详细信息请参见配置调度策略（亲和与反亲和）。 标签与注解：您可以单击“添加”为Pod增加标签或注解，新增标签或注解的键不能与已有的重复。 容忍策略：当工作负载实例所在的节点不可用时，系统将实例重新调度到其它可用节点的时间窗，默认为300秒。 单击“下一步：调度与差异化”，对选择的集群进行调度与差异化配置。在选择可调度集群后，可对容器进行“差异化配置”。 集群调度策略： 调度方式： 集群权重：手动设置各集群的权重，工作负载在各集群的实例数将根据设置的权重比例进行分配。 自动均衡：工作负载将根据资源余量在可调度的集群中自动选择集群进行部署。 部署集群：选择工作负载可调度的集群，集群个数请您根据自身业务进行确定。 “集群权重”模式下，需手动设置各集群权重值，权重非0的集群将自动勾选为可调度集群，权重为0则表示该集群不可调度。状态非正常的集群无法设置权重。 “自动均衡”模式下，单击集群即可将其勾选为可调度集群。 差异化配置： 工作负载在不同的集群中部署可进行差异化的配置。在选择可调度集群后单击对应集群右上角，即可对每个集群进行差异化配置，差异化后的容器配置只对该集群生效。 具体参数说明请参见容器配置。 设置完成后，单击“创建工作负载”，完成创建后，可单击“返回工作负载列表”查看所创建的工作负载。

相关操作 通过UCS控制台，您还可以执行表1中的操作。 表1 相关操作 操作 说明 YAML创建 单击右上角“YAML创建”，可使用已有的YAML创建路由。 查看详情 选择路由所在的命名空间。 （可选）根据路由名称进行搜索。 单击路由名称即可查看路由详情，包括基本信息以及各集群的部署信息。 在路由详情页的部署集群栏中单击“查看YAML”，可查看各个集群中部署的路由实例YAML，并支持下载。 编辑YAML 单击路由名称后的“编辑YAML”，可查看并编辑当前路由的YAML文件。 更新 单击路由名称后的“更新”。 根据路由参数更改信息。 单击“确认”提交已修改的信息。 删除 单击路由名称后的“删除”，并单击“是”进行确认。 批量删除 勾选需要删除的路由。 单击左上角的“批量删除”。 单击“是”进行确认。

添加方式 登录UCS控制台，在左侧导航栏中选择“容器舰队”。 在“容器舰队”页签下找到已开通集群联邦的舰队，单击名称进入详情页。 在左侧导航栏中选择“服务与路由”，选择“路由”页签。 选择路由所在命名空间，并单击右上角“创建路由”。如需新建命名空间，请参见创建命名空间。 设置路由配置参数。 Ingress名称：新增路由的名称，用户可自定义。 命名空间：路由所在命名空间。 对接nginx：Ingress Controller分为ELB型和Nginx型。UCS支持上述两种Ingress Controller类型，其中ELB Ingress Controller基于弹性负载均衡服务（ELB）实现流量转发；而Nginx Ingress Controller使用Kubernetes社区维护的模板与镜像，通过Nginx组件完成流量转发。 ELB Ingress：不开启“对接nginx”。 Nginx Ingress：单击开启“对接nginx”。 在创建Nginx Ingress前应为对应集群安装Nginx Ingress Controller插件，安装插件的具体操作请参见： 为CCE集群安装插件请参见通过控制台创建Nginx Ingress。 为本地集群安装插件请参见使用L7负载均衡Ingress-nginx。 为其他类型集群安装插件请参见开源社区文档Nginx Ingress Controller。 监听器配置：选择对外协议，支持HTTP和HTTPS。若对外协议选择HTTPS，请选择IngressTLS类型的服务器证书。若无符合条件的证书，可单击“创建IngressTLS类型的密钥证书”，参考密钥（Secret）创建一个指定类型的密钥证书。 SNI（Server Name Indication）：SNI是TLS的扩展协议，在该协议下允许同一个IP地址和端口号下对外提供多个基于TLS的访问域名，且不同的域名可以使用不同的安全证书。 转发策略配置：请求的访问地址与转发规则匹配时（转发规则由域名、URL组成，例如：10.117.117.117:80/helloworld），此请求将被转发到对应的目标Service处理。您可添加多条转发策略。 域名：可选项，输入实际访问的域名地址。请确保所填写的域名已注册并备案，一旦配置了域名规则后，必须使用域名访问。 URL：需要注册的访问路径，例如：/healthz。该访问路径需与后端应用暴露的URL一致，否则将返回404错误。 目标服务名称：选择服务名称，需要先创建NodePort服务，具体可参考节点访问（NodePort）。 目标服务访问端口：选择目标服务后，对应的容器端口将自动获取。 部署集群：选择需要部署的集群。 CCE集群： 对外端口：开放在负载均衡服务地址的端口，可任意指定。 负载均衡器：仅支持集群所在VPC下的负载均衡实例。如果没有可选的负载均衡器实例，请单击“创建负载均衡器”，创建完成后单击刷新按钮。 创建Nginx Ingress时，您无需手动选择负载均衡器，在插件安装阶段已经完成负载均衡器的关联。 其他云：访问注释支持key/value对格式，请您根据自身业务以及厂家要求进行标签配置。 如需创建内部负载均衡器，您需要根据集群的云服务商添加相应的注释，请参见内部负载均衡器。 单击“确认”。创建成功后可在“路由（Ingress）”页签的列表中查看。 获取访问地址。 单击左侧导航栏“服务与路由”，选择“路由”页签。 单击所添加的Ingress名称进入“路由详情”界面，查看对应的负载均衡器及监听器端口配置。您可以通过负载均衡器的弹性IP地址 + 监听器端口 + URL的形式访问后端负载，例如10.117.117.117:8088/helloworld。

镜像迁移操作步骤 准备镜像仓库访问权限文件：auth.json。 新建一个auth.json文件，并按照格式修改，如果是匿名访问仓库，则不需要填写用户名、密码等信息。将文件放置在image-migrator所在目录下。 示例： { "quay.io/coreos": { }, "swr.cn-north-4.myhuaweicloud.com": { "username": "cn-north-4@RVHVMX******", "password": "***************", "insecure": true } } 详细的参数说明请参见“auth.json”文件。 准备镜像列表文件：images.json。 通过kubectl连接源集群。具体方法可参考使用kubectl连接集群。 执行镜像迁移config子命令，生成images.json文件。 您可以参考image-migrator config使用方法中的方法和示例，不指定命名空间，或者指定一个、多个命名空间来获取源集群应用中使用的镜像。 根据需求调整images.json文件内容，但要遵循“images.json”文件中所讲的八项要求。 镜像迁移。 您可以执行默认的./image-migrator-linux-amd64命令进行镜像迁移，也可以根据需要设置image-migrator的参数。 例如以下命令： ./image-migrator-linux-amd64 --workers=5 --auth=./auth.json --images=./images.json --namespace=test --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 示例： $ ./image-migrator-linux-amd64 Start to generate images tasks, please wait ... Start to handle images tasks, please wait ... Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 结果查看。 上述命令执行完毕后，回显如下类似信息： Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 表示按照配置，成功将38个镜像迁移到SWR仓库中。

image-migrator工作原理 图1 image-migrator工作原理 使用image-migrator工具将镜像迁移到SWR时，需要准备两个文件，一个为镜像仓库访问权限文件“auth.json”，该文件中的两个对象分别为源镜像仓库和目标镜像仓库（即Registry）的账号和密码；另一个为镜像列表文件“images.json”，文件内容由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。将这两个文件准备好以后，放在image-migrator工具所在目录下，执行一条简单的命令，就可以完成镜像的迁移。关于两个文件的详细介绍如下： “auth.json”文件 “auth.json”为镜像仓库访问权限文件，其中每个对象为一个registry的用户名和密码。通常源镜像仓库需要具有pull以及访问tags权限，目标镜像仓库需要拥有push以及创建仓库权限。如果是匿名访问镜像仓库，则不需要填写用户名、密码等信息。“auth.json”文件的结构如下： { "源镜像仓库地址": { }, "目标镜像仓库地址": { "username": "xxxxxx", "password": "***************", "insecure": true } } 其中， “源镜像仓库地址”和“目标镜像仓库地址”支持“registry”和“registry/namespace”两种形式，需要跟下述“images.json”中的registry或registry/namespace对应。images中被匹配到的url会使用对应用户名密码进行镜像同步，优先匹配“registry/namespace”的形式。 目标镜像仓库地址如果为“registry”形式，可以从SWR控制台页面获取，具体方法如下：在“总览”页面单击右上角“登录指令”，登录指令末尾的域名即为SWR镜像仓库地址，例如swr.cn-north-4.myhuaweicloud.com。注意每个Region的地址不同，请切换到对应Region获取。如果为“registry/namespace”形式，还要将namespace替换为SWR的组织名称。 username：（可选）用户名，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 password：（可选）密码，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 insecure：（可选）registry是否为http服务，如果是，insecure为true；默认是false。 目标镜像仓库SWR的用户名形式为：区域项目名称@AK；密码为AK和SK经过加密处理后的登录密钥，详细指导请参考获取长期有效登录指令。 示例： { "quay.io/coreos": { }, "swr.cn-north-4.myhuaweicloud.com": { "username": "cn-north-4@RVHVMX******", "password": "***************", "insecure": true } } “images.json”文件 该文件本质上是一个待迁移的镜像清单，由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。具体的要求如下： 同步的最大单位是仓库（repository），不支持通过一条规则同步整个namespace以及registry。 源仓库和目标仓库的格式与docker pull/push命令使用的镜像url类似（registry/namespace/repository:tag）。 源仓库和目标仓库（如果目标仓库不为空字符串）都至少包含registry/namespace/repository。 源仓库字段不能为空，如果需要将一个源仓库同步到多个目标仓库需要配置多条规则。 目标仓库名可以和源仓库名不同，此时同步功能类似于：docker pull + docker tag + docker push。 当源仓库字段中不包含tag时，表示将该仓库所有tag同步到目标仓库，此时目标仓库不能包含tag。 当源仓库字段中包含tag时，表示只同步源仓库中的一个tag到目标仓库，如果目标仓库中不包含tag，则默认使用源tag。 当目标仓库为空字符串时，会将源镜像同步到默认registry的默认namespace下，并且repository以及tag与源仓库相同，默认registry和默认namespace可以通过命令行参数以及环境变量配置。 示例如下： { "quay.io/coreos/etcd:1.0.0": "swr.cn-north-4.myhuaweicloud.com/test/etcd:1.0.0", "quay.io/coreos/etcd": "swr.cn-north-4.myhuaweicloud.com/test/etcd", "quay.io/coreos/etcd:2.7.3": "swr.cn-north-4.myhuaweicloud.com/test/etcd" } 使用image-migrator工具的config子命令可自动获取集群中工作负载正在使用的镜像，具体用法请参见image-migrator config使用方法。得到images.json文件后，您还可以根据需要进行修改、添加或删除。

image-migrator使用方法 image-migrator工具支持在Linux（x86、arm）和Windows环境中运行，使用方法相似。本文将以Linux（x86）环境为例进行介绍。 若使用Linux（arm）或Windows环境，请将下述命令中的image-migrator-linux-amd64分别替换为image-migrator-linux-arm64或image-migrator-windows-amd64.exe。 在image-migrator工具所在目录下执行./image-migrator-linux-amd64 -h，可以查看image-migrator工具的使用方法。 --auth：指定auth.json的路径，默认在image-migrator所在目录下。 --images：指定images.json的路径，默认在image-migrator所在目录下。 --log：指定image-migrator生成日志的路径，默认是image-migrator当前目录下的image-migrator.log。 --namespace：默认的目标仓库的namespace，也就是说，如果images.json中没有指定目标仓库中的namespace，可以在执行迁移命令时指定。 --registry：默认的目标仓库的registry，也就是说，如果images.json中没有指定目标仓库中的registry，可以在执行迁移命令时指定。 --retries：迁移失败时的重试次数，默认为3。 --workers：镜像搬迁的worker数量（并发数），默认是7。 $ ./image-migrator-linux-amd64 -h A Fast and Flexible docker registry image images tool implement by Go. Usage: image-migrator [flags] Aliases: image-migrator, image-migrator Flags: --auth string auth file path. This flag need to be pair used with --images. (default "./auth.json") -h, --help help for image-migrator --images string images file path. This flag need to be pair used with --auth (default "./images.json") --log string log file path (default "./image-migrator.log") --namespace string default target namespace when target namespace is not given in the images config file, can also be set with DEFAULT_NAMESPACE environment value --registry string default target registry url when target registry is not given in the images config file, can also be set with DEFAULT_REGISTRY environment value -r, --retries int times to retry failed tasks (default 3) -w, --workers int numbers of working goroutines (default 7) $./image-migrator --workers=5 --auth=./auth.json --images=./images.json --namespace=test \ --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 $ ./image-migrator Start to generate images tasks, please wait ... Start to handle images tasks, please wait ... Images(38) migration finished, 0 images tasks failed, 0 tasks generate failed 示例如下： ./image-migrator --workers=5 --auth=./auth.json --images=./images.json --namespace=test --registry=swr.cn-north-4.myhuaweicloud.com --retries=2 该命令表示将“images.json”文件中的镜像迁移至“swr.cn-north-4.myhuaweicloud.com/test”镜像仓库下，迁移失败时可以重试2次，一次可以同时搬迁5个镜像。

image-migrator config使用方法 image-migrator工具的config子命令可用于获取集群应用中使用的镜像，在工具所在目录下生成images.json。执行./image-migrator-linux-amd64 config -h命令可以查看config子命令的使用方法。 -k, --kubeconfig：指定kubectl的kubeConfig位置，默认是$HOME/.kube/config。kubeConfig文件：用于配置对Kubernetes集群的访问，KubeConfig文件中包含访问注册Kubernetes集群所需要的认证凭据以及Endpoint（访问地址），详细介绍可参见Kubernetes文档。 -n, --namespaces：指定获取镜像的命名空间，多个命名空间用逗号分隔（如：ns1,ns2,ns3)，默认是""，表示获取所有命名空间的镜像。 -t, --repo：指定目标仓库的地址（registry/namespace）。 $ ./image-migrator-linux-amd64 config -h generate images.json Usage: image-migrator config [flags] Flags: -h, --help help for config -k, --kubeconfig string The kubeconfig of k8s cluster's. Default is the $HOME/.kube/config. (default "/root/.kube/config") -n, --namespaces string Specify a namespace for information collection. If multiple namespaces are specified, separate them with commas (,), such as ns1,ns2. default("") is all namespaces -t, --repo string target repo,such as swr.cn-north-4.myhuaweicloud.com/test 示例如下： 指定一个命名空间 ./image-migrator-linux-amd64 config -n default -t swr.cn-north-4.myhuaweicloud.com/test 指定多个命名空间 ./image-migrator-linux-amd64 config -n default,kube-system -t swr.cn-north-4.myhuaweicloud.com/test 不指定命名空间（表示获取所有命名空间的镜像） ./image-migrator-linux-amd64 config -t swr.cn-north-4.myhuaweicloud.com/test