华为云用户手册

自定义事件上报 AOM log-agent插件会将所有Warning级别事件以及部分Normal级别事件上报到AOM。您也可以根据需求自行设置需要上报的事件，具体方法如下： 在集群上执行以下命令，编辑当前的事件采集配置。 kubectl edit logconfig -n kube-system default-event-aom 根据需要修改事件采集配置。 apiVersion: logging.openvessel.io/v1 kind: LogConfig metadata: annotations: helm.sh/resource-policy: keep name: default-event-aom namespace: kube-system spec: inputDetail: #采集端配置 type: event #采集端类型，请勿修改 event: normalEvents: #Normal级别事件采集配置 enable: true #是否开启Normal级别事件采集 includeNames: #需要采集的事件名，不指定则采集所有事件 - NotTriggerScaleUp includeNames: #不采集的事件名，不指定则采集所有事件 - NotTriggerScaleUp warningEvents: #Warning级别事件采集配置 enable: true #是否开启Warning级别事件采集 includeNames: #需要采集的事件名，不指定则采集所有事件 - NotTriggerScaleUp includeNames: #不采集的事件名，不指定则采集所有事件 - NotTriggerScaleUp outputDetail: type: AOM #输出端类型，请勿修改 AOM: events: - name: DeleteNodeWithNoServer #事件名，必选 nameCn: 废弃节点清理 #事件对应的中文名，不填则上报的事件直接显示英文 resourceType: Namespace #事件对应的资源类型 severity: Major #事件上报到AOM后的事件级别，默认Major。可选值：Critical：紧急；Major：重要；Minor：次要；Info：提示

log-agent事件说明 在log-agent插件的安装和运行阶段，log-operator组件会上报事件，您可以根据这些事件来判断安装是否成功，并确定故障原因。具体如表7所示： 表7 log-agent事件说明 事件名称 说明 InitLTSFailed 初始化LTS日志组日志流失败 WatchAKSKFailed 监听AKSK失败 WatchAKSKSuccessful 监听AKSK成功 RequestLTSFailed 请求LTS接口失败 InitLTSSuccessful 初始化LTS日志组日志流成功 CreateWebhookConfigFailed 创建MutatingWebhookConfiguration失败 CreateWebhookConfigSuccessful 创建MutatingWebhookConfiguration成功 StartServerSuccessful 开启监听成功 StartServerFailed 开启监听失败 StartManagerFailed 开启CRD监听失败 InjectAnnotationFailed annotation注入失败 InjectAnnotationSuccessful annotation注入成功 UpdateLogConfigFailed 更新logconfig信息失败 GetConfigListFailed 获取CR列表失败 GenerateConfigFailed 生成fluent-bit、otel配置失败

约束与限制 云原生日志采集插件有如下限制： 仅支持1.21及以上版本集群。 每个集群限制50条日志规则。 不采集.gz、.tar、.zip后缀类型的日志文件。 采集容器文件日志时，若节点存储模式为Device Mapper模式，路径配置必须为节点数据盘挂载路径。 若容器运行时为containerd模式，容器标准输出日志中的多行配置暂不生效。 每个集群限制单行日志采集速率不超过10000条/秒，多行日志不超过2000条/秒。 容器运行时间建议不小于1分钟，防止日志文件删除过快，无法及时采集。

权限说明 云原生日志采集插件中的fluent-bit组件会根据用户的采集配置，读取各节点上容器标准输出、容器内文件日志以及节点日志并采集。 fluent-bit组件运行会使用到以下权限： CAP_DAC_OVERRIDE：忽略文件的 DAC 访问限制。 CAP_FOWNER：忽略文件属主 ID 必须和进程用户 ID 相匹配的限制。 DAC_READ_SEARCH：忽略文件读及目录搜索的 DAC 访问限制。 SYS_PTRACE：允许跟踪任何进程。

本地集群安装云原生日志插件前置授权 由于云原生日志插件需要访问LTS和AOM两个云服务，访问云服务需要对云原生日志插件进行鉴权，本地集群云原生日志插件使用工作负载 Identity方式允许集群中的工作负载模拟 IAM 用户来访问云服务。 工作负载 Identity方式是将集群的公钥配置到IAM身份提供商中，并添加 ServiceAccount 与 IAM 账号映射规则。工作负载部署时挂载ServiceAccount对应的Token，使用此Token访问云服务，IAM 使用该公钥验证Token，从而无需直接使用 IAM 账号的 AK/SK 等信息，降低安全风险。 获取本地集群私钥签发的jwks，该公钥用于验证集群签发的 ServiceAccount Token。 使用kubectl连接本地集群。 执行如下命令获取公钥。 kubectl get --raw /openid/v1/jwks 返回结果为一个 json 字符串，是当前集群的签名公钥，用于访问身份供应商。 { "keys": [ { "kty": "RSA", "e": "AQAB", "use": "sig", "kid": "Ew29q....", "alg": "RS256", "n": "peJdm...." } ] } 在 IAM 配置身份供应商，标志当前集群在 IAM 侧的身份。 登录IAM控制台,查询本地集群所在项目的ID，创建身份供应商，协议选择OpenID Connect。指定插件需要配置指定的身份供应商名称，具体请参见表1。 表1 log-agent身份供应商配置 插件名称 身份提供商名称 客户端 ID namespace ServiceAccountName 用户组需要开通的最小权限 log-agent ucs-cluster-identity-{项目ID} ucs-cluster-identity monitoring log-agent-serviceaccount aom:alarm:* lts:*:* 单击“确定”，然后修改身份提供商信息，需要修改的信息如表2所示。随后创建身份转换规则，单击“创建规则”进行创建。 表2 身份提供商配置参数说明 参数 说明 访问方式 选择“编程访问”。 配置信息 身份供应商 URL：https://kubernetes.default.svc.cluster.local。 客户端 ID：指定插件需要配置指定的客户端 ID，请参见 表1。 签名公钥：本地集群的 jwks，获取方法请参见1。 身份转换规则 身份映射规则是将集群内的 ServiceAccount 和 IAM 用户组做映射。 例如：在集群 default 命名空间下创建一个名为 XXX 的 ServiceAccount，映射到 demo 用户组，后续使用该 ServiceAccount 获取的 IAM Token 访问云服务就具有 demo 用户组的权限。 映射规则中，属性必须为 sub，值的格式为：system:serviceaccount:Namespace:ServiceAccountName 本地集群中的相关插件需要配置指定的 ServiceAccountName 和用户组权限才能正常工作，请参见 表1。 单击“确定”。

本地集群安装云原生日志采集插件 登录U CS 控制台，选择容器舰队，单击集群名称进入集群，在左侧导航栏中选择“插件中心”，在右侧找到云原生日志采集插件，单击“安装”。 在安装插件页面，设置“规格配置”。 表3 插件规格配置 参数 参数说明 插件规格 该插件可配置“小规格”、“大规格”或“自定义”规格。 实例数 选择上方插件规格后，显示插件中的实例数。 选择“自定义”规格时，您可根据需求调整插件实例数。 容器 log-agent插件包含以下容器，您可根据需求自定义调整规格： fluent-bit：日志收集器，以DaemonSet形式安装在每个节点。 cop-logs：负责采集侧配置文件生成及更新的组件。 log-operator：负责解析及更新日志规则的组件。 otel-collector：负责集中式日志转发的组件，将fluent-bit收集的日志转发到LTS。 设置插件支持的“参数配置”。 插件默认创建名称为“k8s-log-{集群 ID}”的日志组和相关采集日志流，并根据用户配置的采集规则进行日志采集与上报。 默认日志规则：插件默认采集容器标准输出日志和集群内K8s事件，该设置不可自定义。 访问密钥（AK/SK）：访问密钥获取方法请参见访问密钥。 设置插件实例的“调度策略”。 调度策略对于DaemonSet类型的插件实例不会生效。 表4 插件调度配置 参数 参数说明 多可用区部署 优先模式：优先将插件的Deployment实例调度到不同可用区的节点上，如集群下节点不满足多可用区，插件实例将调度到单可用区。 强制模式：插件Deployment实例强制调度到不同可用区的节点上，如集群下节点不满足多可用区，插件实例将无法全部运行。 完成以上配置后，单击“安装”。

创建FederatedHPA策略 控制台创建 登录UCS控制台，在左侧导航栏中选择“容器舰队”。 单击已开通集群联邦的容器舰队名称，进入容器舰队详情页面。 在左侧导航栏选择“负载伸缩”，在“指标伸缩策略”页签下，单击右上角的“创建指标伸缩策略”。 配置FederatedHPA策略参数。 表1 FederatedHPA策略参数配置 参数 参数说明 策略名称 FederatedHPA策略的名称。输入长度范围为4-63个字符。 命名空间 请选择需要自动扩缩的工作负载所在命名空间的名称。也可新建命名空间，具体操作请参见命名空间。 生效工作负载 请选择需要设置自动扩缩的工作负载的名称。也可新建工作负载，具体操作请参见工作负载。 实例范围 触发策略时，工作负载内Pod数量所能达到的最大值与最小值。 最小值：请输入1-299之间的正整数。 最大值：请输入1-1500之间的正整数，且填写值需大于实例范围最小值。 稳定窗口时长 稳定窗口时长内指标数据持续达到期待值，才会进行扩缩。默认扩容稳定窗口时长为0秒，缩容稳定窗口时长为300秒。稳定窗口时长的详细信息请参见如何保证负载伸缩的稳定性？。 扩容：请输入0-3600之间的正整数，单位为秒。 缩容：请输入0-3600之间的正整数，单位为秒。 系统规则 若您需要基于系统指标对工作负载进行扩缩，则需配置该规则。 指标：可选择“CPU利用率”或“内存利用率”。 期待值：指标数据达到期待值时，触发扩缩。 自定义规则 若您需要基于自定义指标对工作负载进行扩缩，则需配置该规则。 自定义指标名称：在下拉框中选择自定义指标的名称。 指标来源：在下拉框中选择自定义指标所描述的对象类型，目前仅支持“Pod”。 期待值：指标数据达到期待值时，触发扩缩。 注意： 自定义规则仅支持1.19及更高版本的集群创建。 使用自定义规则时，集群中需要安装支持采集自定义指标的插件，且工作负载需正常上报并采集自定义指标，详情请参见安装指标采集插件。 参数配置完成后，单击右下角“创建”，即可跳转指标伸缩策略列表查看策略详情，完成FederatedHPA策略创建。 命令行创建 使用kubectl连接集群联邦，具体操作请参见使用kubectl连接集群联邦。 创建并编辑fhpa.yaml文件，文件内容定义如下所示，关键参数定义请参见表2。 vi fhpa.yaml 本示例创建的FederatedHPA策略名称为hpa-example-hpa，作用于名称为hpa-example的工作负载，稳定窗口时长为扩容0秒、缩容300秒，最大Pod数为100、最小Pod数为2，包含两条系统指标规则（名称为“memory”和“cpu”）。其中，memory规则中内存利用率的期望值为50%，cpu规则中CPU利用率的期望值为60%。 apiVersion: autoscaling.karmada.io/v1alpha1 kind: FederatedHPA metadata: name: hpa-example-hpa # FederatedHPA策略名称 namespace: default # 工作负载所在命名空间名称 spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: hpa-example # 工作负载名称 behavior: scaleDown: stabilizationWindowSeconds: 300 # 缩容的稳定窗口时长为300秒 scaleUp: stabilizationWindowSeconds: 0 # 扩容的稳定窗口时长为0秒 minReplicas: 2 # 最小Pod数为2 maxReplicas: 100 # 最大Pod数为100 metrics: - type: Resource resource: name: memory # 第一条规则名称 target: type: Utilization # 指标类型为利用率 averageUtilization: 50 # 期望的平均利用率 - type: Resource resource: name: cpu # 第二条规则名称 target: type: Utilization # 指标类型为利用率 averageUtilization: 60 # 期望的平均利用率 表2 关键参数说明 参数 是否必填 参数类型 描述 stabilizationWindowSeconds 否 String 缩容的稳定窗口时长，请输入0-3600之间的正整数，单位为秒，不定义时默认为300秒。 说明： 稳定窗口时长内指标数据持续达到期待值，才会进行扩缩。稳定窗口时长的详细信息请参见如何保证负载伸缩的稳定性？。 stabilizationWindowSeconds 否 String 扩容的稳定窗口时长，请输入0-3600之间的正整数，单位为秒，不定义时默认为0秒。 minReplicas 是 String 触发策略时，工作负载内Pod数量所能缩容到的最小值，请输入1-299之间的正整数。 maxReplicas 是 String 触发策略时，工作负载内Pod数量所能扩容到的最大值，请输入1-1500之间的正整数，且输入值需大于实例范围最小值。 name 是 String 规则名称。基于系统指标进行弹性伸缩时，基于内存利用率的规则名称为memory，基于CPU利用率的规则名称为cpu。 type 是 String 指标类型。 Value：总量 AverageValue：平均量 = 总量 / 当前Pod数 Utilization：利用率 = 平均量 / 申请量 averageUtilization 是 String 指标数据达到期待值时，触发扩缩。 执行如下命令创建FederatedHPA策略。 kubectl apply -f fhpa.yaml 回显如下表明创建成功。 FederatedHPA.autoscaling.karmada.io/hpa-example-hpa created 创建完成后，可以执行如下命令观察负载伸缩的运行效果。 检查工作负载的当前Pod数：kubectl get deployments 查看FederatedHPA策略事件（仅保留最近三条）：kubectl describe federatedhpa hpa-example-hpa 可以执行如下命令管理FederatedHPA策略。其中hpa-example-hpa为FederatedHPA策略的名称，实际情况中需修改为自己所创建的策略名称。 获取FederatedHPA策略：kubectl get federatedhpa hpa-example-hpa 更新FederatedHPA策略：kubectl edit federatedhpa hpa-example-hpa 删除FederatedHPA策略：kubectl delete federatedhpa hpa-example-hpa

准备网络环境 本地集群的数据接入方式支持公网接入和私网接入。 公网接入是通过公网Internet接入，要求集群能够访问公网，具有弹性灵活、成本低、易接入的优势。如果对网络质量没有要求，只想采用更简便的方式接入，那么公网接入是个不错的选择。 公网接入要求集群能够访问公网，请确保集群已符合此条件，否则会接入失败。 私网接入是通过云专线（DC）或 虚拟专用网络 （VPN）服务将云下网络与云上虚拟私有云（VPC）连通，并利用 VPC终端节点 通过内网与容器智能分析建立连接，具有高速、低时延、安全的优势。 图1 私网接入原理 因此，在开启之前，您需要准备满足一个云上虚拟私有云（VPC），并将线下自有IDC的网络环境与该VPC连通。VPC子网网段不能与IDC中已使用的网络网段重叠，否则将无法接入集群，例如，IDC中已使用的VPC子网为192.168.1.0/24，那么华为云VPC中不能使用192.168.1.0/24这个子网。 网络连通可以选用如下两种方案： 虚拟专用网络（VPN）方案：请参见通过VPN连接云下数据中心与云上VPC。 云专线（DC）方案：请参见用户通过单专线静态路由访问VPC或用户通过单专线BGP协议访问VPC。

相关操作 事件：可以设置查询条件，比如设置事件产生的时间段或搜索事件名称，查看相关事件。 实例/任务列表：可以查看相应实例/任务的名称、状态等。 事件：实例产生的事件信息，保存时间为1小时。 实例列表：查看实例名称、状态、重启次数等。 查看YAML：查看对应实例的YAML文件。 删除：删除实例。 查看/编辑YAML：可以查看/编辑工作负载的YAML文件。 删除：删除任务。 停止（仅定时任务支持）：停止定时任务。

创建普通任务 普通任务可用于创建仅执行一次的批处理任务，任务执行完成后会自动退出。使用场景为在创建工作负载前，执行普通任务，将镜像上传至镜像仓库。 （可选）普通任务需要基于镜像创建，若选择私有镜像，用户首先需要将镜像上传至镜像仓库。 登录集群控制台，在左侧导航栏中选择“工作负载”，选择“普通任务”页签，并单击右上角“镜像创建”。 配置工作负载的信息。 基本信息 负载类型：选择普通任务Job。 负载名称：填写工作负载的名称。 命名空间：选择工作负载的命名空间，默认为default。您可以单击后面的“创建命名空间”，命名空间的详细介绍请参见创建命名空间。 实例数量：填写实例的数量，也就是Pod的数量。 容器配置 容器信息：Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器。 基本信息：请参见表1。 表1 基本信息参数说明 参数 说明 容器名称 为容器命名。 镜像名称 单击后方“选择镜像”，选择容器使用的镜像。 我的镜像：当前区域下镜像仓库中的镜像。若无可用的镜像，可单击“上传镜像”进行上传。 镜像中心：开源镜像仓库中的官方镜像。 共享镜像：由他人账号共享的私有镜像，详情请参见共享私有镜像。 镜像版本 选择需要部署的镜像版本。 更新策略 镜像更新/拉取策略。勾选“总是拉取镜像”表示每次都从镜像仓库拉取镜像；如不勾选则优先使用节点已有的镜像，如果没有这个镜像再从镜像仓库拉取。 CPU配额 申请：容器需要使用的最小CPU值，默认0.25Core。 限制：允许容器使用的CPU最大值。建议设容器配额的最高限额，避免容器资源超额导致系统故障。 内存配额 申请：容器需要使用的内存最小值，默认512MiB。 限制：允许容器使用的内存最大值。如果超过，容器会被终止。 关于CPU/内存配额申请和限制的具体说明请参见设置容器规格。 初始化容器 选择容器是否作为初始化容器。 Init 容器是一种特殊容器，在Pod内的应用容器启动之前运行。详细说明请参见Init 容器。 特权容器 特权容器是指容器里面的程序具有一定的特权。 若选中，容器将获得超级权限，例如可以操作宿主机上面的网络设备、修改内核参数等。 生命周期：设置生命周期回调函数可在容器的特定阶段执行调用，比如容器在停止前希望执行某项操作，就可以设置相应的函数。目前提供的生命周期回调函数有启动命令、启动后处理、停止前处理，详情请参见设置容器生命周期。 环境变量：容器运行环境中设定的一个变量，通过环境变量设置的配置项不会随着Pod生命周期结束而变化，详情请参见设置环境变量。 数据存储：配置容器存储，可以使用本地存储和存储卷声明（PVC）。建议使用PVC将工作负载Pod数据存储在 云存储 上。若存储在本地磁盘上，节点异常无法恢复时，本地磁盘中的数据也将无法恢复。容器存储相关内容请参见容器存储。 镜像访问凭证：用于访问镜像仓库的凭证。该凭证仅访问私有镜像仓库时使用，如所选镜像为公开镜像，则无需选择密钥。密钥的创建方法请参见创建密钥。 高级配置 标签与注解：您可以单击“添加”为Pod增加标签或注解，新增标签或注解的键不能与已有的重复。 任务设置： 并行数：任务负载执行过程中允许同时创建的最大实例数，并行数应不大于实例数。 超时时间：当任务执行超出该时间时，任务将会被标识为执行失败，任务下的所有实例都会被删除。为空时表示不设置超时时间。 任务创建完成后，在“普通任务”列表中可查看已创建的普通任务。 待状态为“处理中”，普通任务创建成功。

创建定时任务 定时任务可用于创建按照设定时间和周期重复执行的任务，任务执行完成后会自动退出。使用场景为在某个固定时间点，为所有运行中的节点做时间同步。 （可选）定时任务需要基于镜像创建，若选择私有镜像，用户首先需要将镜像上传至镜像仓库。 登录集群控制台，在左侧导航栏中选择“工作负载”，选择“定时任务”页签，并单击右上角“创建负载”。 配置工作负载的信息。 基本信息 负载类型：选择定时任务CronJob。 负载名称：填写工作负载的名称。 命名空间：选择工作负载的命名空间，默认为default。您可以单击后面的“创建命名空间”，命名空间的详细介绍请参见创建命名空间。 容器配置 容器信息：Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器。 基本信息：请参见表2。 表2 基本信息参数说明 参数 说明 容器名称 为容器命名。 镜像名称 单击后方“选择镜像”，选择容器使用的镜像。 我的镜像：当前区域下镜像仓库中的镜像。若无可用的镜像，可单击“上传镜像”进行上传。 镜像中心：开源镜像仓库中的官方镜像。 共享镜像：由他人账号共享的私有镜像，详情请参见共享私有镜像。 镜像版本 选择需要部署的镜像版本。 更新策略 镜像更新/拉取策略。勾选“总是拉取镜像”表示每次都从镜像仓库拉取镜像；如不勾选则优先使用节点已有的镜像，如果没有这个镜像再从镜像仓库拉取。 CPU配额 申请：容器需要使用的最小CPU值，默认0.25Core。 限制：允许容器使用的CPU最大值。建议设容器配额的最高限额，避免容器资源超额导致系统故障。 内存配额 申请：容器需要使用的内存最小值，默认512MiB。 限制：允许容器使用的内存最大值。如果超过，容器会被终止。 关于CPU/内存配额申请和限制的具体说明请参见设置容器规格。 初始化容器 选择容器是否作为初始化容器。 Init 容器是一种特殊容器，在 Pod 内的应用容器启动之前运行。详细说明请参见Init 容器。 特权容器 特权容器是指容器里面的程序具有一定的特权。 若选中，容器将获得超级权限，例如可以操作宿主机上面的网络设备、修改内核参数等。 生命周期：设置生命周期回调函数可在容器的特定阶段执行调用，比如容器在停止前希望执行某项操作，就可以设置相应的函数。目前提供的生命周期回调函数有启动命令、启动后处理、停止前处理，详情请参见设置容器生命周期。 环境变量：容器运行环境中设定的一个变量，通过环境变量设置的配置项不会随着Pod生命周期结束而变化，详情请参见设置环境变量。 镜像访问凭证：用于访问镜像仓库的凭证。该凭证仅访问私有镜像仓库时使用，如所选镜像为公开镜像，则无需选择密钥。密钥的创建方法请参见创建密钥。 定时规则 并发策略：支持如下三种模式： Forbid：在前一个任务未完成时，不创建新任务。 Allow：定时任务不断新的任务，会抢占集群资源。 Replace：当到达新任务创建时间点，而前一个任务未完成时，新的任务会取代前一个任务。 定时规则：指定新建定时任务在何时执行，YAML中的定时规则通过CRON表达式实现。 以固定周期执行定时任务，支持的周期单位为分钟、小时、日、月。例如，每30分钟执行一次任务，对应的CRON表达式为“*/30 * * * *”，执行时间将从单位范围内的0值开始计算，如00:00:00、00:30:00、01:00:00、...。 以固定时间（按月）执行定时任务。例如，在每个月1日的0时0分执行任务，对应的CRON表达式为“0 0 1 */1 *”，执行时间为****-01-01 00:00:00、****-02-01 00:00:00、...。 以固定时间（按周）执行定时任务。例如，在每周一的0时0分执行任务，对应的CRON表达式为“0 0 * * 1”，执行时间为****-**-01 周一 00:00:00、****-**-08 周一 00:00:00、...。 自定义CRON表达式：关于CRON表达式的用法，可参考CRON。 以固定时间（按月）执行定时任务时，在某月的天数不存在的情况下，任务将不会在该月执行。例如设置天数为30，而2月份没有30号，任务将跳过该月份，在3月30号继续执行。 由于CRON表达式的定义，这里的固定周期并非严格意义的周期。将从0开始按周期对其时间单位范围（例如单位为分钟时，则范围为0~59）进行划分，无法整除时最后一个周期会被重置。因此仅在周期能够平均划分其时间单位范围时，才能表示准确的周期。 举个例子，周期单位为小时，因为“/2、/3、/4、/6、/8和/12”可将24小时整除，所以可以表示准确的周期；而使用其他周期时，在新的一天开始时，最后一个周期将会被重置。比如CRON式为“* */12 * * *”时为准确的周期，每天的执行时间为00:00:00和12:00:00；而CRON式为“* */13 * * *”时，每天的执行时间为00:00:00和13:00:00，在第二天0时，虽然没到13个小时的周期还是会被刷新。 任务记录：可以设置保留执行成功或执行失败的任务个数，设置为0表示不保留。 高级配置 标签与注解：您可以单击“添加”为Pod增加标签或注解，新增标签或注解的键不能与已有的重复。 任务创建完成后，在“定时任务”列表中可查看已创建的定时任务。 待状态为“已启动”，定时任务创建成功。

任务概述 任务管理对应Kubernetes中的Job，分为普通任务和定时任务。 普通任务（Job）是Kubernetes用来控制批处理型任务的资源对象。批处理业务与长期伺服业务（Deployment、StatefulSet）的主要区别是批处理业务的运行有头有尾，而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完成的标志根据不同的spec.completions策略而不同：单Pod型任务有一个Pod成功就标志成功。定数成功型任务保证有N个任务全部成功标志成功。工作队列型任务根据应用确认的全局成功而标志成功。 定时任务（CronJob）即定时任务，是基于时间的Job，类似于Linux系统的crontab，在指定的时间周期运行指定的Job，即： 在给定时间点只运行一次。 在给定时间点周期性地运行。 CronJob的典型用法如下所示： 在给定的时间点调度Job运行。 创建周期性运行的Job，例如数据库备份、发送邮件。

插件简介 E-Backup是云原生存储系统(Everest2.0)中负责云原生应用数据保护的子系统。它支持用户将应用数据（k8s资源）和业务数据（pv卷中的数据）备份到OBS桶中，也允许用户将某次备份数据恢复到指定的K8s集群中。 E-Backup通过备份和恢复两个子功能提供对以下使用场景的支持： 单集群下的容灾 周期性地对集群内部署的应用进行备份，在集群或者应用被破坏时通过恢复功能将应用重新部署到集群中，继续向外提供服务，实现应用的容灾。 同集群/跨集群的克隆 对于需要大批量部署到多个集群中的应用，特别是应用已经在某个集群工作一段时间后需要增添实例的情况。首先对处于工作状态的应用进行备份，随后恢复到同集群的不同Namespace下或者其他集群中，实现应用的克隆。 跨集群/跨云的迁移 由于网络、成本、业务地点变动等原因，需要将应用从某个集群迁移到跨Region的另一个集群，或者从其他云的集群迁入CCE。对迁出集群中的应用进行备份，而后恢复到迁入集群中，实现应用的迁移。

约束与限制 目标集群Kubernetes版本需为1.15及以上，且集群中至少包含一个可用节点。 集群在安装插件时，需要保证集群可正常拉取SWR镜像。 备份/恢复过程中，需尽量保证集群处于稳态，不要触发增、删、改等变更行为，以免出现备份/恢复失败或不完整的情况。若集群发生变更，建议等15分钟后，集群处于稳态，再做备份操作。 E-Backup插件集成开源的Restic组件完成PV数据备份，会对备份时间点的数据做自有快照，并上传数据，不影响用户后续数据的读写，但Restic不进行文件内容的校验和业务一致性校验，其特性遵循restic约束。 Restic组件占用内存大小与初次备份的PV卷数据大小有关。若PV卷数据大于300G，建议采用云存储提供的迁移方式。若使用应用数据管理功能迁移大量PV数据，可修改restic实例的资源配额，具体操作方式请参见修改插件资源配额。 E-Backup插件遵循开源Velero和Restic插件的约束，例如在恢复过程中Service会清除ClusterIP以适应源集群和目标集群间的差异。 若在CCE集群中使用了扩展加密的Secret类型（cfe/secure-opaque），在恢复到其他集群时，需要提前手动创建同名、同类型的Secret（不同集群加解密物料不同），以免恢复的应用无法成功运行。

安装插件 安装E-Backup插件后，请谨慎卸载，否则可能导致已有的备份无法恢复。因为E-Backup插件在执行备份恢复任务时，依赖自定义资源BackupStorageLocation及其Secret，该资源在卸载后重新安装会发生更改。 登录集群控制台。 在左侧导航栏中单击“插件管理”，在可安装插件栏中单击E-Backup插件下的“安装”按钮。 参照表1进行插件规格配置。 表1 E-Backup插件规格配置 参数 参数说明 插件规格 单实例部署。 容器 设置插件容器实例的资源配额。 velero：提供K8s元数据备份/恢复支持。 restic：提供应用数据存储卷备份/恢复支持。 说明： 集群中需要预留足够的资源，若资源不足，插件实例将无法调度。 申请值需小于等于限制值，否则无法成功创建。 请根据备份/恢复数据量大小，适当调整资源限制以避免插件故障。 进行参数配置，当前支持配置以下参数。 volumeWorkerNum：代表并发执行数据卷备份的工作数量，默认为3。 { "volumeWorkerNum": 3 } 单击“安装”后，返回“插件管理”页面查看已安装插件，插件状态为“运行中”，表明该插件已在当前集群中安装成功。

前提条件 使用HPA前需要在集群内安装能够提供Metrics API的插件（详情请参见对Metrics API的支持）： metrics-server：metrics-server从kubelet公开的Summary API中采集度量数据，提供基础资源使用指标，例如容器CPU和内存使用率。 为本地集群安装metrics-server，请参见metrics-server。 为其他集群安装metrics-server，请参见社区官方文档。对于附着集群，您也可安装对应厂商所提供的metric-server插件。 Prometheus：Prometheus是一套开源的系统监控报警框架，能够采集丰富的Metrics（度量数据），因此除基础资源指标外，Prometheus还支持提供自定义指标。

操作步骤 登录UCS集群控制台。 如果是未加入舰队集群，直接单击集群名即可进入集群控制台。 如果是已加入容器舰队的集群，先进入对应容器舰队控制台，选择左侧 “集群管理”内的“容器集群”，再进入对应集群控制台。 左侧导航栏内选择“负载伸缩策略”，单击右上角的“创建 HPA 策略”。 填写待创建HPA策略的参数： 表1 HPA策略参数配置 参数 参数说明 策略名称 新建策略的名称，请自定义。 命名空间 请选择工作负载所在的命名空间。 关联工作负载 请选择要设置HPA 策略的工作负载。 实例范围 请输入最小实例数和最大实例数。 策略触发时，工作负载实例将在此范围内伸缩。 系统策略 指标：可选择“CPU利用率”或“内存利用率”。 说明： 利用率 = 工作负载容器组（Pod）的实际使用量 / 申请量 期望值：请输入期望资源平均利用率。 期望值表示所选指标的期望值，通过向上取整（当前指标值 / 期望值 × 当前实例数）来计算需要伸缩的实例数。 说明： HPA在计算扩容、缩容实例数时，会选择最近5分钟内实例数的最大值。 容忍范围：容忍度默认为0.1。指标处于范围内时不会触发伸缩，期望值必须在容忍范围之间。 当指标值大于缩容阈值且小于扩容阈值时，不会触发扩容或缩容。阈值仅在1.15及以上版本的集群中支持。 须知： 可以设置多条系统策略。

创建策略实例 登录UCS控制台，在左侧导航栏中选择“策略中心”。 在列表中找到已启用策略中心功能的容器舰队或集群，单击“创建策略实例”。 填写如下参数： 图1 创建策略实例 策略定义：从内置的33个策略定义中选择一个，本教程以“k8srequiredlabels”为例，该策略定义的作用是要求资源包含指定的标签，其值与提供的正则表达式匹配。这里设置标签的key为owner，正则表达式为^[a-zA-Z]+.agilebank.demo$。 策略执行方式：包括拦截和告警两种方式。拦截表示不符合策略要求的资源将无法创建，告警表示不符合策略要求的资源仅告警提醒，仍可以正常创建。本教程以“拦截”执行方式为例。 策略生效范围：选择生效的命名空间。本教程以“default”命名空间为例。 单击“创建”，创建完成后系统会自动分发策略，如果分发成功，策略实例将在集群中生效。

验证策略实例是否生效 策略实例分发成功后可在集群中执行符合策略实例的动作，此时该动作可正常执行；若在集群中执行不符合策略实例的动作，该动作将被拒绝掉（取决于设置的策略执行方式）。 尝试在集群中创建一个Pod，定义标签为：owner: user.agilebank.demo，符合策略实例，Pod可以创建成功。 如果在创建Pod时不包含策略实例中定义的标签，则Pod创建不成功，同时在“不合规资源”页签会生成相应的记录。

通过MCI访问服务 MCI对象创建成功后，您可以通过 http://IP:port/path 访问后端工作负载，其中IP:port为MCI关联ELB的IP和端口，path为MCI对象中定义的路径。 MCI对象中还可以设置外部域名，这样您就可以通过域名来访问到ELB，进而访问到后端服务。 spec: rules: - host: www.example.com # 域名 http: paths: - path: / backend: serviceName: nginx # 准备一个名为nginx的联邦service servicePort: 80 # 端口号为80 域名访问依赖于域名解析，需要您将域名解析指向ELB实例的IP地址，例如您可以使用云解析服务 DNS来实现域名解析。

创建MCI对象 使用kubectl连接集群联邦，详细操作请参见使用kubectl连接集群联邦。 创建并编辑 mci.yaml 文件，文件内容定义如下所示，参数定义请参见表1。 vi mci.yaml apiVersion: networking.karmada.io/v1alpha1 kind: MultiClusterIngress metadata: name: nginx-ingress namespace: default annotations: karmada.io/elb.conditions.nginx-svc: '[{ "type": "header", "headerConfig": { "key":"x-header", "values": [ "green" ] } }]' karmada.io/elb.id: 90f9f782-1243-41cc-a57d-6157f6cb85bf karmada.io/elb.projectid: 65382450e8f64ac0870cd180d14e684b karmada.io/elb.health-check-flag: "on" karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP"}' spec: ingressClassName: public-elb rules: - host: demo.localdev.me http: paths: - backend: service: name: nginx-svc # 准备一个名为nginx-svc的联邦service port: number: 8080 # 端口号为8080 path: /web pathType: Prefix MCI对象的结构体定义与networking.kubernetes.io/v1版本Ingress一致，不同之处在于后端服务需要填写为联邦Service，即在UCS控制台创建的Service，具体请参见集群内访问（ClusterIP）。 在配置MCI文件内容的过程中需要遵守的约束条件如下： apiVersion，kind，name必须指定。 spec下不允许填写TLS和DefaultBackend字段。 rules、paths不能为空。 host必须是DNS名称，不可以是IP地址。 service中所指定的后端服务必须是存在的、且输入的相关信息（如端口）是正确的，否则会导致访问服务失败。若您已经创建了参数信息错误的MCI对象，请参考4中的命令更新该MCI对象。 paths中，配置的高级转发策略（karmada.io/elb.conditions.{service name}）越多的后端（backend）在paths中的位置应该越靠前。因为backend在paths中配置的位置越靠前，其转发优先级越高。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 backend下不允许填写resource字段。 path值需要是绝对路径；不合法的path值：invalidPathSequences = []string{"//", "/./", "/../", "%2f","%2F"}，invalidPathSuffixes = []string{"/..", "/."}。 pathType合法值：Exact、Prefix、ImplementationSpecific。 表1 关键参数说明 参数 是否必填 参数类型 描述 karmada.io/elb.id 是 String MCI关联的elb的id，不允许为空。长度为1-32个字符。 karmada.io/elb.projectid 是 String MCI关联的elb所属的项目ID，获取方法请参见获取项目ID。长度为1-32个字符。 karmada.io/elb.port 否 String MCI关联的elb的端口，不填默认为80。支持值为1-65535。 karmada.io/elb.health-check-flag 否 String 是否启用健康检查，可选值为： on：开启 off：不开启 不填写时默认为off。 karmada.io/elb.health-check-option 否 HealthCheck Object 健康检查参数，详情请参见HealthCheck。 说明： 健康检查参数配置示例： karmada.io/elb.health-check-option.nginx-svc: '{"protocol":"TCP","delay":"5","connect_port":"80","timeout":"1","max_retries":"1","path":"/wd"}' karmada.io/elb.conditions.{service name} 否 Array of Condition Object 高级转发策略，详情请参见Condition。{service name}请修改为联邦Service的名称。 karmada.io/elb.lb-algorithm.{service name} 否 String 转发算法： ROUND_ROBIN：加权轮询算法。 LEAST_CONNECTIONS：加权最少连接算法。 SOURCE_IP：源IP算法。 不填写时默认为ROUND_ROBIN。 {service name}请修改为联邦Service的名称。 ingressClassName 是 String ingressClass名称。取值必须为public-elb。 host 否 String 为服务访问域名配置，默认为""，表示域名全匹配。请确保所填写的域名已注册并备案，一旦配置了域名规则后，必须使用域名访问。 backend 否 Backend Object 后端，是Service 和端口名称的组合， 。 对于发往MCI的 HTTP（和 HTTPS）请求，如果与规则中的主机和路径匹配， 则会被发送到所列出的后端。 注意： 后端在paths中的配置顺序决定了策略的转发优先级。 示例：如果为后端X配置两条转发策略a和b，为后端Y配置一条转发规则a，则此时paths中X的配置顺序应在Y之前，否则，同时符合a、b两条转发规则的流量将按照优先级顺序全部转发至Y中。 path 是 String 为路由路径，用户自定义设置。所有外部访问请求需要匹配host和path。 说明： 此处添加的访问路径要求后端应用内存在相同的路径，否则转发无法生效。 例如，Nginx应用默认的Web访问路径为“/usr/share/nginx/html”，在为Ingress转发策略添加“/test”路径时，需要应用的Web访问路径下也包含相同路径，即“/usr/share/nginx/html/test”，否则将返回404。 pathType 是 String 路径类型。 ImplementationSpecific: 匹配方法取决于具体Ingress Controller的实现。在CCE中会使用ingress.beta.kubernetes.io/url-match-mode指定的匹配方式。 Exact：精确匹配 URL 路径，且区分大小写。 Prefix：前缀匹配，且区分大小写。该方式是将URL路径通过“/”分隔成多个元素 ，并且对元素进行逐个匹配。 如果URL中的每个元素均和路径匹配，则说明该URL的子路径均可以正常路由。 说明： Prefix匹配时每个元素均需精确匹配，如果URL的最后一个元素是请求路径中最后一个元素的子字符串，则不会匹配 。例如：/foo/bar匹配/foo/bar/baz，但不匹配/foo/barbaz。 通过“/”分隔元素时，若URL或请求路径以“/”结尾，将会忽略结尾的“/”。例如：/foo/bar会匹配/foo/bar/。 关于Ingress路径匹配示例，请参见示例。 表2 HealthCheck参数说明 参数 是否必填 参数类型 描述 protocol 否 String 健康检查使用的协议，支持TCP/HTTP。 connect_port 否 Int 健康检查使用的端口。支持值为1-65535。 delay 否 Int 健康检查的延迟时间，以秒为单位，1-50。 timeout 否 Int 健康检查的超时时间，以秒为单位，1-50。 path 否 String 健康检查的请求URL，当type为HTTP/HTTPS时生效。 以"/"开头，默认为"/"。支持使用字母、数字和短划线（-）、正斜线（/）、半角句号（.）、百分号（%）、半角问号（?）、井号（#）和and（&）以及扩展字符集。长度为1-80个字符。 max_retries 否 Int 最大重试次数，取值范围1-10。 表3 Condition参数说明 参数 是否必填 参数类型 描述 type 是 String 高级转发策略类型，当前仅支持header。 headerConfig 是 headerConfig Object 高级转发策略对象，详情请参见headerConfig。 表4 headerConfig参数说明 参数 是否必填 参数类型 描述 key 是 String 转发Header头。 长度限制1-40字符，只允许包含字母、数字、短划线和下划线。 values 是 String数组 转发Header头对应的值。 长度限制1-128字符，不支持空格， 双引号，支持以下通配符：*（匹配0个或更多字符）和？（正好匹配1个字符）。 执行如下命令创建MCI对象。 kubectl apply -f mci.yaml 回显如下。 multiClusterIngress.networking.karmada.io/nginx-ingress created 创建完成后，可以执行如下命令操作MCI对象。其中nginx-ingress为MCI对象的名称。 获取MCI对象：kubectl get mci nginx-ingress 更新MCI对象：kubectl edit mci nginx-ingress 删除MCI对象：kubectl delete mci nginx-ingress

准备工作 如您在同一VPC下没有可用的ELB，需要先创建ELB实例，具体请参考创建独享型负载均衡器。该ELB实例需要满足以下条件： ELB为独享型。 ELB必须支持应用型（HTTP/HTTPS）。 ELB网络类型必须支持私网（有私有IP地址）。 MCI为跨集群后端工作负载提供统一入口和七层网络访问，因此需要在联邦中提前部署可用的工作负载（Deployment）和服务（Service）。若您无可用工作负载和服务，请参考无状态负载和集群内访问（ClusterIP）创建。

临时路径挂载 适用于临时存储、灾难恢复、共享运行时数据等场景，工作负载实例的删除或者迁移会导致临时路径被删除。 参考创建无状态负载、创建有状态负载或创建守护进程集，在设置容器基本信息后，选择“数据存储”，在“本地存储”页签下单击添加。 设置添加本地磁盘参数，如表2。 表2 临时路径挂载 参数 参数说明 存储类型 临时路径(EmptyDir)。 磁盘介质 默认：即存储在硬盘上，适用于数据量大，读写效率要求低的场景。 内存：可以提高运行速度，但存储容量受内存大小限制。适用于数据量少，读写效率要求高的场景。 挂载路径 输入数据卷挂载到容器上的路径。 须知： 请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，应用创建失败。 挂载高危目录的情况下 ，建议使用低权限账号启动，否则可能会造成宿主机高危文件被破坏。 子路径 使用子路径挂载本地磁盘，实现在单一Pod中重复使用同一个Volume。不填写时默认为根。 权限 只读：只能读容器路径中的数据卷。 读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失。 重复添加可增加多条设置，单击“确认”完成配置。

配置项挂载 “配置项挂载”用于处理工作负载配置参数。用户需要提前创建工作负载配置，操作步骤请参见配置项（ConfigMap）。 参考创建无状态负载、创建有状态负载或创建守护进程集，在设置容器基本信息后，选择“数据存储”，在“本地存储”页签下单击添加。 设置添加本地磁盘参数，如表3。 表3 配置项挂载 参数 参数说明 存储类型 配置项(ConfigMap)。 配置项 选择对应的配置项名称。 说明： 配置项需要提前创建，详情请参见配置项（ConfigMap）。 挂载路径 输入数据卷挂载到容器上的路径。 须知： 请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，应用创建失败。 挂载高危目录的情况下 ，建议使用低权限账号启动，否则可能会造成宿主机高危文件被破坏。 子路径 使用子路径挂载本地磁盘，实现在单一Pod中重复使用同一个Volume。不填写时默认为根。 权限 仅支持“只读”，只能读容器路径中的数据卷。 重复添加可增加多条设置，单击“确认”完成配置。

主机路径挂载 在容器上挂载宿主机上的文件或目录。通常用于：“容器应用程序生成的日志文件需要永久保存”或者“需要访问宿主机上Docker引擎内部数据结构的容器应用”。 参考创建无状态负载、创建有状态负载或创建守护进程集，在设置容器基本信息后，选择“数据存储”，在“本地存储”页签下单击添加。 设置添加本地磁盘参数，如表1。 表1 主机路径挂载 参数 参数说明 存储类型 主机路径(HostPath)。 主机路径 输入主机路径，如/etc/hosts。 挂载路径 输入数据卷挂载到容器上的路径。 须知： 请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，应用创建失败。 挂载高危目录的情况下 ，建议使用低权限账号启动，否则可能会造成宿主机高危文件被破坏。 子路径 使用子路径挂载本地磁盘，实现在单一Pod中重复使用同一个Volume。不填写时默认为根。 权限 只读：只能读容器路径中的数据卷。 读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失。 重复添加可增加多条设置，单击“确认”完成配置。

master节点与组件升级命令说明 本地集群用户可以通过最新版本的本地集群命令行工具ucs-ctl来进行集群升级，对于管理组件和管理节点的升级，命令如下： ./ucs-ctl upgrade cluster [cluster_name] [flags] 可以配置的flag如下： -a：节点的全量升级，默认情况下upgrade cluster只会升级管理面节点和服务组件，加上-a后则表示全量升级，包括升级所有的业务节点。 -y：默认同意所有请求。 -patch：升级补丁包。 -R：回滚选项。

升级操作 登录UCS控制台，选择“容器舰队”或“未加入舰队的集群”内一个正在运行的低版本集群，单击右下方“升级集群”。 下载更新工具，请使用一台能连接集群的节点作为执行机，先使用如下命令下载新版本的集群管理工具： curl https://ucs-onprem.obs.XXXX.huawei.com/toolkits/ucs-ctl/ucs-ctl -o ucs-ctl && chmod +x ucs-ctl 升级master节点，这里可以使用-y命令来跳过所有选择项，其他可配置的flag请参照master节点与组件升级命令说明： ./ucs-ctl upgrade cluster [cluster name] 集群名称需要和创建本地集群时指定的名称一致，如果不确定名称可进集群内，使用命令查看： ./ucs-ctl get cluster node节点升级，node节点升级可以选择两种升级方式： 全量升级，全量升级指的是将集群内剩余节点全部升级，命令如下： ./ucs-ctl upgrade node -a -c [cluster name] 分批次部分升级，为了防止升级过程出现业务中断的情况，用户也可以选择分批次部分升级节点，此时需要手动选择节点。 ./ucs-ctl upgrade node -n [node ip] -c [cluster name] 特殊情况：若本地集群目前只有master节点，无node节点，此时仅提供master节点的升级命令。 其他可配置的flag请参照node节点升级命令说明。

node节点升级命令说明 对于常规业务节点的升级，命令如下: ./ucs-ctl upgrade node [flags] -c [cluster_name] 其中必须指定集群名称，即加上`-c [cluster_name]`这个flag。 可以配置的flag如下： -a：节点的全量升级。 -y：默认同意所有请求。 -c：指定集群名称。 -r：回滚选项。 -n：指定节点IP。 -f：指定节点配置文件。

使用存储卷声明挂载云存储 参考创建无状态负载、创建有状态负载或创建守护进程集，在设置容器基本信息后，选择“数据存储”，在“存储卷声明PVC”页签下单击添加。 选择需要添加的存储卷声明。如没有可选的存储卷声明，可单击“创建存储卷声明”进行添加，相关参数请参见创建存储卷声明。参数填写完成后，单击“确认”。 填写容器挂载参数。 挂载路径：输入数据卷挂载到容器上的路径。 请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 挂载高危目录的情况下 ，建议使用低权限账号启动，否则可能会造成宿主机高危文件被破坏。 子路径：Kubernetes中数据卷挂载的subPath，指引用卷内的子路径而不是其根路径。该参数不填写时，默认挂载至根路径。 设置权限。 只读：只能读容器路径中的数据卷。 读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失。 重复添加可增加多条存储卷声明设置。

外部依赖 依赖项 功能解释 DNS服务器 DNS服务器需要能够解析OBS、SWR、IAM、DNS以及CIA服务的域名，这些服务的域名请参见地区及终端节点。 公网接入情况下，节点可自动识别默认DNS配置，需提前将DNS服务器上游设置为公网DNS，接下来无需再手动进行DNS服务器配置。 私网接入情况下，节点无法识别默认DNS配置，因此需提前配置好VPCEP解析能力，详情请参考安装前准备。若没有DNS服务器，可参考DNS进行搭建。 apt源 确保有可用的apt源，因为在本地集群执行纳管节点时（纳管节点是指待添加到本地集群管理的服务器），部分安装组件如ntp等，需要从apt源中获取依赖包。 NTP服务器 可选，用于保证集群各节点时间同步，如果使用，推荐用户提供外置NTP服务器。