华为云用户手册
-
漏洞详情 containerd开源社区中披露了一个安全漏洞,在containerd创建容器的场景,非root容器进程的初始inheritalbe capability不为空,可能会造成在execve执行可执行文件时提升到允许的cap集合。该问题已被收录为CVE-2022-24769。 表1 漏洞信息 漏洞类型 CVE-ID 漏洞级别 披露/发现时间 权限提升 CVE-2022-24769 低 2022-3-24
-
漏洞影响 containerd创建容器时默认把 Linux Process capabilities配置到 Inheritable 集合上,这会导致在容器内的进程在以 Non-Root 用户 execve() 执行可执行文件时Inheritable和文件的Inheritable集合的交集被添加到执行完execve后的进程的Permited集合中,出现非预期的“越权“行为。需要说明的是,这个越权并没有突破 execve 前的进程权限,仅仅是继承之前的 capabilities。 该漏洞的影响范围如下: 1. CCE Turbo 集群,使用了低于1.4.1-98版本的containerd作为Kubernetes CRI运行时。 2. CCE集群containerd版本低于1.5.11以下的集群。
-
CCE AI套件(NVIDIA GPU)版本发布记录 CCE会定期发布CCE AI套件(NVIDIA GPU)插件新版本,进行特性更新、性能优化和BUG修复,以提升用户体验和系统稳定性。为了方便您能够体验最新功能、规避已知漏洞或问题,并保障业务的安全性和可靠性,建议定期升级至最新版本的CCE AI套件(NVIDIA GPU)插件。 表1 CCE AI套件(NVIDIA GPU)版本记录 插件版本 支持的集群版本 更新特性 2.7.63 v1.28 v1.29 v1.30 v1.31 修复安全漏洞 2.7.47 v1.28 v1.29 v1.30 v1.31 新增NVIDIA 535.216.03驱动,支持XGPU特性 2.7.42 v1.28 v1.29 v1.30 v1.31 新增NVIDIA 535.216.03驱动,支持XGPU特性 2.7.41 v1.28 v1.29 v1.30 v1.31 新增NVIDIA 535.216.03驱动,支持XGPU特性 2.7.40 v1.28 v1.29 v1.30 v1.31 集成DCGM-Exporter,为集群提供Nvidia GPU节点DCGM指标观测能力 2.7.19 v1.28 v1.29 v1.30 修复nvidia-container-toolkit CVE-2024-0132容器逃逸漏洞 2.7.13 v1.28 v1.29 v1.30 支持节点池粒度配置XGPU 支持GPU渲染场景 支持v1.30集群 2.6.4 v1.28 v1.29 更新GPU卡逻辑隔离逻辑 2.6.1 v1.28 v1.29 升级GPU插件基础镜像 2.5.6 v1.28 修复安装驱动的问题 2.5.4 v1.28 支持v1.28集群 2.1.24 v1.21 v1.23 v1.25 v1.27 GPU基础指标中增加XGPU数据 2.1.14 v1.21 v1.23 v1.25 v1.27 修复nvidia-container-toolkit CVE-2024-0132容器逃逸漏洞 2.1.8 v1.21 v1.23 v1.25 v1.27 修复部分问题 2.0.72 v1.21 v1.23 v1.25 v1.27 更新GPU卡逻辑隔离逻辑 2.0.69 v1.21 v1.23 v1.25 v1.27 升级GPU插件基础镜像 2.0.48 v1.21 v1.23 v1.25 v1.27 修复安装驱动的问题 2.0.46 v1.21 v1.23 v1.25 v1.27 支持535版本Nvidia驱动 支持非root用户使用XGPU 优化启动逻辑 2.0.44 v1.21 v1.23 v1.25 v1.27 支持535版本Nvidia驱动 支持非root用户使用XGPU 优化启动逻辑 2.0.18 v1.21 v1.23 v1.25 v1.27 支持HCE 2.0 2.0.17 v1.21 v1.23 v1.25 v1.27 RollingUpdate参数配置优化 2.0.14 v1.19 v1.21 v1.23 v1.25 v1.27 支持xGPU设备监控 支持nvidia.com/gpu与volcano.sh/gpu-* api兼容 2.0.5 v1.19 v1.21 v1.23 v1.25 - 2.0.0 v1.19 v1.21 v1.23 v1.25 支持GPU虚拟化 驱动安装目录更新至节点/usr/local/nvidia 1.2.28 v1.19 v1.21 v1.23 v1.25 适配OS Ubuntu22.04 GPU驱动目录自动挂载优化 1.2.24 v1.19 v1.21 v1.23 v1.25 节点池支持配置GPU驱动版本 支持GPU指标采集 1.2.20 v1.19 v1.21 v1.23 v1.25 设置插件别名为gpu 1.2.17 v1.15 v1.17 v1.19 v1.21 v1.23 增加nvidia-driver-install pod limits 配置 1.2.15 v1.15 v1.17 v1.19 v1.21 v1.23 适配CCE v1.23集群 1.2.11 v1.15 v1.17 v1.19 v1.21 支持EulerOS 2.10系统 1.2.10 v1.15 v1.17 v1.19 v1.21 CentOS系统支持新版本GPU驱动 1.2.9 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.2.2 v1.15 v1.17 v1.19 适配EulerOS新内核 1.2.1 v1.15 v1.17 v1.19 适配CCE v1.19集群 插件增加污点容忍 1.1.13 v1.13 v1.15 v1.17 支持Centos7.6 3.10.0-1127.19.1.el7.x86_64内核系统 1.1.11 v1.15 v1.17 支持用户自定义驱动地址下载驱动 支持v1.15、v1.17集群 父主题: 插件版本发布记录
-
CoreDNS 域名 解析插件版本发布记录 CCE会定期发布CoreDNS域名解析插件新版本,进行特性更新、性能优化和BUG修复,以提升用户体验和系统稳定性。为了方便您能够体验最新功能、规避已知漏洞或问题,并保障业务的安全性和可靠性,建议定期升级至最新版本的CoreDNS域名解析插件。 表1 CoreDNS域名解析插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.30.30 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 修复部分问题 1.11.4 1.30.29 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持CCE v1.31集群 1.11.4 1.30.6 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 支持Corefile配置 适配CCE v1.30集群 1.10.1 1.29.5 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 修复部分问题 1.10.1 1.29.4 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 1.10.1 1.28.7 v1.21 v1.23 v1.25 v1.27 v1.28 支持插件热更新配置,无需滚动升级 1.10.1 1.28.5 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 1.10.1 1.28.4 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28集群 1.10.1 1.27.4 v1.19 v1.21 v1.23 v1.25 v1.27 - 1.10.1 1.27.1 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 1.10.1 1.25.1 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 1.8.4 1.23.3 v1.15 v1.17 v1.19 v1.21 v1.23 插件依赖例行升级 1.8.4 1.23.2 v1.15 v1.17 v1.19 v1.21 v1.23 插件依赖例行升级 1.8.4 1.23.1 v1.15 v1.17 v1.19 v1.21 v1.23 适配CCE v1.23集群 1.8.4 1.17.15 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.8.4 1.17.9 v1.15 v1.17 v1.19 插件依赖例行升级 1.8.4 1.17.7 v1.15 v1.17 v1.19 同步至社区v1.8.4版本 1.8.4 1.17.4 v1.17 v1.19 适配CCE v1.19集群 1.6.5 1.17.3 v1.17 支持v1.17集群,修复存根域配置问题 1.6.5 1.17.1 v1.17 支持v1.17集群 1.6.5 父主题: 插件版本发布记录
-
节点本地域名解析加速插件版本发布记录 CCE会定期发布节点本地域名解析加速插件新版本,进行特性更新、性能优化和BUG修复,以提升用户体验和系统稳定性。为了方便您能够体验最新功能、规避已知漏洞或问题,并保障业务的安全性和可靠性,建议定期升级至最新版本的节点本地域名解析加速插件。 表1 节点本地域名解析加速插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.6.66 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持修改健康检查端口 1.22.20 1.6.62 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持CCE v1.31集群 1.22.20 1.6.37 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 更新admission-controller组件日志输出为容器标准输出 1.22.20 1.6.36 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 适配CCE v1.30集群 1.22.20 1.6.8 v1.23 v1.25 v1.27 v1.28 v1.29 优化自定义注入配置体验 1.22.20 1.6.7 v1.23 v1.25 v1.27 v1.28 v1.29 新增自定义注入配置 1.22.20 1.6.2 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 1.22.20 1.5.2 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 1.22.20 1.5.1 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 1.22.20 1.5.0 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28集群 插件多可用区部署模式支持选择均匀分布 插件容器基础镜像切HCE20 1.22.20 1.4.6 v1.19 v1.21 v1.23 v1.25 v1.27 修复golang bug导致的admission-controller实例出现高CPU问题 修复插件升级admission-controller实例不会自动重启问题 1.22.20 1.4.0 v1.19 v1.21 v1.23 v1.25 v1.27 修复插件在CCI场景下pod请求耗时长问题 1.22.20 1.3.7 v1.19 v1.21 v1.23 v1.25 v1.27 - 1.22.20 1.3.5 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 1.22.20 1.3.1 v1.19 v1.21 v1.23 v1.25 支持为命名空间自动开启DNS Config自动注入 插件与节点时区一致 1.22.20 1.2.7 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 1.21.1 1.2.4 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 1.21.1 1.2.2 v1.19 v1.21 v1.23 支持自定义NodeLocal DNSCache规格 1.21.1 父主题: 插件版本发布记录
-
CCE密钥管理(对接 DEW)插件版本发布记录 CCE会定期发布CCE密钥管理(对接 DEW)插件新版本,进行特性更新、性能优化和BUG修复,以提升用户体验和系统稳定性。为了方便您能够体验最新功能、规避已知漏洞或问题,并保障业务的安全性和可靠性,建议定期升级至最新版本的CCE密钥管理(对接 DEW)插件。 表1 CCE密钥管理(对接 DEW)插件版本记录 插件版本 支持的集群版本 更新特性 1.1.60 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 修复部分问题 1.1.57 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持CCE v1.31集群 1.1.33 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 适配CCE v1.30集群 1.1.3 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 修复部分问题 1.1.2 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 支持同步csms凭据时创建secret 1.0.31 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.27集群 适配CCE v1.28集群 1.0.9 v1.19 v1.21 v1.23 v1.25 - 1.0.6 v1.19 v1.21 v1.23 v1.25 - 1.0.3 v1.19 v1.21 v1.23 v1.25 适配CCE v1.25集群 1.0.2 v1.19 v1.21 v1.23 适配CCE v1.23集群 1.0.1 v1.19 v1.21 支持主动感知SecretProviderClass对象的变化 父主题: 插件版本发布记录
-
v1.19版本 表9 v1.19补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.19.16-r84 v1.19.16 - - 修复CVE-2024-21626安全漏洞。 v1.19.16-r82 v1.19.16 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.19.16-r80 v1.19.16 - 修复BMS节点重启后显示节点不可用的问题。 优化VIP路由清理逻辑,先清理残留VIP路由,避免出现NetworkManager重启后重新添加路由的问题。 修复CCE Turbo集群使用独享型ELB场景,Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复创建负载均衡类型Service时加入healthcheck队列后,如果Service被删除,会导致缓存残留的问题。 修复控制节点所在的物理机或者交换机网络设备掉线之后,内存持续上涨,docker占用内存持续上涨的问题。 修复部分安全问题。 v1.19.16-r72 v1.19.16 - 修复部分场景下非预期的控制节点主备切换。 优化路由删除匹配机制,修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.19.16-r70 v1.19.16 - 修复有状态负载Pod可能出现后端添加失败或未更改问题。 增强控制节点核心组件故障隔离能力。 修复达到预热参数回收空闲网卡条件后,可能并没有回收网卡的问题。 修复部分安全问题。 v1.19.16-r60 v1.19.16 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度(Descheduler)。 - 修复部分安全问题。 v1.19.16-r50 v1.19.16 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.19.16-r40 v1.19.16 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签,以便于成本管理。 - 修复部分安全问题。 v1.19.16-r30 v1.19.16 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.19.16-r20 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 云原生2.0网络支持命名空间指定子网。 增强节点重启后,docker运行时拉取镜像的稳定性。 优化CCE Turbo集群在非全预热场景分配网卡的性能。 修复部分安全问题。 v1.19.16-r10 v1.19.16 - 提升Service/Ingress对接ELB特性稳定性。 修复部分安全问题。 v1.19.16-r7 v1.19.16 - 增强Docker版本升级时的可靠性。 优化集群节点时间同步能力。 增强CCE Turbo集群预热场景可靠性。 修复部分安全问题。 v1.19.16-r6 v1.19.16 Service和Ingress支持关联G-EIP的独享型ELB。 增强配置了QoS的containerd容器运行的稳定性。 Ingress支持对url重写策略配置和修改。 优化kube-controller-manager在频繁更新CRD场景下的内存使用。 修复部分安全问题。 v1.19.16-r5 v1.19.16 支持LB类型的Service同时配置TCP/UDP端口,详情请参见指定多个端口配置健康检查。 支持Pod readiness gate,详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 修复部分安全问题。 v1.19.16-r4 v1.19.16 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 优化节点污点场景下负载调度的性能。 增强Containerd运行时绑核场景下长时间运行的稳定性。 优化ELB Service/Ingress在大量连接场景下的稳定性。 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题及以下CVE漏洞: CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.19.16-r3 v1.19.16 - 支持image-pull-progress-deadline启动参数升级保留。 CCE Turbo支持节点自定义网卡动态预热配置。 BMS节点EulerOS 2.3重启后udp链接稳定性优化。 解决隧道网络在控制节点间网络闪断场景下导致的网络分配不一致问题。 优化容器隧道网络模式集群在控制面节点网络闪断场景下的稳定性。 修复部分安全问题。 v1.19.16-r2 v1.19.16 - 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上Pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.19.16-r1 v1.19.16 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.19.16-r0 v1.19.16 - 增强工作负载升级且节点伸缩状态下,负载均衡服务更新的稳定性。 修复部分安全问题及以下CVE漏洞: CVE-2021-25741 CVE-2021-25737 v1.19.10-r0 v1.19.10 首次发布CCE v1.19集群,有关更多信息请参见Kubernetes 1.19版本说明。 - -
-
v1.21版本 表8 v1.21补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.21.15-r0 v1.21.14 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.21.14-r0 v1.21.14 支持使用PVC动态创建SFS Turbo子目录并挂载。 - 修复部分安全问题。 v1.21.13-r0 v1.21.14 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固(满足等保三级基线要求)。 - 修复部分安全问题。 v1.21.12-r4 v1.21.14 - - 修复CVE-2024-21626安全漏洞。 v1.21.12-r2 v1.21.14 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.21.12-r0 v1.21.14 节点池支持节点的自定义前缀和后缀命名 优化健康检查配置,避免出现keepalived反复重启的问题。 优化securityPolicy缓存及Ingress重试风暴。 修复cloud-controller-manager组件主进程所在控制节点出现卡IO,组件切主失败的问题。 修复Service设置权重后,会错误计算terminating状态的Pod数,导致Pod权重不准确的问题。 修复部分安全问题。 v1.21.11-r40 v1.21.14 - 优化接口调用逻辑,避免业务大规模调用场景下出现接口流控。 修复部分安全问题。 v1.21.11-r30 v1.21.14 - 修复CCE Turbo集群使用独享型ELB场景,Pod滚动升级复用IP可能导致ELB后端服务器无法添加的问题。 修复节点删除过程中,节点状态为不可用但没有及时出现告警的问题。 修复磁盘挂载到E CS 后,系统中可能出现找不到软链文件的问题。 修复部分安全问题。 v1.21.11-r20 v1.21.14 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度(Descheduler)。 - 修复部分安全问题。 v1.21.11-r10 v1.21.14 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.21.11-r0 v1.21.14 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签,以便于成本管理。 - 修复部分安全问题。 v1.21.10-r10 v1.21.14 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.21.10-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 优化节点重启后,docker运行时拉取镜像的稳定性。 修复部分安全问题。 v1.21.9-r0 v1.21.14 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.21.8-r0 v1.21.14 支持LB类型的Service同时配置TCP/UDP端口,详情请参见指定多个端口配置健康检查。 支持Pod readiness gate,详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.21.7-r0 v1.21.14 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 优化ELB Service/Ingress在大量连接场景下的稳定性。 修复部分安全问题及以下CVE漏洞: CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 v1.21.6-r0 v1.21.7 支持ARM节点创建。 - 修复部分安全问题。 v1.21.5-r10 v1.21.7 - 增强EulerOS 2.3的裸金属节点在重启后的UDP链接稳定性。 优化隧道网络在控制面节点间网络闪断场景下导网络分配的稳定性。 ovs漏洞加固。 修复部分安全问题。 v1.21.5-r0 v1.21.7 - 增强集群升级下容器隧道网络模式的稳定性。 增强pod拓扑分布约束能力。 增强集群控制面节点掉电时链接释放的稳定性。 增强节点上pod并发挂载存储卷的稳定性。 修复部分安全问题。 v1.21.4-r10 v1.21.7 - 增强EulerOS 2.9操作系统NetworkManager的稳定性。 修复部分安全问题。 v1.21.4-r0 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 增强升级工作负载且处于节点伸缩时,访问负载均衡服务的稳定性。 修复部分安全问题。 v1.21.3-r10 v1.21.7 - 增强安全容器场景下容器网卡驱动切换的稳定性。 修复部分安全问题。 v1.21.3-r0 v1.21.7 - CCE Turbo集群容器内的SNAT网段支持可配置。 修复部分安全问题。 v1.21.2-r10 v1.21.7 - 增强Service对接负载均衡场景的稳定性。 修复部分安全问题。 v1.21.2-r0 v1.21.7 优化节点的资源预留参数,支持资源耗尽检测,提升节点的稳定性。 提升集群升级能力,增强升级可靠性。 优化容器本地存储功能,提升稳定性。 修复部分安全问题。 v1.21.1-r2 v1.21.7 容器存储支持本地持久卷。 支持管理EulerOS 2.9鲲鹏计算实例。 容器隧道网络模式和VPC网络模式支持OS内核版本宽匹配。 优化节点安装流程,增强节点创建的可靠性。 优化CentOS和EulerOS 2.5的内核参数,提升OS性能。 修复部分安全问题。 v1.21.1-r1 v1.21.7 - 容器网络支持内核宽匹配。 修复部分安全问题。 v1.21.1-r0 v1.21.7 首次发布CCE v1.21集群,有关更多信息请参见Kubernetes 1.21版本说明。 - -
-
v1.23版本 表7 v1.23补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.23.18-r16 v1.23.18 - - 修复部分安全问题。 v1.23.18-r14 v1.23.18 - 优化集群升级稳定性。 优化集群过载保护的计算模式。 修复部分安全问题。 v1.23.18-r12 v1.23.18 - 修复部分场景下模板上传失败问题。 修复部分安全问题。 v1.23.18-r10 v1.23.18 ELB Ingress支持根据HTTP请求方法、HTTP请求头、查询字符串、网段、Cookie等请求参数进行转发。 ELB Ingress支持配置跨域访问。 更新节点池时支持修改节点密码。 创建节点时支持只使用系统盘。 更新ELB Ingress时支持修改HTTP重定向到HTTPS的配置。 使用Docker容器引擎的节点池时支持自定义配置默认镜像地址。 修复部分安全问题。 v1.23.18-r2 v1.23.17 - 增强系统稳定性。 修复部分安全问题。 v1.23.18-r0 v1.23.17 CCE删除集群,支持勾选删除日志组。 创建集群时支持选择用户自己管理的KMS实例来进行Secret加密落盘ETCD。 通过私有镜像创建节点,支持保留镜像密码选项。 CCE支持GPU渲染场景。 CCE支持ELB全端口类型监听器。 修复部分安全问题。 v1.23.17-r0 v1.23.17 支持 RAM 实现跨账号密钥共享。 自定义节点池支持迁移节点。 支持Flexus云服务器X实例。 节点池配置管理新增containerd默认镜像地址配置项。 CCE节点池列表页面支持自定义排序。 修复部分安全问题。 v1.23.16-r4 v1.23.17 - 增强了早期版本集群在跨度较大的升级场景下负载均衡服务的稳定性。 修复部分安全问题。 v1.23.16-r2 v1.23.17 - 增强了集群升级场景的容器日志采集的可靠性。 修复部分安全问题。 v1.23.16-r0 v1.23.17 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 (仅CCE Turbo集群)支持使用annotation为Pod配置安全组。 (仅CCE Turbo集群)为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 通过控制台重置节点将默认保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.23.15-r0 v1.23.17 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀(Everest版本要求为2.4.15及以上)。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.23.14-r0 v1.23.17 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.23.13-r0 v1.23.17 负载均衡类型的Service和ELB Ingress能力新增: 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.23.12-r0 v1.23.17 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固(满足等保三级基线要求)。 - 修复部分安全问题。 v1.23.11-r4 v1.23.17 - - 修复CVE-2024-21626安全漏洞。 v1.23.11-r2 v1.23.17 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.23.11-r0 v1.23.17 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中,支持创建工作负载类型的容器网络配置,可指定Pod子网,详情请参见容器网络配置(NetworkAttachmentDefinition)。 ELB Ingress支持GRPC协议,详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP,详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复Docker在journald异常退出场景下导致容器无法被结束的问题。 修复Everest插件卸载时,调度器未能在创建Pod时拦截自动挂载SFS3.0存储卷的问题。 修复v1.23版本集群中,EulerOS 2.9系统的containerd节点上/var/lib/contained磁盘目录使用率虚高的问题。 修复部分安全问题。 v1.23.10-r20 v1.23.11 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化路由删除匹配机制,修复偶发性删除路由命令失败的问题。 修复部分安全问题。 v1.23.10-r10 v1.23.11 - 修复节点大规模重启可能导致kube-schedule组件发生重启的问题。 优化Service自动创建共享型ELB的参数校验。 修复删除NodePort类型的Service后,立刻创建同端口Service出现偶发性报错的问题。 修复部分安全问题。 v1.23.10-r0 v1.23.11 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度(Descheduler)。 - 修复部分安全问题。 v1.23.9-r10 v1.23.11 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.23.9-r0 v1.23.11 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签,以便于成本管理。 - 修复部分安全问题。 v1.23.8-r10 v1.23.11 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.23.8-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强:支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置(NetworkAttachmentDefinition)。 集群支持CPU Burst特性,避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强docker版本升级时的可靠性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.7-r20 v1.23.11 - 增强Service/Ingress对接ELB特性稳定性。 增强节点挂载多块数据盘场景可靠性。 修复部分安全问题。 v1.23.7-r10 v1.23.11 - 增强docker版本升级时的可靠性。 增强containerd运行时在异常断链场景下的可靠性。 内核参数调优异常场景下加固。 修复部分安全问题。 v1.23.7-r0 v1.23.11 Service和Ingress支持关联G-EIP的独享型ELB。 优化CCE Turbo集群在规格变更场景时网络的稳定性。 增强集群升级场景,nginx-ingress-controller的网络稳定性。 优化集群节点时间同步能力。 修复部分安全问题。 v1.23.6-r0 v1.23.11 支持LB类型的Service同时配置TCP/UDP端口,详情请参见指定多个端口配置健康检查。 支持Pod readiness gate,详情请参见通过ELB健康检查设置Pod就绪状态。 增强底层网络异常时的流表可靠性。 增强高版本内核的OS异常掉电等重启场景的稳定性。 cadvisor GPU/NPU相关指标优化。 修复部分安全问题。 v1.23.5-r0 v1.23.11 容器存储支持对接SFS 3.0文件存储服务。 支持GPU节点的设备故障检测和隔离能力。 支持配置集群维度的自定义安全组。 CCE Turbo集群支持节点级别的网卡预热参数配置。 支持集群控制面组件的日志信息开放。 集群支持华为云自研的Huawei Cloud EulerOS 2.0操作系统。 CCE集群支持选择Containerd容器运行时。 CCE Turbo集群在离线混部增强:支持CPU潮汐亲和性。 优化升级控制节点ETCD版本至社区版本3.5.6。 优化EulerOS 2.8节点上Service的访问性能。 优化调度均衡性,工作负载实例数缩容时仍保持跨AZ分布均衡。 优化kube-apiserver在频繁更新CRD场景下的内存使用。 修复部分安全问题及以下CVE漏洞: CVE-2022-3294 CVE-2022-3162 CVE-2022-3172 CVE-2021-25749 v1.23.4-r10 v1.23.4 - 优化kube-apiserver在频繁更新crd场景下的内存使用。 修复部分安全问题。 v1.23.4-r0 v1.23.4 支持ARM节点创建。 - 修复部分安全问题。 v1.23.3-r0 v1.23.4 CCE集群支持对租户开放控制节点组件监控指标。 通过预热机制优化CCE Turbo集群SubENI网卡启动速度。 支持ELB类型service配置后端服务器权重。 CCE集群支持跨集群部署服务。 CCE Turbo集群使用虚拟机节点场景下支持在离线混部功能。 增强安全容器在反复创删场景下的可靠性。 修复部分安全问题。 v1.23.1-r1 v1.23.4 优化节点的资源预留参数,支持资源耗尽检测,提升节点的稳定性。 提升节点的安装兼容性。 修复部分安全问题。 v1.23.1-r0 v1.23.4 首次发布CCE v1.23集群,有关更多信息请参见Kubernetes 1.23版本说明。 - -
-
v1.25版本 除EulerOS 2.5操作系统外,CCE v1.25集群的节点均默认采用Containerd容器引擎,且v1.25以上集群将不再支持EulerOS 2.5操作系统。 表6 v1.25补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.25.16-r20 v1.25.16 节点池扩容包周期节点时支持自动支付功能。 节点池扩容节点支持自动绑定EIP。 ELB Ingress支持指定后端转发服务器组。 - 修复部分安全问题。 v1.25.16-r14 v1.25.16 - 优化负载均衡类型的Service和Ingress的ELB超时时间配置体验。 优化集群升级时对特殊节点池配置的兼容性。 优化裸金属服务器使用的私有镜像兼容性。 优化弹性云服务器-物理机的容器网络性能。 修复部分安全问题。 v1.25.16-r12 v1.25.16 - Docker运行时安全性提升。 修复部分安全问题。 v1.25.16-r10 v1.25.16 ELB Ingress支持更多高级转发动作,支持返回固定响应体等。 新建CCE Turbo集群支持开启DataPlane V2,开启后集群中可配置NetworkPolicy。 集群升级过程中支持节点扩容。 ELB Ingress配置访问控制支持选择多个黑/白名单。 修复部分安全问题。 v1.25.16-r4 v1.25.16 - 优化集群升级稳定性。 优化集群过载保护的计算模式。 修复部分安全问题。 v1.25.16-r2 v1.25.16 - 修复部分场景下模板上传失败问题。 修复部分安全问题。 v1.25.16-r0 v1.25.16 ELB Ingress支持根据HTTP请求方法、HTTP请求头、查询字符串、网段、Cookie等请求参数进行转发。 ELB Ingress支持配置跨域访问。 更新节点池时支持修改节点密码。 创建节点时支持只使用系统盘。 更新ELB Ingress时支持修改HTTP重定向到HTTPS的配置。 使用Docker容器引擎的节点池时支持自定义配置默认镜像地址。 修复部分安全问题。 v1.25.13-r2 v1.25.16 - 增强系统稳定性。 修复部分安全问题。 v1.25.13-r0 v1.25.16 CCE删除集群,支持勾选删除日志组。 创建集群时支持选择用户自己管理的KMS实例来进行Secret加密落盘ETCD。 通过私有镜像创建节点,支持保留镜像密码选项。 CCE支持GPU渲染场景。 CCE支持ELB全端口类型监听器。 修复部分安全问题。 v1.25.12-r0 v1.25.16 支持RAM实现跨账号密钥共享。 自定义节点池支持迁移节点。 支持Flexus云服务器X实例。 节点池配置管理新增containerd默认镜像地址配置项。 CCE节点池列表页面支持自定义排序。 修复部分安全问题。 v1.25.11-r4 v1.25.16 - 增强了早期版本集群在跨度较大的升级场景下负载均衡服务的稳定性。 修复部分安全问题。 v1.25.11-r2 v1.25.16 - 增强了集群升级场景的容器日志采集的可靠性。 修复部分安全问题。 v1.25.11-r0 v1.25.16 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 (仅CCE Turbo集群)支持使用annotation为Pod配置安全组。 (仅CCE Turbo集群)为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 通过控制台重置节点将默认保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.25.10-r0 v1.25.16 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀(Everest版本要求为2.4.15及以上)。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.25.9-r0 v1.25.16 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.25.8-r0 v1.25.10 负载均衡类型的Service和ELB Ingress能力新增: 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.25.7-r0 v1.25.10 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固(满足等保三级基线要求)。 - 修复部分安全问题。 v1.25.6-r4 v1.25.10 - - 修复CVE-2024-21626安全漏洞。 v1.25.6-r2 v1.25.10 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.25.6-r0 v1.25.10 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中,支持创建工作负载类型的容器网络配置,可指定Pod子网,详情请参见容器网络配置(NetworkAttachmentDefinition)。 ELB Ingress支持GRPC协议,详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP,详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 修复kubelet在特定场景下偶现启动卡死的问题。 优化autoscaler扩容节点池时的事件上报逻辑,去除规格售罄的重复事件。 修复特定场景下kubelet重启,出现Succeed状态的Pod变为Failed的问题。 修复部分安全问题。 v1.25.5-r20 v1.25.5 - 优化接口调用逻辑,避免业务大规模调用场景下出现接口流控。 启用chrony配置清理修正,避免数据堆积。 修复部分安全问题。 v1.25.5-r10 v1.25.5 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.25.5-r0 v1.25.5 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度(Descheduler)。 - 修复部分安全问题。 v1.25.4-r10 v1.25.5 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.25.4-r0 v1.25.5 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签,以便于成本管理。 - 修复部分安全问题。 v1.25.3-r10 v1.25.5 CCE集群支持对接使用弹性规格的独享型ELB。 负载均衡支持设置超时时间。详情请参见负载均衡类型的服务设置超时时间和ELB Ingress设置超时时间。 kube-apiserver高频参数支持配置。 修复部分安全问题。 v1.25.3-r0 v1.25.5 Service和Ingress支持关联G-EIP的独享型ELB。 CCE Turbo容器网卡支持固定IP。详情请参见为Pod配置固定IP。 CCE Turbo容器网卡支持自动创建和自动绑定EIP。详情请参见为Pod配置固定EIP。 CCE Turbo集群在离线混部增强:支持Pod网络优先级限制。详情请参见出口网络带宽保障。 CCE Turbo集群支持命名空间关联容器网段。详情请参见网络配置(NetworkAttachmentDefinition)。 集群支持CPU Burst特性,避免CPU限流影响时延敏感型容器业务。详情请参见CPU Burst弹性限流。 增强CCE Turbo集群在规格变更场景时网络的稳定性。 修复部分安全问题。 v1.25.1-r0 v1.25.5 首次发布CCE v1.25集群,有关更多信息请参见Kubernetes 1.25版本说明。 - -
-
v1.27版本 表5 v1.27补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.27.16-r20 v1.27.16 节点池扩容包周期节点时支持自动支付功能。 节点池扩容节点支持自动绑定EIP。 ELB Ingress支持指定后端转发服务器组。 - 修复部分安全问题。 v1.27.16-r14 v1.27.16 - 优化负载均衡类型的Service和Ingress的ELB超时时间配置体验。 优化集群升级时对特殊节点池配置的兼容性。 优化裸金属服务器使用的私有镜像兼容性。 优化弹性云服务器-物理机的容器网络性能。 修复部分安全问题。 v1.27.16-r12 v1.27.16 - Docker运行时安全性提升。 修复部分安全问题。 v1.27.16-r10 v1.27.16 ELB Ingress支持更多高级转发动作,支持返回固定响应体等。 新建CCE Turbo集群支持开启DataPlane V2,开启后集群中可配置NetworkPolicy。 集群升级过程中支持节点扩容。 ELB Ingress配置访问控制支持选择多个黑/白名单。 修复部分安全问题。 v1.27.16-r4 v1.27.16 - 优化集群升级稳定性。 优化集群过载保护的计算模式。 修复部分安全问题。 v1.27.16-r2 v1.27.16 - 修复部分场景下模板上传失败问题。 修复部分安全问题。 v1.27.16-r0 v1.27.16 ELB Ingress支持根据HTTP请求方法、HTTP请求头、查询字符串、网段、Cookie等请求参数进行转发。 ELB Ingress支持配置跨域访问。 更新节点池时支持修改节点密码。 创建节点时支持只使用系统盘。 更新ELB Ingress时支持修改HTTP重定向到HTTPS的配置。 使用Docker容器引擎的节点池时支持自定义配置默认镜像地址。 修复部分安全问题。 v1.27.10-r2 v1.27.12 - 增强系统稳定性。 修复部分安全问题。 v1.27.10-r0 v1.27.12 CCE删除集群,支持勾选删除日志组。 创建集群时支持选择用户自己管理的KMS实例来进行Secret加密落盘ETCD。 通过私有镜像创建节点,支持保留镜像密码选项。 CCE支持GPU渲染场景。 CCE支持ELB全端口类型监听器。 修复部分安全问题。 v1.27.9-r0 v1.27.12 支持RAM实现跨账号密钥共享。 自定义节点池支持迁移节点。 支持Flexus云服务器X实例。 节点池配置管理新增containerd默认镜像地址配置项。 CCE节点池列表页面支持自定义排序。 修复部分安全问题。 v1.27.8-r4 v1.27.12 - 增强了早期版本集群在跨度较大的升级场景下负载均衡服务的稳定性。 修复部分安全问题。 v1.27.8-r2 v1.27.12 - 增强了集群升级场景的容器日志采集的可靠性。 修复部分安全问题。 v1.27.8-r0 v1.27.12 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 (仅CCE Turbo集群)支持使用annotation为Pod配置安全组。 (仅CCE Turbo集群)为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 通过控制台重置节点将默认保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.27.7-r0 v1.27.9 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀(Everest版本要求为2.4.15及以上)。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.27.6-r0 v1.27.9 创建节点支持选择Docker容器引擎。 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.27.5-r0 v1.27.4 负载均衡类型的Service和ELB Ingress能力新增: 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.27.4-r0 v1.27.4 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固(满足等保三级基线要求)。 - 修复部分安全问题。 v1.27.3-r4 v1.27.4 - - 修复CVE-2024-21626安全漏洞。 v1.27.3-r2 v1.27.4 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.27.3-r0 v1.27.4 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中,支持创建工作负载类型的容器网络配置,可指定Pod子网,详情请参见容器网络配置(NetworkAttachmentDefinition)。 ELB Ingress支持GRPC协议,详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP,详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 创建Ingress对象时增加配置证书校验,避免对ELB侧已存在的Ingress证书进行覆盖。 优化autoscaler扩容节点池时的事件上报逻辑,去除规格售罄的重复事件。 增加Service与Ingress端口占用的相互校验逻辑;增加同集群下Ingress的路径冲突的的校验逻辑。 修复部分安全问题。 v1.27.2-r20 v1.27.2 - 修复VPC网络模型集群在短时间内创建删除大量Pod时容器网卡偶现残留的问题。 优化Ingress Controller查询证书逻辑,降低触发流控风险。 修复部分安全问题。 v1.27.2-r10 v1.27.2 - 优化节点删除时的事件信息。 修复部分安全问题。 v1.27.2-r0 v1.27.2 Volcano支持节点池亲和调度。详情请参见节点池亲和性调度。 Volcano支持负载重调度能力。详情请参见重调度(Descheduler)。 - 修复部分安全问题。 v1.27.1-r10 v1.27.2 - 优化节点池伸缩时的事件信息。 修复部分安全问题。 v1.27.1-r0 v1.27.2 首次发布CCE v1.27集群,有关更多信息请参见Kubernetes 1.27版本说明。 节点池配置管理支持软驱逐和硬驱逐的设置。 支持为自动创建的EVS块存储添加TMS资源标签,以便于成本管理。 由于社区安全加固,v1.27及以上版本的集群中ClusterIP地址无法ping通。 -
-
v1.28版本 表4 v1.28补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.28.15-r10 v1.28.15 节点池扩容包周期节点时支持自动支付功能。 节点池扩容节点支持自动绑定EIP。 ELB Ingress支持指定后端转发服务器组。 - 修复部分安全问题。 v1.28.15-r4 v1.28.15 - 优化负载均衡类型的Service和Ingress的ELB超时时间配置体验。 优化集群升级时对特殊节点池配置的兼容性。 优化裸金属服务器使用的私有镜像兼容性。 优化弹性云服务器-物理机的容器网络性能。 修复部分安全问题。 v1.28.15-r2 v1.28.15 - Docker运行时安全性提升。 修复部分安全问题。 v1.28.15-r0 v1.28.15 ELB Ingress支持更多高级转发动作,支持返回固定响应体等。 新建CCE Turbo集群支持开启DataPlane V2,开启后集群中可配置NetworkPolicy。 集群升级过程中支持节点扩容。 ELB Ingress配置访问控制支持选择多个黑/白名单。 修复部分安全问题。 v1.28.13-r4 v1.28.13 - 优化集群升级稳定性。 优化集群过载保护的计算模式。 修复部分安全问题。 v1.28.13-r2 v1.28.13 - 修复部分场景下模板上传失败问题。 修复部分安全问题。 v1.28.13-r0 v1.28.13 ELB Ingress支持根据HTTP请求方法、HTTP请求头、查询字符串、网段、Cookie等请求参数进行转发。 ELB Ingress支持配置跨域访问。 更新节点池时支持修改节点密码。 创建节点时支持只使用系统盘。 更新ELB Ingress时支持修改HTTP重定向到HTTPS的配置。 使用Docker容器引擎的节点池时支持自定义配置默认镜像地址。 修复部分安全问题。 v1.28.8-r2 v1.28.8 - 增强系统稳定性。 修复部分安全问题。 v1.28.8-r0 v1.28.8 CCE删除集群,支持勾选删除日志组。 创建集群时支持选择用户自己管理的KMS实例来进行Secret加密落盘ETCD。 通过私有镜像创建节点,支持保留镜像密码选项。 CCE支持GPU渲染场景。 CCE支持ELB全端口类型监听器。 修复部分安全问题。 v1.28.7-r2 v1.28.8 支持RAM实现跨账号密钥共享。 自定义节点池支持迁移节点。 支持Flexus云服务器X实例。 节点池配置管理新增containerd默认镜像地址配置项。 CCE节点池列表页面支持自定义排序。 修复部分安全问题。 v1.28.6-r4 v1.28.8 - 增强了早期版本集群在跨度较大的升级场景下负载均衡服务的稳定性。 修复部分安全问题。 v1.28.6-r2 v1.28.8 - 增强了集群升级场景的容器日志采集的可靠性。 修复部分安全问题。 v1.28.6-r0 v1.28.8 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 (仅CCE Turbo集群)支持使用annotation为Pod配置安全组。 (仅CCE Turbo集群)为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 通过控制台重置节点将默认保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.28.5-r0 v1.28.5 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀(Everest版本要求为2.4.15及以上)。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.28.4-r0 v1.28.5 创建节点支持选择Docker容器引擎。 支持使用通用型SSD v2、极速SSD v2类型的云硬盘。 ELB Ingress支持配置灰度发布。 ELB Ingress支持配置URL重定向、Rewrite重写、HTTP重定向到HTTPS能力。 开放高频使用的集群参数、节点池参数配置。 修复部分安全问题。 v1.28.3-r0 v1.28.3 负载均衡类型的Service和ELB Ingress能力新增: 支持配置SNI。 支持开启HTTP/2。 支持配置空闲超时时间、请求超时时间、响应超时时间。 支持从HTTP报文的请求头中获取监听器端口号、客户端请求端口号、重写X-Forwarded-Host。 - 修复部分安全问题。 v1.28.2-r0 v1.28.3 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固(满足等保三级基线要求)。 - 修复部分安全问题。 v1.28.1-r4 v1.28.3 - - 修复CVE-2024-21626安全漏洞。 v1.28.1-r2 v1.28.3 - 修复Ingress配置SNI证书并同时开启HTTP/2的场景下偶现配置冲突的问题。 - v1.28.1-r0 v1.28.3 首次发布CCE v1.28集群,有关更多信息请参见Kubernetes 1.28版本说明。 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中,支持创建工作负载类型的容器网络配置,可指定Pod子网,详情请参见容器网络配置(NetworkAttachmentDefinition)。 ELB Ingress支持GRPC协议,详情请参见ELB Ingress对接GRPC协议的后端服务。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP,详情请参见通过kubectl命令行创建-自动创建ELB。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 -
-
v1.29版本 表3 v1.29补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.29.10-r10 v1.29.10 节点池扩容包周期节点时支持自动支付功能。 节点池扩容节点支持自动绑定EIP。 ELB Ingress支持指定后端转发服务器组。 - 修复部分安全问题。 v1.29.10-r4 v1.29.10 - 优化负载均衡类型的Service和Ingress的ELB超时时间配置体验。 优化集群升级时对特殊节点池配置的兼容性。 优化裸金属服务器使用的私有镜像兼容性。 优化弹性云服务器-物理机的容器网络性能。 修复部分安全问题。 v1.29.10-r2 v1.29.10 - Docker运行时安全性提升。 修复部分安全问题。 v1.29.10-r0 v1.29.10 ELB Ingress支持更多高级转发动作,支持返回固定响应体等。 新建CCE Turbo集群支持开启DataPlane V2,开启后集群中可配置NetworkPolicy。 集群升级过程中支持节点扩容。 ELB Ingress配置访问控制支持选择多个黑/白名单。 修复部分安全问题。 v1.29.8-r4 v1.29.8 - 优化集群升级稳定性。 优化集群过载保护的计算模式。 修复部分安全问题。 v1.29.8-r2 v1.29.8 - 修复部分场景下模板上传失败问题。 修复部分安全问题。 v1.29.8-r0 v1.29.8 ELB Ingress支持根据HTTP请求方法、HTTP请求头、查询字符串、网段、Cookie等请求参数进行转发。 ELB Ingress支持配置跨域访问。 更新节点池时支持修改节点密码。 创建节点时支持只使用系统盘。 更新ELB Ingress时支持修改HTTP重定向到HTTPS的配置。 使用Docker容器引擎的节点池时支持自定义配置默认镜像地址。 修复部分安全问题。 v1.29.4-r2 v1.29.3 - 增强系统稳定性。 修复部分安全问题。 v1.29.4-r0 v1.29.3 CCE删除集群,支持勾选删除日志组。 创建集群时支持选择用户自己管理的KMS实例来进行Secret加密落盘ETCD。 通过私有镜像创建节点,支持保留镜像密码选项。 CCE支持GPU渲染场景。 CCE支持ELB全端口类型监听器。 修复部分安全问题。 v1.29.3-r0 v1.29.3 支持RAM实现跨账号密钥共享。 自定义节点池支持迁移节点。 支持Flexus云服务器X实例。 节点池配置管理新增containerd默认镜像地址配置项。 CCE节点池列表页面支持自定义排序。 修复部分安全问题。 v1.29.2-r4 v1.29.3 - 增强了早期版本集群在跨度较大的升级场景下负载均衡服务的稳定性。 修复部分安全问题。 v1.29.2-r2 v1.29.3 - 增强了集群升级场景的容器日志采集的可靠性。 修复部分安全问题。 v1.29.2-r0 v1.29.3 CCE Ingress支持基于HTTP头部自定义Header进行流量分发。 支持为第三方工作负载应用配置扩缩容优先级策略。 (仅CCE Turbo集群)支持使用annotation为Pod配置安全组。 (仅CCE Turbo集群)为Pod绑定EIP时支持使用已有EIP。 节点排水过程支持取消。 创建节点池时不再区分按需计费和包年/包月计费。 更新节点池时支持修改委托及前后缀名称。 通过控制台重置节点将默认保留K8s标签和污点。 开放Kubernetes服务账号令牌卷投射配置和负载弹性伸缩控制器配置。 修复部分安全问题。 v1.29.1-r10 v1.29.1 CCE Ingress转发策略支持优先级排序。 StatefulSet配置volumeClaimTemplates时可以配置PV和底层存储的名称前缀(Everest版本要求为2.4.15及以上)。 包周期节点池支持选择多个节点规格。 更新节点池时支持删除默认规格。 自定义节点池支持纳管节点。 增加CoreDNS解析失败的告警规则。 节点退订前支持排水操作。 节点池更新后将展示各节点的配置差异点。 修复部分安全问题。 v1.29.1-r0 v1.29.1 首次发布CCE v1.29集群,有关更多信息请参见Kubernetes 1.29版本说明。 - -
-
v1.31版本 表1 v1.31补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.31.4-r0 v1.31.4 节点池扩容包周期节点时支持自动支付功能。 节点池扩容节点支持自动绑定EIP。 ELB Ingress支持指定后端转发服务器组。 - 修复部分安全问题。 v1.31.1-r4 v1.31.1 - 优化负载均衡类型的Service和Ingress的ELB超时时间配置体验。 优化集群升级时对特殊节点池配置的兼容性。 优化裸金属服务器使用的私有镜像兼容性。 优化弹性云服务器-物理机的容器网络性能。 修复部分安全问题。 v1.31.1-r2 v1.31.1 - Docker运行时安全性提升。 修复部分安全问题。 v1.31.1-r0 v1.31.1 首次发布CCE v1.31集群,有关更多信息请参见Kubernetes 1.31版本说明。 ELB Ingress支持更多高级转发动作,支持返回固定响应体等。 新建CCE Turbo集群支持开启DataPlane V2,开启后集群中可配置NetworkPolicy。 集群升级过程中支持节点扩容。 ELB Ingress配置访问控制支持选择多个黑/白名单。 -
-
v1.30版本 表2 v1.30补丁版本发布说明 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.30.6-r10 v1.30.6 节点池扩容包周期节点时支持自动支付功能。 节点池扩容节点支持自动绑定EIP。 ELB Ingress支持指定后端转发服务器组。 - 修复部分安全问题。 v1.30.6-r4 v1.30.6 - 优化负载均衡类型的Service和Ingress的ELB超时时间配置体验。 优化集群升级时对特殊节点池配置的兼容性。 优化裸金属服务器使用的私有镜像兼容性。 优化弹性云服务器-物理机的容器网络性能。 修复部分安全问题。 v1.30.6-r2 v1.30.6 - Docker运行时安全性提升。 修复部分安全问题。 v1.30.6-r0 v1.30.6 ELB Ingress支持更多高级转发动作,支持返回固定响应体等。 新建CCE Turbo集群支持开启DataPlane V2,开启后集群中可配置NetworkPolicy。 集群升级过程中支持节点扩容。 ELB Ingress配置访问控制支持选择多个黑/白名单。 修复部分安全问题。 v1.30.4-r4 v1.30.4 - 优化集群升级稳定性。 优化集群过载保护的计算模式。 修复部分安全问题。 v1.30.4-r2 v1.30.4 - 修复部分场景下模板上传失败问题。 修复部分安全问题。 v1.30.4-r0 v1.30.4 ELB Ingress支持根据HTTP请求方法、HTTP请求头、查询字符串、网段、Cookie等请求参数进行转发。 ELB Ingress支持配置跨域访问。 更新节点池时支持修改节点密码。 创建节点时支持只使用系统盘。 更新ELB Ingress时支持修改HTTP重定向到HTTPS的配置。 使用Docker容器引擎的节点池时支持自定义配置默认镜像地址。 修复部分安全问题。 v1.30.1-r2 v1.30.2 - 增强系统稳定性。 修复部分安全问题。 v1.30.1-r0 v1.30.2 首次发布CCE v1.30集群,有关更多信息请参见Kubernetes 1.30版本说明。 CCE删除集群,支持勾选删除日志组。 创建集群时支持选择用户自己管理的KMS实例来进行Secret加密落盘ETCD。 通过私有镜像创建节点,支持保留镜像密码选项。 CCE支持GPU渲染场景。 CCE支持ELB全端口类型监听器。 修复部分安全问题。
-
CCE容器存储插件(Everest)版本发布记录 CCE会定期发布CCE容器存储插件(Everest)新版本,进行特性更新、性能优化和BUG修复,以提升用户体验和系统稳定性。为了方便您能够体验最新功能、规避已知漏洞或问题,并保障业务的安全性和可靠性,建议定期升级至最新版本的CCE容器存储插件(Everest)。 表1 CCE容器存储插件(Everest)版本记录 插件版本 支持的集群版本 更新特性 2.4.134 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 修复部分问题 2.4.111 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 修复部分问题 2.4.105 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持CCE v1.31集群 2.4.75 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 Huawei Cloud EulerOS 2.0节点上的云硬盘类型PVC支持指定Fstype类型为xfs 2.4.72 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 适配CCE v1.30版本 2.4.44 v1.23 v1.25 v1.27 v1.28 v1.29 支持在SFS3.0文件系统中创建子目录 支持获取存储卷的使用情况 2.4.28 v1.23 v1.25 v1.27 v1.28 v1.29 修复部分问题 2.4.21 v1.23 v1.25 v1.27 v1.28 v1.29 支持OBS多AZ冗余存储策略 支持自定义存储卷名称前缀 支持包周期EVS卷 2.4.8 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 适配CCE v1.29集群 支持GPSSD2和ESSD2类型磁盘 支持DSS专属分布式存储,同时集群版本需要满足v1.21.15-r0、v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上 2.3.23 v1.21 v1.23 v1.25 v1.27 v1.28 支持在SFS Turbo文件系统中创建子目录 2.3.21 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 2.3.14 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28版本 2.1.55 v1.19 v1.21 v1.23 v1.25 v1.27 支持增程类型EVS云盘 2.1.54 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 2.1.53 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 2.1.51 v1.19 v1.21 v1.23 v1.25 v1.27 支持Huawei Cloud EulerOS 2.0系统 2.1.50 v1.19 v1.21 v1.23 v1.25 v1.27 - 2.1.46 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27版本 支持创建云硬盘类型存储卷时添加磁盘标签 2.1.38 v1.19 v1.21 v1.23 v1.25 支持插件规格与集群规格联动 2.1.30 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 obsfs包适配Ubuntu 22.04 2.1.13 v1.19 v1.21 v1.23 v1.25 SFS Turbo存储卷subpath PVC批创性能优化 2.1.9 v1.19 v1.21 v1.23 v1.25 支持controller优雅退出 适配CCE v1.25版本 2.0.9 v1.19 v1.21 v1.23 对 everest 部分代码及架构进行重构,改善代码架构,提高插件的可扩展性和稳定性 支持优雅退出 支持OBS进程监控 1.3.28 v1.19 v1.21 v1.23 支持优雅退出 支持OBS进程监控 1.3.22 v1.19 v1.21 v1.23 修复重复挂盘偶现挂载后读写失败的问题 1.3.20 v1.19 v1.21 v1.23 修复重复挂盘偶现挂载后读写失败的问题 1.3.17 v1.19 v1.21 v1.23 调整everest-csi-driver滚动更新的最大不可用数:从10更新到10% 自定义规格支持Pod反亲和 统计节点上可由csi插件管理的scsi卷个数的上限 支持Driver自定义资源规格部署 1.3.8 v1.23 适配CCE v1.23集群 1.3.6 v1.23 适配CCE v1.23集群 1.2.78 v1.15 v1.17 v1.19 v1.21 支持插件实例AZ反亲和配置 1.2.70 v1.15 v1.17 v1.19 v1.21 SFS Turbo存储卷subpath PVC批创性能优化 1.2.67 v1.15 v1.17 v1.19 v1.21 支持controller优雅退出 支持OBS进程监控 1.2.61 v1.15 v1.17 v1.19 v1.21 支持优雅退出 支持OBS进程监控 1.2.55 v1.15 v1.17 v1.19 v1.21 修复重复挂盘偶现挂载后读写失败的问题 1.2.53 v1.15 v1.17 v1.19 v1.21 修复重复挂盘偶现挂载后读写失败的问题 1.2.51 v1.15 v1.17 v1.19 v1.21 调整everest-csi-driver滚动更新的最大不可用数:从10更新到10% 自定义规格支持Pod反亲和 统计节点上可由csi插件管理的scsi卷个数的上限 1.2.44 v1.15 v1.17 v1.19 v1.21 EVS、OBS存储卷支持选择企业项目 OBS对象桶挂载默认不再使用enable_noobj_cache参数 1.2.42 v1.15 v1.17 v1.19 v1.21 EVS、OBS存储卷支持选择企业项目 OBS对象桶挂载默认不再使用enable_noobj_cache参数 1.2.30 v1.15 v1.17 v1.19 v1.21 CCE支持EmptyDir 1.2.28 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.2.27 v1.15 v1.17 v1.19 v1.21 支持极速型SSD(ESSD)、通用型SSD(GPSSD)类型云硬盘 1.2.13 v1.15 v1.17 v1.19 支持CCE turbo集群裸金属节点挂载云硬盘;支持EulerOS 2.10系统。 1.2.9 v1.15 v1.17 v1.19 增强PV资源生命周期维护的可靠性 支持1.19.10版本集群使用Attach/Detach Controller挂卸卷能力 提高SFS挂载稳定性 新建集群EVS默认创建类型调整为SAS 1.2.5 v1.15 v1.17 v1.19 提升挂载相关能力可靠性 优化了使用OBS存储时的认证功能,需要用户上传密钥 提高everest插件对flexvolume卷的兼容能力 提高插件运行稳定性 1.1.12 v1.15 v1.17 优化和增强everest-csi-controller组件可靠性 1.1.11 v1.15 v1.17 配置安全加固 支持挂载三方OBS存储 切换更优性能的EVS查询接口 默认快照以clone模式创建磁盘 优化和增强Attach和Detach磁盘状态检测和日志输出 增加认证过期判断可靠性 1.1.8 v1.15 v1.17 支持CCE v1.17,v1.13升级到v1.15场景支持接管Flexvolume 1.1.7 v1.15 v1.17 支持CCE v1.17,v1.13升级到v1.15场景支持接管Flexvolume 父主题: 插件版本发布记录
-
漏洞修复方案 CCE已发布新的NGINX Ingress控制器插件修复该漏洞,请升级到v3.0.34及以上版本修复,详情请参见NGINX Ingress控制器插件版本发布记录。 本次漏洞修复集群版本为范围v1.25-v1.31,若CCE集群版本低于v1.25,请先升级集群版本,再升级NGINX Ingress控制器插件。升级前建议先阅读升级NGINX Ingress控制器的兼容性说明。 针对CVE-2025-1974漏洞:您可以通过关闭 NGINX Ingress控制器插件的准入校验特性来消减风险,操作方法如下: CCE NGINX Ingress控制器插件版本在2.4.6以下时,默认未启用准入校验(Admission Webhook),无需消减。 如果您需要关闭准入校验,建议在业务低峰期进行操作。 登录CCE控制台,单击集群名称进入集群。 前往“插件中心”,在已安装NGINX Ingress控制器插件页面单击“管理”,选择在漏洞影响范围内的插件版本,单击“编辑”。 图2 管理插件 关闭“开启准入校验”开关并单击“确定”,等待插件状态正常即可。 图3 关闭准入控制 升级NGINX Ingress控制器插件到指定版本修复该漏洞后,您可以重新开启准入控制。 关闭准入校验将不再对Ingress配置进行前置校验,这可能导致配置错误,进而影响服务的可靠性和稳定性。因此,在关闭准入校验后,创建或更新Ingress资源时,您需要确保配置的合法性,建议先在测试环境中充分验证,再升级至生产环境。 针对CVE-2025-1097、CVE-2025-1098、CVE-2025-24514漏洞:若已按上述操作关闭准入校验(Admission Webhook)特性,该漏洞风险已进行消减。在修复之前,您可以按最小权限原则,只给予受信用户创建及管理Ingress的权限,详情请参见命名空间权限(Kubernetes RBAC授权)。 登录CCE控制台。 前往“权限管理”,选择需要添加权限的集群,单击右上角“添加权限”。 选择需要授予的用户/用户组、命名空间和权限类型,单击“查看详细内容”。 单击“克隆”。 输入新建的自定义权限名称。 删除ingresses的写入权限,并单击“确定”。 返回添加权限页面,权限类型选择“自定义权限”,并勾选上一步中创建的自定义权限。 单击“确定”。
-
相关链接 开源NGINX Ingress控制器v1.11.5版本发布记录:https://github.com/kubernetes/ingress-nginx/releases/tag/controller-v1.11.5 开源NGINX Ingress控制器v1.12.1版本发布记录:https://github.com/kubernetes/ingress-nginx/releases/tag/controller-v1.12.1 Kubernetes社区关于CVE-2025-1974的披露公告:https://kubernetes.io/blog/2025/03/24/ingress-nginx-cve-2025-1974
-
CCE节点故障检测插件版本发布记录 CCE会定期发布CCE节点故障检测插件新版本,进行特性更新、性能优化和BUG修复,以提升用户体验和系统稳定性。为了方便您能够体验最新功能、规避已知漏洞或问题,并保障业务的安全性和可靠性,建议定期升级至最新版本的CCE节点故障检测插件。 表1 CCE节点故障检测插件版本记录 插件版本 支持的集群版本 更新特性 社区版本 1.19.20 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 修复部分问题 0.8.10 1.19.16 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 支持CCE v1.31集群 0.8.10 1.19.11 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 修复部分问题 0.8.10 1.19.8 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 兼容单系统盘 支持插件实例AZ反亲和配置 支持在竞价实例被释放前给节点加污点,驱逐节点上的pod 插件挂载节点时区 适配CCE v1.30集群 0.8.10 1.19.1 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 修复部分问题 0.8.10 1.19.0 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 0.8.10 1.18.48 v1.21 v1.23 v1.25 v1.27 v1.28 修复部分问题 0.8.10 1.18.46 v1.21 v1.23 v1.25 v1.27 v1.28 适配CCE v1.28版本 0.8.10 1.18.24 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 0.8.10 1.18.23 v1.19 v1.21 v1.23 v1.25 v1.27 修复部分问题 0.8.10 1.18.22 v1.19 v1.21 v1.23 v1.25 v1.27 - 0.8.10 1.18.21 v1.19 v1.21 v1.23 v1.25 v1.27 - 0.8.10 1.18.18 v1.19 v1.21 v1.23 v1.25 v1.27 适配CCE v1.27集群 0.8.10 1.18.14 v1.19 v1.21 v1.23 v1.25 支持插件实例AZ反亲和配置 支持在竞价实例被释放前给节点加污点,驱逐节点上的pod 插件挂载节点时区 0.8.10 1.18.10 v1.19 v1.21 v1.23 v1.25 配置界面优化 优化DiskSlow检查项,支持阈值配置 优化NTPProblem检查项,支持阈值配置 支持插件实例AZ反亲和配置 支持竞价实例中断检测,中断前驱逐节点上的pod 0.8.10 1.17.4 v1.17 v1.19 v1.21 v1.23 v1.25 优化DiskHung检查项 0.8.10 1.17.3 v1.17 v1.19 v1.21 v1.23 v1.25 NPC最大可打污点节点数支持百分比配置 新增进程Z状态检查项ProcessZ 优化NTPProblem检查项,支持检测时间偏差 修复BMS节点场景存在常驻D状态进程,干扰ProcessD检查项 0.8.10 1.17.2 v1.17 v1.19 v1.21 v1.23 v1.25 新增磁盘卡IO检查项DiskHung 新增磁盘慢IO检查项DiskSlow 新增进程D状态检查项ProcessD 新增挂载点健康检查MountPointProblem 避免与Service端口范围冲突,默认健康检查监听端口修改为19900,默认Prometheus指标暴露端口修改为19901。 新增支持1.25集群版本 0.8.10 1.16.4 v1.17 v1.19 v1.21 v1.23 新增beta检查项ScheduledEvent,支持通过metadata接口检测宿主机异常导致虚拟机进行冷热迁移事件。该检查项默认不开启。 0.8.10 1.16.3 v1.17 v1.19 v1.21 v1.23 新增ResolvConf配置文件检查。 0.8.10 1.16.1 v1.17 v1.19 v1.21 v1.23 新增node-problem-controller。支持基本故障隔离能力。 新增PID、FD、磁盘、内存、临时卷存储池、持久卷存储池检查项。 0.8.10 1.15.0 v1.17 v1.19 v1.21 v1.23 检测项全面加固,避免误报。 支持内核巡检。支持OOMKilling事件,TaskHung事件上报。 0.8.10 1.14.11 v1.17 v1.19 v1.21 适配CCE v1.21集群 0.7.1 1.14.5 v1.17 v1.19 修复监控指标无法被获取的问题 0.7.1 1.14.4 v1.17 v1.19 适配ARM64节点部署 适配containerd运行时节点 0.7.1 1.14.2 v1.17 v1.19 适配CCE v1.19集群 新增支持Ubuntu操作系统和安全容器场景 0.7.1 1.13.8 v1.15.11 v1.17 修复容器隧道网络下CNI健康检查问题 调整资源配额 0.7.1 1.13.6 v1.15.11 v1.17 修复僵尸进程未被回收的问题 0.7.1 1.13.5 v1.15.11 v1.17 增加污点容忍配置 0.7.1 1.13.2 v1.15.11 v1.17 增加资源限制,增强cni插件的检测能力 0.7.1 父主题: 插件版本发布记录
-
使用限制 单账号跟踪的事件可以通过 云审计 控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的 CTS /system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必须配置转储到 对象存储服务 (OBS)或 云日志 服务(LTS),才可在OBS桶或LTS日志组里面查看历史事件信息。否则,您将无法追溯7天以前的操作记录。 云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。 CTS新版事件列表不显示数据类审计事件,您需要在旧版事件列表查看数据类审计事件。 云审计控制台对用户的操作事件日志保留7天,过期自动删除,不支持人工删除。
-
SMN 支持审计的关键操作列表 在您的账户中启用云审计服务后,SMN服务的API被调用时,日志文件可能会跟踪记录该操作,并依据时间和数据的变化将日志文件转储到对象存储桶。 如果您在没有登录的情况下调用SMN的取消订阅(Unsubscribe)操作,云审计则不会记录这些操作。例如,当您需要取消订阅时,在电子邮件通知中单击取消订阅的链接,此时会在未登录的情况下调用Unsubscribe,这种情况下您的取消订阅操作则不会被云审计记录。 云审计支持的 消息通知 服务操作列表如表1所示。 表1 云审计支持的SMN操作列表 操作名称 资源类型 事件名称 创建主题 topic createTopic 删除主题 topic deleteTopic 更新主题 topic updateTopic 更新主题策略 topic updateTopicAttribute 添加订阅 subscription subscribe 删除订阅 subscription delsubscribe 更新订阅备注 subscription updateSubscriberRemark 添加订阅用户 subscription addSubscriptionFromSubscriptionUser 创建消息模板 message_template createMessageTemplate 更新消息模板 message_template updateMessageTemplate 删除消息模板 message_template deleteMessageTemplate 批量添加标签 tag batchCreateTag 删除标签 tag deleteTag 绑定云日志 logtank createLogtank 解绑云日志 logtank deleteLogtank 更新云日志 logtank updateLogtank 批量创建订阅过滤策略 filter_polices batchCreateFilterPolices 批量删除订阅过滤策略 filter_polices batchDeleteFilterPolices 批量更新订阅过滤策略 filter_polices batchUpdateFilterPolices 创建通知策略 notify_policy createNotifyPolicy 删除通知策略 notify_policy deleteNotifyPolicy 修改通知策略 notify_policy updateNotifyPolicy 父主题: 使用CTS审计SMN关键操作
-
操作场景 消息模板指消息的固定格式。如果您要发布的消息内容丰富,并且这条消息需要多次发布,每次发布时需要变更的内容极少,此时您可以套用已创建的消息模板向订阅者发送消息。 在相同的消息模板名称下面,可创建一个或多个不同协议类型的消息模板来适配不同协议的订阅者,但必须包含一个Default协议类型的模板。不同协议类型的消息模板可以设置不同的模板内容,使用{tag}占位符代替变量。如果没有预置的Default协议的模板,将不允许发送该模板。 使用模板格式发送消息时,需要选择模板名称,名称选定后,系统会按照Default、 SMS 、Email、HTTP、HTTPS、FunctionGraph(函数)、FunctionGraph(工作流)的协议顺序,将该模板名称下不同协议的所有模板内容中的{tag}标签列出,重复的{tag}只列出一次,并在右侧显示拥有该{tag}的协议名称。设置{tag}值之后,消息通知服务会自动替换模板的{tag}标签为对应的参数值。如果{tag}没有设置参数值,模板内容不做替换。消息通知服务会按照模板名称和订阅者协议类型获取模板内容,如果对应订阅协议的模板内容不存在,将使用Default模板内容发送。 在这一部分中,您可以按照模板格式进行消息推送至您设定的订阅终端地址。在发送模板消息之前,您需要先创建好消息模板,关于消息模板的详细信息请参见《消息通知服务用户指南》的“消息模板管理”章节。
-
使用限制 单账号跟踪的事件可以通过云审计控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的CTS/system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必须配置转储到对象存储服务(OBS)或云日志服务(LTS),才可在OBS桶或LTS日志组里面查看历史事件信息。否则,您将无法追溯7天以前的操作记录。 云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。 CTS新版事件列表不显示数据类审计事件,您需要在旧版事件列表查看数据类审计事件。 云审计控制台对用户的操作事件日志保留7天,过期自动删除,不支持人工删除。
-
国家(或地区)码 国家(或地区) 中文名 国家(或地区)码 Afghanistan 阿富汗 93 Albania 阿尔巴尼亚 355 Algeria 阿尔及利亚 213 American Samoa 美属萨摩亚 1684 Andorra 安道尔 376 Angola 安哥拉 244 Anguilla 安圭拉 1264 Antigua and Barbuda 安提瓜和巴布达 1268 Argentina 阿根廷 54 Armenia 亚美尼亚 374 Aruba 阿鲁巴 297 Australia 澳大利亚 61 Austria 奥地利 43 Azerbaijan 阿塞拜疆 994 Bahamas 巴哈马 1242 Bahrain 巴林 973 Bangladesh 孟加拉国 880 Barbados 巴巴多斯 1246 Belarus 白俄罗斯 375 Belgium 比利时 32 Belize 伯利兹 501 Benin 贝宁 229 Bermuda 百慕大群岛 1441 Bhutan 不丹 975 Bolivia 玻利维亚 591 Bosnia and Herzegovina 波斯尼亚和黑塞哥维那 387 Botswana 博茨瓦纳 267 Brazil 巴西 55 British Indian Ocean Territory 英属印度洋领地 246 Brunei 文莱 673 Bulgaria 保加利亚 359 Burkina Faso 布基纳法索 226 Burundi 布隆迪 257 Cambodia 柬埔寨 855 Cameroon 喀麦隆 237 Canada 加拿大 1 Cape Verde 佛得角 238 Cayman Islands 开曼群岛 1345 Central African Republic 中非共和国 236 Chad 乍得 235 Chile 智利 56 Colombia 哥伦比亚 57 Comoros 科摩罗 269 Republic Of the Congo 刚果共和国 242 Democratic Republic of the Congo 刚果民主共和国 243 Cook Islands 库克群岛 682 Costa Rica 哥斯达黎加 506 Croatia 克罗地亚 385 Curacao 库拉索 599 Cyprus 塞浦路斯 357 Czechia 捷克 420 Denmark 丹麦 45 Djibouti 吉布提 253 Dominica 多米尼克 1767 Dominican Republic 多米尼加共和国 1809 Ecuador 厄瓜多尔 593 Egypt 埃及 20 El Salvador 萨尔瓦多 503 Equatorial Guinea 赤道几内亚 240 Eritrea 厄立特里亚 291 Estonia 爱沙尼亚 372 Eswatini 史瓦帝尼王国 268 Ethiopia 埃塞俄比亚 251 Falkland Islands 福克兰群岛 500 Faroe Islands 法罗群岛 298 Fiji 斐济 679 Finland 芬兰 358 France 法国 33 French Guiana 法属圭亚那 594 French Polynesia 法属波利尼西亚 689 Gabon 加蓬 241 Gambia 冈比亚 220 Georgia 格鲁吉亚 995 Germany 德国 49 Ghana 加纳 233 Gibraltar 直布罗陀 350 Greece 希腊 30 Greenland 格陵兰岛 299 Grenada 格林纳达 1473 Guadeloupe 瓜德罗普岛 590 Guatemala 瓜地马拉 502 Guernsey 根西 44 Guinea 几内亚 224 Guinea-Bissau 几内亚比绍 245 Guyana 圭亚那 592 Haiti 海地 509 Honduras 洪都拉斯 504 Hong Kong (China) 中国香港 852 Hungary 匈牙利 36 Iceland 冰岛 354 India 印度 91 Indonesia 印度尼西亚 62 Iraq 伊拉克 964 Ireland 爱尔兰 353 Isle of Man 马恩岛 44 Israel 以色列 972 Italy 意大利 39 Ivory Coast 科特迪瓦 225 Jamaica 牙买加 1876 Japan 日本 81 Jersey 泽西岛 44 Jordan 约旦 962 Kazakhstan 哈萨克斯坦 7 Kenya 肯尼亚 254 Kuwait 科威特 965 Kyrgyzstan 吉尔吉斯斯坦 996 Laos 老挝 856 Latvia 拉脱维亚 371 Lebanon 黎巴嫩 961 Lesotho 莱索托 266 Liberia 利比里亚 231 Libya 利比亚 218 Liechtenstein 列支敦士登 423 Lithuania 立陶宛 370 Luxembourg 卢森堡 352 Macao (China) 中国澳门 853 North Macedonia 北马其顿 389 Madagascar 马达加斯加 261 Malawi 马拉维 265 Malaysia 马来西亚 60 Maldives 马尔代夫 960 Mali 马里 223 Malta 马耳他 356 Marshall Islands 马绍尔群岛 692 Martinique 马提尼克 596 Mauritania 毛里塔尼亚 222 Mauritius 毛里求斯 230 Mexico 墨西哥 52 Moldova 摩尔多瓦 373 Monaco 摩纳哥 377 Mongolia 蒙古 976 Montenegro 黑山 382 Montserrat 蒙特塞拉特岛 1664 Morocco 摩洛哥 212 Mozambique 莫桑比克 258 Myanmar 缅甸 95 Namibia 纳米比亚 264 Nauru 瑙鲁 674 Nepal 尼泊尔 977 Netherlands 荷兰 31 New Caledonia 新喀里多尼亚 687 New Zealand 新西兰 64 Nicaragua 尼加拉瓜 505 Niger 尼日尔 227 Nigeria 尼日利亚 234 Niue 纽埃岛 683 Norfolk Island 诺福克岛 672 Norway 挪威 47 Oman 阿曼 968 Pakistan 巴基斯坦 92 Palau 帕劳 680 Palestinian Territory 巴勒斯坦 970 Panama 巴拿马 507 Papua New Guinea 巴布亚新几内亚 675 Paraguay 巴拉圭 595 Peru 秘鲁 51 Philippines 菲律宾 63 Poland 波兰 48 Portugal 葡萄牙 351 Qatar 卡塔尔 974 Réunion Island 留尼汪 262 Romania 罗马尼亚 40 Rwanda 卢旺达 250 Saint Kitts and Nevis 圣基茨和尼维斯 1869 Saint Lucia 圣卢西亚 1758 Saint Pierre and Miquelon 圣皮埃尔和密克隆 508 Saint Vincent and the Grenadines 圣文森特和格林纳丁斯 1784 Samoa 萨摩亚 685 San Marino 圣马力诺 378 Sao Tome and Principe 圣多美和普林西比 239 Saudi Arabia 沙特阿拉伯 966 Senegal 塞内加尔 221 Serbia 塞尔维亚 381 Seychelles 塞舌尔 248 Sierra Leone 塞拉利昂 232 Singapore 新加坡 65 Sint Maarten (Dutch Part) 荷属圣马丁 1721 Slovakia 斯洛伐克 421 Slovenia 斯洛文尼亚 386 Solomon Islands 所罗门群岛 677 Somalia 索马里 252 South Africa 南非 27 South Korea 韩国 82 Spain 西班牙 34 Sri Lanka 斯里兰卡 94 Suriname 苏里南 597 Sweden 瑞典 46 Switzerland 瑞士 41 Taiwan (China) 中国台湾 886 Tajikistan 塔吉克斯坦 992 Tanzania 坦桑尼亚 255 Thailand 泰国 66 Timor-Leste 东帝汶 670 Togo 多哥 228 Tonga 汤加 676 Trinidad and Tobago 特立尼达和多巴哥 1868 Tunisia 突尼斯 216 Türkiye 土耳其 90 Turkmenistan 土库曼斯坦 993 Turks and Caicos Islands 特克斯和凯科斯群岛 1649 Tuvalu 图瓦卢 688 Uganda 乌干达 256 Ukraine 乌克兰 380 United Arab Emirates 阿拉伯联合酋长国 971 United Kingdom 英国 44 United States 美国 1 Uruguay 乌拉圭 598 Uzbekistan 乌兹别克斯坦 998 Vanuatu 瓦努阿图 678 Venezuela 委内瑞拉 58 Vietnam 越南 84 Virgin Islands, British 英属维尔京群岛 1284 Wallis and Futuna 瓦利斯和富图纳 681 Yemen 也门 967 Zambia 赞比亚 260 Zimbabwe 津巴布韦 263 父主题: 附录
-
发布主题消息简介 消息通知服务提供了以下三种通用的方式。 发布文本格式的消息。 发布JSON格式的消息。 发布模板格式的消息。 一旦一条新的消息已经发布,消息通知服务试图将消息发布至每个已经向主题确认订阅的终端节点。 如果使用短信协议接收消息,对于内容很长的消息,短信长度限制为490字,超出则可能被运营商拦截。向短信终端发送消息时消息内容不能包含“[]”或者“【】”符号。 如果使用“HTTP”或“HTTPS”协议接收消息,用户的HTTP(S)要开通防火墙策略,允许SMN访问,SMN通过公网发送消息到HTTP(S)终端节点。消息通知服务会自动组装消息,用户接收到整条消息由消息头和消息体组成,具体参数含义请参考HTTP(S)消息格式。 如果使用FunctionGraph(函数)接收消息,消息中包含消息属性、消息标题、消息内容、主题URN等信息,具体参数含义请参考不同协议消息说明。 父主题: 发布主题消息
-
体验问答 在“体验平台”页面右上角单击“问答”,切换至问答体验页面。 在输入框中输入问题,单击,查看返回的答案。 图1 体验问答 表1 图标说明 图标 说明 认同内容,直接单击即可。 不认同内容,在针对问题、针对搜索、针对回答中选出您认为的不合理的意见,也可以在对话框中输入您认为更理想的回答,单击“提交”。 复制内容。 刷新内容。 查看答案参考源。在参考列表中,单击“阅读全文”,可查看文档原文。 说明: 当前针对上传的多栏排版docx文档,查看文档原文时存在内容显示错位及显示不全的问题。 问答体验页面上还有“对话配置”和“对话清空”按钮,如下图所示。 图2 按钮说明 “对话配置”:如果您在对话过程中想修改配置,可以单击“对话配置”按钮,具体的配置参数请参考配置问答小节。 “对话清空”:单击“对话清空”按钮可以清空当前对话页面,清空之后再进行问答,会默认进行下一轮问答。
-
配置问答 在“体验平台”页面,单击右上角,在配置页面进行问答配置。 表2 问答配置 参数分类 参数 说明 搜索配置 问答配置 相关性阈值 超过相关度阈值的搜索结果才能在搜索结果页展示,否则被过滤。 NLP模型服务 选择NLP模型服务。 Query改写 开启后,将根据用户历史多轮对话,对query进行多轮改写和分解,改写后的query仅用于文档检索。 意图分类 勾选意图分类。 人设类:你叫什么名字? 天气类:今天天气怎样? 行业知识类: 对于行业知识类,建议使用前缀匹配,后续可能继续扩展。如:行业知识类-金融:贷款重组的定义是什么。 行业知识类-制造:我国的制造业到了什么阶段? 行业知识类-医疗:医疗事故有哪些? 行业知识类-政务:《国务院关于印发新一代人工智能发展规划的通知》的指导思想是什么? 行业知识类-金融:今天的股市怎么样? 语言任务类:请创作一封约460字的邮件,主题是咨询一个新的IT项目的细节,这个邮件将被发送给公司的IT项目经理。 通用知识类:豆汁和豆浆的区别。 闲聊类:坐火车累死了。 说明: 未选择分类的先使用知识库检索再进行大模型总结,选中的分类直接使用大模型回答。 拒答回复 开启后,可以自己设置拒答回复语,当搜索的问题没有答案时,则会回复设置的回复语。 通用自定义prompt 使用场景:主要用于非RAG场景下的模型生成阶段。(非RAG场景:对话生成任务中,不使用检索步骤进行信息检索,直接使用生成模型生成回复。) 组成要素:用户问题、任务指令以及其他要求。 使用方式:支持自定义prompt,如果未配置自定义prompt,则使用默认prompt。在自定义构建时,请参考默认prompt的格式。 QA问题生成自定义prompt 你是问题抽取专家,请根据下面的文档文本内容,归纳生成最多{0}个高质量问题,要求: (1)生成的问题可以根据所提供的文档文本内容进行回答 (2)以知识库问答的口语化个人提问方式呈现 (3)生成问题不能特指该文档文本内容 (4)生成知识点丰富全面的多样性问题 (5)生成的问题不能过于简单,确保生成问题的质量文档文本内容:{1} 注意:其中{0}和{1}表示占位符,且顺序固定,检索出来的文章内容将被填充至{0}所在位置,格式为 【文档名称】:{title1} 【文档内容】:{content1} 【文档名称】:{title2} 【文档内容】:{content2} ...... 检索的query将被填充至{1}所在位置后进行生成。 QA答案生成自定义prompt 你是问题抽取专家,请根据下面的文档文本内容,归纳生成最多{0}个高质量问题,要求: (1)生成的问题可以根据所提供的文档文本内容进行回答 (2)以知识库问答的口语化个人提问方式呈现 (3)生成问题不能特指该文档文本内容 (4)生成知识点丰富全面的多样性问题 (5)生成的问题不能过于简单,确保生成问题的质量文档文本内容:{1} 注意:其中{0}和{1}表示占位符,且顺序固定,检索出来的文章内容将被填充至{0}所在位置,格式为 【文档名称】:{title} 【文档内容】:{content} 生成的问题将被填充至{1}所在位置后进行对应答案生成。 引用相关度阈值 超过相关度阈值的搜索结果会提交给大模型进行总结,否则被过滤。 FAQ搜索直出阈值 超过阈值的FAQ会作为答案直接输出,不需要经过大模型总结。 模型配置 文本多样性(top_p) 通过限制词汇的选择来控制生成文本的多样性。值越高,候选单词越多,文本多样性越高。默认值为0.1。 模型生成最大新词数(max_tokens) 控制文本的最大生成长度,值越大有助于生成较长或完整的回复;值较小,生成的内容越简洁。默认值为2048。 说明: 如果选择NLP模型-昇腾云类型的模型服务进行问答,建议设置模型生成最大新词数不超过512。 非搜索增强模型生成多样性(temperature) 控制非搜索增强模型文本的随机性,值越高,文本随机性越、多样性和创造性越高。默认值为0.8。 搜索增强模型生成多样性(temperature) 控制搜索增强模型文本的随机性,值越高,文本随机性越、多样性和创造性越高。默认值为0.3。 文本重复度(presence_penalty) 用于控制生成文本中特定单词或短语出现的频率。值越高生成的文本会使用更多样的单词和短语,减少重复性。默认值为0。 单击“确定”。
-
修改知识库设置 针对已创建的知识库,支持修改知识库设置。 在 KooSearch 控制台,左侧导航栏选择“知识库管理”。 进入知识库管理页面。 在知识库管理页面,选择已创建的知识库,单击操作列的“文档管理”。 进入文档管理页面。 单击右上角的“设置”,修改解析拆分设置和更多设置。 解析拆分设置 参考表1与表2修改设置。 更多设置 修改“搜索模型设置”、“NLP模型设置”和“高级设置”,如何修改请参考新建知识库中步骤5和步骤6。 同时支持新增“其他”设置。 表6 其他设置 参数 说明 topk召回数量 设置topk召回数量。 召回结果中topk的文档将被精排模型使用。 topk未配置时,将使用默认值50。 参考文档数量 设置RAG大模型参考的文档数量。 参考文档数量未配置时,将使用默认值3 精排 知识库精排开关默认为开启状态,如果未配置,则为开启状态。 注意: 关闭精排时相关性得分范围为0-200,开启精排时相关性得分为0-1,在开启或关闭精排后需要重新设置相关性阈值和引用相关度阈值,否则会影响过滤效果! Query改写 开启后,将根据用户历史多轮对话,对输入query进行问题拆分和改写,改写后的query仅用于文档检索。 意图分类 勾选意图分类。 人设类:你叫什么名字? 天气类:今天天气怎样? 行业知识类: 对于行业知识类,建议使用前缀匹配,后续可能继续扩展。如:行业知识类-金融:贷款重组的定义是什么。 行业知识类-制造:我国的制造业到了什么阶段? 行业知识类-医疗:医疗事故有哪些? 行业知识类-政务:《国务院关于印发新一代人工智能发展规划的通知》的指导思想是什么? 行业知识类-金融:今天的股市怎么样? 语言任务类:请创作一封约460字的邮件,主题是咨询一个新的IT项目的细节,这个邮件将被发送给公司的IT项目经理。 通用知识类:豆汁和豆浆的区别。 闲聊类:坐火车累死了。 说明: 未选择分类的先使用知识库检索再进行大模型总结,选中的分类直接使用大模型回答。 拒答回复 开启后,可以自己设置拒答回复语,当搜索的问题没有答案时,则会回复设置的回复语。 通用自定义prompt 使用场景:主要用于非RAG场景下的模型生成阶段。(非RAG场景:对话生成任务中,不使用检索步骤进行信息检索,直接使用生成模型生成回复。) 组成要素:用户问题、任务指令以及其他要求。 使用方式:支持自定义prompt,如果未配置自定义prompt,则使用默认prompt。在自定义构建时,请参考默认prompt的格式。 QA问题生成自定义prompt 你是问题抽取专家,请根据下面的文档文本内容,归纳生成最多{0}个高质量问题,要求: (1)生成的问题可以根据所提供的文档文本内容进行回答 (2)以知识库问答的口语化个人提问方式呈现 (3)生成问题不能特指该文档文本内容 (4)生成知识点丰富全面的多样性问题 (5)生成的问题不能过于简单,确保生成问题的质量文档文本内容:{1} 注意:其中{0}和{1}表示占位符,且顺序固定,检索出来的文章内容将被填充至{0}所在位置,格式为 【文档名称】:{title1} 【文档内容】:{content1} 【文档名称】:{title2} 【文档内容】:{content2} ...... 检索的query将被填充至{1}所在位置后进行生成。 QA答案生成自定义prompt 你是问题抽取专家,请根据下面的文档文本内容,归纳生成最多{0}个高质量问题,要求: (1)生成的问题可以根据所提供的文档文本内容进行回答 (2)以知识库问答的口语化个人提问方式呈现 (3)生成问题不能特指该文档文本内容 (4)生成知识点丰富全面的多样性问题 (5)生成的问题不能过于简单,确保生成问题的质量文档文本内容:{1} 注意:其中{0}和{1}表示占位符,且顺序固定,检索出来的文章内容将被填充至{0}所在位置,格式为 【文档名称】:{title} 【文档内容】:{content} 生成的问题将被填充至{1}所在位置后进行对应答案生成。 单击“确定”,完成知识库设置的修改。 修改完配置之后,已经导入的文件需要重新导入才能使知识库设置生效。
-
新建知识库 在KooSearch控制台,左侧导航栏选择“知识库管理”。 进入知识库管理页面。 在知识库管理页面,单击右上角“新建知识库”。 在“新建知识库”页面设置知识库信息。 在创建知识库页签填写“知识库名称”、选择“知识库语言”,填写知识库“描述”,单击“下一步”。 图1 创建知识库 在“解析拆分设置”页签配置解析设置和拆分设置,然后单击“下一步”。 解析设置:勾选需要解析的能力。 表1 解析设置 参数 说明 OCR增强 勾选后,即可调用OCR服务进行智能文档识别,如表格解析或扫描文件等。 解析图片 未勾选,在文档中遇到图片默认跳过,不处理图片。 勾选后,有两种解析方式可供选择: 提取图片文本:识别图片内文字。 仅保留原图:将图片提取后上传OBS桶,便于问答图文展示。 解析页眉页脚 未勾选,解析结果中不包含页眉页脚。 勾选后,解析结果中包含页眉页脚。 解析目录页 未勾选,解析结果中不包含目录页。 勾选后,解析结果中包含目录页。 拆分设置:即分段设置,选择分段方式。 表2 拆分设置 参数 说明 自动分段 系统根据文档特点自动选择合适的分段方式。 长度分段 默认按照段落进行拆分合并,如果段落过长则通过标识符进行分段。 分段标识符:分段方式为遇到所选符号即截断,符号之间没有优先级,最终分割后合并到预计最大长度。自定义分段中如果未命中分段标识符,分段将会失败。 分段预计长度:分段的最大长度,文档的正文如果超过设定的[最大长度],则截取[最大长度]的片段为新文档,随后回溯[分段重叠]字符,继续向后检查,直到文档结束。 层级分段 先按照文章的标题层级分段,再按照段落进行拆分合并,如果段落过长则通过标识符进行分段。 层级解析模式:可选择自动解析和规则解析。选择规则解析需要自定义层级规则。 层级分段详情如表3所示。 表3 层级分段 参数 说明 层级解析模式 自动解析:按照系统规则自动解析。 规则解析: 由于不同文档的层次结构多样且不一致,针对不同的文档可自定义其文档层次解析规则,更好地解析切分文档从而提升基于文档知识问答的准确率。 自定义默认规则 将最常见的规则,作为默认规则可选,详情请参见提供的默认规则示例。 自定义解析规则 当前解析规则采用正则语言编写,可参见如表5示例。 标题层级深度 选择文章的标题层级深度。 标题保存方式 可选择“保存多标题组合”和“保存最后一级标题”。 分段标识符 分段方式为遇到所选符号即截断,符号之间没有优先级,最终分割后合并到预计最大长度。自定义分段中如果未命中分段标识符,分段将会失败。 分段预计长度 分段的最大长度,文档的正文如果超过设定的[最大长度],则截取[最大长度]的片段为新文档,随后回溯[分段重叠]字符,继续向后检查,直到文档结束。 跨标题合并 打开“跨标题合并”开关:不同标题段落文字较少时,会自动合并到指定的分段长度,有助于生成更全面的结果。关闭“跨标题合并”开关:不会自动合并不同标题。 说明: “层级分段”页签中有此按钮,可以自己设置开关。 “自动分段”页签中没有此按钮,在“自动分段”中跨标题合并功能默认打开。 “长度分段”不涉及此功能。 表4 规则解析默认规则示例 类别 规则 描述 第一章 第一节 第一条 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})章 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})节 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})条 以章的规则为例: 中括号内大写的阿拉伯可以匹配,例如:第一章。 支持1-9的阿拉伯数字匹配,例如: 第1章。 最大支持中间位数出现的位数有7位。例如:第一千一百三十七章。 节和条的规则类似。 表5 自定义规则解析示例 类别 规则 描述 第一章 第一节 第一条 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})章 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})节 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})条 / 1 1.1 1.1.1 ^(\d+\.)(?=\s) ^(\d+)(\.\d+)(?!\.)(?=\s) ^(\d+)(\.\d+)(\.\d+)(?!\.)(?=\s) 可以匹配数字开头的段落。 备注: [\u4e00-\u9fa5]+ 限制中文) 例如: 1. 简介 1.1 说明 1.1.1 详细说明 一、 (一) 1、 1) ^([零〇一二三四五六七八九十百千万]+)[、] ^(([零〇一二三四五六七八九十百千万]+)) ^[\d+]、 ^[\d+]) / 图2 自定义规则解析示例 在“模型设置”页签配置好模型后,单击“下一步”。 搜索模型设置 选择Embedding模型服务、精排模型服务、搜索规划模型服务。 Embedding模型服务:基于盘古大模型技术的文本表示模型,将文本转化为用数值表示的向量形式,用于文本检索、聚类、推荐等场景。 精排模型服务:基于盘古大模型技术的文本表示模型,将文本转化为用数值表示的向量形式,用于文本检索、聚类、推荐等场景,语义搜索场景下,加入了精排模型,提升搜索的效果。 搜索规划模型服务:搜索规划模型服务提供了意图分类、多轮查询改写、复杂查询分解、时间抽取等功能,在搜索增强生成任务中,通过意图分类的结果将路由到后续不同的流程;通过改写查询词及查询分解以提高搜索的准确率。 NLP模型设置 选择NLP模型服务。基于盘古大模型的人工智能语言模型,可进行对话互动、回答问题、协助创作。 扩展长上下文: 如果打开了此参数,模型在解析过程中会扩展长上下文以生成更全面结果。 有效输入长度(K):如果打开“扩展长上下文”按钮,则需要设置有效输入长度,输入令牌的有效长度以保证最佳输出。 进入“高级设置”页面,设置好后,单击“确定”。 引用定位:针对回答结果定位到原文位置。 图文结合:展示原文引用关联图片。打开后,有以下两种解析方式可供选择: 仅召回语义相关图片:引用文段中图片的上下文与生成文段语义相似即召回,否则不召回。(默认选项)。 全部图片:引用文段中图片全部召回。 知识库缓存:如果打开知识库缓存按钮,您的搜索效率会相对高效。使用知识库缓存需要选择以下几个参数。 缓存生成模型服务:选择一个模型服务。 缓存阈值:达到缓存阈值,就会使用缓存输入值必须在0.1到1之间。 缓存策略:达到缓存阈值,如果有多个答案,可以设置最高分或者随机。 过期策略配置:缓存过期的方式,有3种选择。 Least Recently Used:根据当前时间与最后一次访问时间的差值超过存活时间时删除。 First In First Out:根据当前时间与创建时间的差值超过存活时间时删除。 Least Frequency Used:小于缓存命中阈值且当前时间与创建时间大于存活时间时清除,大于阈值时保留 存活时间(秒):可以自己设置缓存的存活时间,或者直接设置成永久。 知识库创建好后,可以在知识库管理页面查看到新创建的知识库基本信息,包括知识库ID、知识库名称、知识库状态等信息。
-
监控指标 表1 KVS支持的监控指标 指标ID 指标名称 指标含义 取值范围 单位 进制 测量对象 监控周期(原始指标) store_kv_request_count 总接口请求数 该指标用于统计当前统计周期的请求总数。 ≥ 0 Count 不涉及 仓 1分钟 store_request_count_monitor_2XX 2xx状态码个数 该指标用于统计响应状态码为2XX的请求数。 ≥ 0 Count 不涉及 仓 1分钟 store_request_count_monitor_4XX 4xx状态码个数 该指标用于统计响应状态码为4xx的请求数。 ≥ 0 Count 不涉及 仓 1分钟 store_request_count_monitor_5XX 5xx状态码个数 该指标用于统计响应状态码为5xx状态码个数。 ≥ 0 Count 不涉及 仓 1分钟 store_kv_request_latency_ave 请求平均时延 该指标用于统计周期内从系统收到完整请求到结束返回响应的耗时平均值。 ≥ 0 ms 不涉及 仓 1分钟 store_read_traffic 读流量 该指标用于统计当前统计周期内读取类请求文档大小总和。 ≥ 0 Byte 1024(IEC) 仓 1分钟 store_write_traffic 写流量 该指标用于统计当前统计周期内写入类请求文档大小总和。 ≥ 0 Byte 1024(IEC) 仓 1分钟
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- ...
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333