云服务器内容精选

  • Spark 3.1.1版本说明 下表列举了Spark 3.1.1 版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 3.1.1。 【SPARK-33050】:Apache ORC 升级到1.5.12。 【SPARK-33092】:增强子表达式消减。 【SPARK-33480】:支持char/varchar数据类型。 【SPARK-32302】: 部分谓词下推优化。 【SPARK-30648】:支持JSON datasource表谓词下推。 【SPARK-32346】:支持avro datasource表谓词下推 。 【SPARK-32461】:shuffle hash join优化。 【SPARK-32272】:添加SQL标准命令SET TIME ZONE。 【SPARK-21492】:修复排序合并加入中的内存泄漏。 【SPARK-27812】:K8S客户端版本提升到4.6.1。 DLI从Spark 3.x版本开始不支持内置地理空间查询函数。
  • Spark 3.3.1版本说明 表1列举了Spark 3.3.1 版本主要的功能特性。 更多版本新特性及性能优化请参考Release Notes - Spark 3.3.1。 表1 Spark 3.3.1版本优势 特性 说明 Native性能加速 Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能,提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF(公测) 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。 优化SQL作业NOT IN语句查询性能 NOT IN语句查询性能提升。 优化Multi-INSERT语句查询性能 Multi-INSERT语句查询性能提升。
  • 版本发布周期/版本生命周期 表2 表1 生命周期常用术语 术语 定义 停止销售(EOM) 指停止云服务版本的部署,现网中不再部署该云服务版本。 停止全面支持(EOFS) 指定云服务版本停止普通软件BUG修复工作,仅执行致命问题修复、安全类问题修复以及升级等操作。 停止服务(EOS) 指停止云服务版本的使用,现网版本需要升级到新的云服务版本。 CSS版本发布后,EOM时间为版本发布后4年,EOFS在EOM后1年,EOS在EOFS后0.5年。 大版本和小版本都适用于这个原则,小版本号目前没有对外开放,后续会开放这个版本号。 例如2019-09-30发布CSS 7.1.1大版本,客户在2019-10-30创建CSS 7.1.1最新版本,且在此期间并未发布新的7.1.1新版本镜像,则该版本EOM时间为2023-09-30,EOFS为2024-09-30,EOS为2025-03-30。 表3 表2 CSS版本生命周期表 引擎类型 版本名称 状态 发布时间 停止销售日 停止全面支持日 停止服务日 Elasticsearch 5.5.1 EOS 2017.09.30 2021.09.30 2022.09.30 2023.03.30 6.2.3 EOFS 2018.06.30 2022.06.30 2023.06.30 2023.12.30 6.5.4 EOM 2019.03.30 2023.03.30 2024.03.30 2024.09.30 6.8.23(特性升级中间版本,不单独提供购买使用) NA NA NA NA NA 7.1.1 已发布 2019.09.30 2023.09.30 2024.09.30 2025.03.30 7.6.2 已发布 2020.06.30 2024.06.30 2025.06.30 2025.12.30 7.9.3 已发布 2020.12.30 2024.12.30 2025.12.30 2026.06.30 7.10.2 已发布 2022.03.30 2026.03.30 2027.03.30 2027.09.30 OpenSearch 1.3.6 已发布 2023.06.30 2027.06.30 2028.06.30 2028.12.30 2.11.0 已发布 2023.12.30 2027.12.30 2028.12.30 2029.06.30 Logstash 5.6.16 已发布 2020.12.30 2024.12.30 2025.12.30 2026.06.30 7.10.0 已发布 2020.12.30 2024.12.30 2025.12.30 2026.06.30 补充说明: 以上表格中列出版本为CSS主力大版本,其他受限白名单版本生命周期时间,EOX时间周期和主力大版本保持一致。
  • 版本说明 CSS当前提供的主力引擎为ELasticsearch,Logstash,OpenSearch三大引擎,其中Elasticsearch和OpenSearch引擎作为数据存储引擎,需要重点关注版本生命周期。 目前CSS历史提供过的大版本如下,版本号与开源版本号保持一致。 Elasticsearch引擎:5.5.1、6.2.3、6.5.4、6.8.23(升级中间版本)、7.1.1、7.6.2、7.9.3、7.10.2,目前控制台支持创建7.6.2、7.10.2版本集群。 OpenSearch引擎:1.3.6、2.11.0,目前控制台支持创建1.3.6版本集群,暂无升级能力。 Logstash引擎:5.6.16,7.10.0,目前控制台支持创建7.10.0版本集群,暂无升级能力。
  • 集群版本升级 提供的升级能力主要有: 同版本升级:老旧同版本升级到最新的同版本,比如20年7.6.2版本可升级到23年7.6.2版本。同版本升级是升级集群的内核补丁,用于修复问题或优化性能。 跨版本升级:低版本跨版本升级到高版本。跨版本升级是升级集群的版本,用于功能加强或版本收编。 跨引擎升级(构建中):支持从Elasticsearch版本升级到OpenSearch版本。 待升级的集群版本不同,支持升级的目标版本也不同,支持的版本升级能力如下: 表1 Elasticsearch集群版本升级能力 当前版本 目标版本 5.5.1 5.5.1(最新) 6.2.3 6.2.3(最新),6.5.4,6.8.23 6.5.4 6.5.4(最新),6.8.23 6.8.23 7.6.2,7.10.2 7.1.1 7.1.1(最新),7.6.2,7.10.2 7.6.2 7.6.2(最新),7.10.2 7.9.3 7.9.3(最新),7.10.2 7.10.2 7.10.2(最新) 说明: 7.6.2 和7.10.2为主力版本,建议其他版本的集群收编到该版本。实际支持的目标版本请以升级页面中“目标镜像”的可选值为准。 5.x版本的集群不支持跨版本升级,6.2.3和6.5.4版本集群可先升级到6.8.23版本,再升级到7.x.x版本。
  • GaussDB各版本生命周期 表1 GaussDB各版本生命周期 GaussDB版本号 华为云Release时间 华为云EOM时间 华为云EOFS时间 华为云EOS时间 1.4企业版 2021年7月 2022年12月 2023年12月 2024年6月 2.0企业版 2021年11月 2023年12月 2024年12月 2025年6月 2.3企业版 2022年6月 2023年12月 2024年12月 2025年6月 2.7企业版 2022年11月 2023年12月 2024年12月 2025年6月 2.8企业版 2023年9月 2023年12月 2024年12月 2025年6月 3.208企业版 2023年7月 2024年10月 2025年10月 2026年4月 3.222企业版 2023年9月 2024年10月 2025年10月 2026年4月 Release:华为云Release时间指华为云版本发布时间,一般指商用发布到官网时间。 EOM:End of Marketing,停止该版本的销售,指停止云服务版本的销售和部署,现网中不再部署该云服务版本。 EOFS:End of Full Support,版本停止全面支持,指对版本新发现的缺陷停止修复,不再提供新的补丁版本,EOFS之后发现的缺陷将继续进行根因分析并在下一个版本修复, 但版本EOS前都要求具备缺陷和1、2级漏洞的修复能力。 EOS:End of Service & support,停止该版本的服务与支持。云服务版本EOS后,华为云可不再提供针对该版本的任何技术服务支持,包含新问题的定位和缺陷修复等,只能通过升级新版本来解决问题。请遵循华为云生命周期政策,及时进行软件版本升级。