检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。
图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器、网站日志、移动应用、社交媒体等各种数据源。
高可用容灾能力构建是一个复杂的系统工程，涉及入口流量控制、业务层改造、中间件和数据库的控制，以及整体机制的协同，所以整个体系打造是存在一定门槛的；如果客户缺乏相关的经验，又期望快速构建高可用的容灾体系，可以考虑使用华为云提供的多云高可用服务（Multi-cloud high Availability
在云服务模式下，华为云与客户共同承担云环境的安全保护责任，为明确双方的责任，确定责任边界，华为云制定了如下图所示的责任共担模型。 图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全，涵盖华为云数据中心的物理环境和运行其上的基础服务、平台服务、应用服务等。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。
充分利用不同厂商的优势能力：不同的云服务商在技术、服务和功能方面各有优势。例如，某个云服务商可能在人工智能和机器学习方面拥有更强的技术实力，而另一个云服务商可能在数据库服务方面更具优势。
接入层迁移实施 EIP EIP不涉及到迁移，EIP通常需要在目标端华为云环境中重新购买，如果EIP需要对华为云以外的地方提供服务，那么该EIP需要在当地信管局进行服务域名和对应EIP的备案，备案通过后，方可对外提供服务。 EIP购买和使用方法，请参照华为云弹性公网IP服务。
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力，是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA（Service-Level Agreement）来衡量，各类云服务都有承诺的SLA标准。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。
成本估算：根据云服务商的定价模型，估算迁移到云平台的成本，并与传统IT架构的成本进行比较，为决策提供依据。 熟悉主流的云平台及云服务。 具备扎实的IT基础设施知识，包括服务器、网络、存储、数据库、中间件等。 熟悉各种操作系统和应用软件。 了解不同的迁移策略和方法。
创新产品与服务：大数据可以为企业的产品和服务创新提供有力支持。通过分析大数据，企业可以发现市场上的空白点和机会，掌握用户需求，并基于这些洞察力开发出更具竞争力和创新性的产品和服务。例如，一些公司利用大数据分析医疗记录和基因组数据，提供个性化的医疗解决方案。 父主题： 云上创新
IT部门 中间件管理员 负责消息队列 (例如 Kafka, RabbitMQ)，Web 服务器 (例如 Nginx, Apache)，应用服务器 (例如 Tomcat, JBoss)，缓存服务 (例如 Memcached, Redis) 等的安装、配置和维护。
基础设施现代化 容器化改造是将传统应用程序或服务迁移至容器化环境的过程，以下是进行容器化改造的一般步骤： 评估和规划：首先，评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化，并制定一个改造计划。 容器化平台选择：选择一个适合你的需求的容器化平台。
选择合适的云服务商和云服务类型。 制定和推广云上架构设计原则，赋能应用架构师和数据架构师在云上设计良好的技术架构。 领导和指导云实施团队，确保技术方案的落地。 深入理解云计算技术和架构，熟悉主流云平台。
微服务架构：云平台天然适合微服务和容器化部署，支持应用拆分和独立扩展，提升灵活性和可维护性。 无服务器计算：云平台提供的无服务器计算服务（如 FunctionGraph）允许用户将代码部署到云端，而无需管理服务器。云平台会根据请求自动分配计算资源，并在请求处理完成后释放资源。
规模效应: 云计算本质上是规模经济，云服务商建设和运营超大规模的数据中心，具备超大的计算能力和存储容量。由于规模庞大，云服务商可以通过批量采购硬件和软件、优化资源利用率、提升能源利用效率和自动化管理等方式大幅降低运营成本，以更低的成本对外提供IT资源。
图1 业务可用性方案 华为云上的绝大部分云服务都具备高可用性的方案，提供了从数据中心、硬件、数据、自助服务等多个层次的高可用性构建能力。
这将使得各个微服务之间的集成更加简单，同时也方便文档生成和代码生成。 设计和实施服务治理： 在微服务架构中，服务治理变得至关重要。您需要考虑如何发现、注册、配置和监控您的微服务。
概述 基于云平台的新技术正驱动着产品和服务创新浪潮。 人工智能与大模型结合，赋予产品更智能的交互和更精准的个性化服务，例如AI客服、智能推荐系统等。 区块链技术则增强了产品和服务的安全性和可信度，可应用于供应链管理、数字身份认证等场景，构建透明可追溯的体系。
