检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
详细信息请参考DataArts Studio帮助文档。 数据接入服务（Data Ingestion Service,简称DIS） 处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站
场景，用于数据库在线迁移和数据库实时同步的云服务。DRS服务是一种易用、稳定、高效，用于数据库平滑迁移和数据库持续同步的云服务。DRS围绕云数据库，降低了数据库之间数据流通的复杂性，有效地减少数据传输的成本。 数据复制服务支持多种数据源之间的数据流通，实时迁移、备份迁移、实时同步
高可靠、低成本、海量可扩展性、支持任意类型和大小的对象 使用场景 高性能计算、企业核心集群应用、企业应用系统和开发测试等 高性能计算、媒体处理、文件共享和内容管理和Web服务等 大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等 存储逻辑 存放的是二进制数据，无法直接存放文件，如果需存放要先格式化文件系统
行调研的，主要调研应用的四层部署架构，即接入层、应用层、中间件层和数据层，同时还要调研每一层技术组件的详细信息，比如规格、版本、容量等。具体的调研内容如下： 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息，收集三种关联关系（共享数据、共享服务器、应用间通信
请勿在标签中存储用户身份信息或其他敏感信息。 对标签区分大小写格式，并跨所有资源类型一致地应用该格式。 虽然标签有长度规格上限，但尽量不要每个标签都达到标签规格上限，标签长度能标明含义即可。 提前识别标签的应用场景，比如成本管理、运维和自动化、细粒度权限控制、数据分类、安全运营等，并据此制定标签键值规范，下面会介绍。
应用代码进行读写分离改造，改造后再按照8.4.3.3写服务关停方案实施，实现只读不写的效果。 图3 应用改造方案 中间件层/数据层配置只读 中间件层和数据层收回业务账号写权限，不允许服务写中间件层/数据层的操作。 图4 中间件和数据只读方案 父主题： 设计切换方案
Server）服务和CCE（Cloud Container Engine）服务，华为云提供了很多ECS的实例类型，如下表所示，以满足多样化的计算场景需求。 关于上述ECS实例类型的详细信息，请查看实例类型。 表1 ECS实例类型 架构 实例类型 实例系列 系列说明 适用场景 x86 通用计算增强型 c 计算、存储、
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用
应用层迁移方案 应用层通常部署在物理机、虚拟机或容器内，应用的类型包括有状态和无状态两种。应用的部署方式和应用状态是应用层迁移方案设计时需要考虑的因素，不同的部署方式和应用状态适用的迁移方案不同。 平迁部署在主机上的应用 传统架构的应用，通常部署在物理机或虚拟机，建议优先通过华为
用如Nginx代理、数据库、容器、中间件、大数据等，但由于数据库/中间件/大数据等应用是以数据为核心，对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移，这里讲的主机迁移对应的迁移层级为应用和操作系统。主机迁移的方式主要有以下三种： 表1 三种主机迁移方式说明 主机
企业架构师团队或者外聘 数据架构师 负责设计和管理企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 选择合适的数据存储方案，例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作，确保数据架构与整体架构的兼容性。
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所，数据一般不用迁移，但在切换时，为了确保源端和目的端数据的一致性，需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的，即作为数据库使用，此场景需要进行数据的迁移。所以中间件的迁
调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。 图2 数据流示例
实现双AZ的负载均衡；单点业务ECS可通过SDRS实现AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步：云上使用RDS数据库服务，进行跨AZ主备部署，跨AZ间数据同步。 灾难恢复切换：当AZ发生故障时，RDS 数据库等自动切换至备库，应用层自动或者通过 SDRS 的一键容灾切换功能切换至其他AZ。
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
接表现； 针对网络资源，吞吐量是评价数据处理执行的速率； 在数据传输方面，用字节/秒或者比特/秒来表示，吞吐量的限制是性能瓶颈的一种重要表现形式； 针对存储资源，IOPS是指每秒发生的输入/输出操作的次数，是数据传输的一个度量方法； 针对数据库资源，并发能力是指一个时间段中有几个程序都处于运行的能力。
kaban任务调度平台下，Jar任务820个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：Azkaban调度平台Jar类任务月度更新；XXL-Job平台Shell类型任务每日22:00点更新。 任务详细信息 识别出所有任务的详细信息，包括任务ID、名称、责
在迁移过程中对应用程序进行少量修改，以适应云平台。例如，将应用程序从使用本地数据库迁移到使用云数据库服务。这通常不涉及修改核心应用程序代码。 希望利用云平台的PaaS服务，例如数据库、消息队列等，以减轻自建数据库和消息队列的运维压力。 需要提高应用程序的性能或可扩展性。 不需要进行大
图5 应用层灰度切流 接下来进行数据层分批切换，某批次数据层切换步骤如下： 停止本批次数据层相关的应用和批处理任务。本批次的数据层静止（中间件消息队列中的消息消费完成，数据库无新增数据）； 数据对比一致后，切换数据层； 修改相关的配置，启动和本批次数据层相关的应用和批处理任务。进行功能验证及保障，确保业务正常；
简介 标签是用于标识和分类云资源，通常由键（Key）和值（Value）组成。当用户拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境等）对云资源进行标识和分类，然后基于标签进行资源筛选、成本归类和细粒度权限设置等，从而简化资源管理和优化成本。 如下图所示，
