数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 详细信息请参考DLI帮助文档。
IT部门 公共服务管理员 识别各个业务单元所需要的公共IT服务和资源,比如NTP服务器、AD服务器、自建DNS服务器、OBS桶、容器镜像库等,也可以是CodeArts等PaaS服务。 负责集中部署和维护这些公共IT服务,并将其共享给公司内所有业务单元使用。
对象存储迁移方案 表6 对象存储迁移方案 迁移方案 迁移方式 特点 适用场景 华为云OMS服务(推荐) 全量+增量 操作简单,高并发,支持数据校验、可视化报告 适用于将源端对象存储迁移至华为云OBS对象存储。
创建DCS迁移任务: 在DCS服务中的数据迁移模块创建迁移任务,选择备份文件导入方式,并选择OBS中源端的aof/rdb备份文件,填写其余选项,启动迁移任务。
公共服务管理 首先您要识别出各个业务单元所需要的公共IT服务和资源,比如NTP服务器、SFS文件存储、自建DNS服务器、OBS桶、虚拟机镜像、证书等,也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务,将其共享给公司内所有业务单元。
这主要由云服务提供的访问控制策略来实现,如OBS(Object Storage Service,对象存储服务)的桶策略。 桶策略是一种基于资源的访问控制策略,允许桶的所有者指定对桶和对象的权限控制。通过桶策略,企业可以定义允许或拒绝哪些用户可以对桶执行哪些操作。
云数据迁移服务(CDM)可以轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。 详细操作指导请参考MRS帮助文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS,详细操作指导请参考MRS帮助文档。
生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某个AZ故障时,切换到另一个AZ,数据库主备切换。 生产站点全体故障时,切换数据库的主备状态,然后将 DNS 授权修改为容灾站点(生产站点 0%,容灾站点为 100%)。
Administrator权限 安全管理组 统一管控整个企业的安全策略、安全规则和安全资源,为其他账号设置安全配置基线,对整个企业的信息安全负责 所有账号下安全资源(安全云脑、HSS、DSC、DBSS等)的管理权限 合规审计组 统一查看所有账号的审计日志和安全相关的日志(如VPC流日志和OBS
云数据迁移服务(CDM):支持近20种常用数据源,满足数据在云上和云下的不同迁移场景。 具体使用方法请查看CDM帮助文档。 对象存储迁移服务(OMS):可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象存储服务(OBS)。 具体使用方法请查看OMS帮助文档。
线下DES磁盘拷贝 数据量较大,增量少的TB级数据 - OMS工具+回源迁移:对象存储迁移服务OMS作为易用、高效的线上数据迁移服务,通过调用源端对象存储的SDK,可快速传输数据并对数据进行加密存储,将数据复制到华为云OBS,可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松
订阅) 账单数据存储 订阅详细的账单明细到OBS桶 云智能看板(CXO看板) 面向CXO、高管以及组织管理者提供的仪表盘集合。
OBS访问日志等) 合规审计团队 云审计服务CTS、云日志服务LTS、、配置审计服务Config、对象存储服务OBS等 数据平台账号 集中部署企业的大数据平台,将其他账号的业务数据统一采集到数据平台进行存储、处理和分析 数据处理团队 数据湖、大数据分析平台、数据接入服务、数据治理平台
网络地址转换 OACA Open Alliance for Cloud Adoption 云采用开放联盟 OBS Object Storage Service 对象存储服务 OLAP Online Analytical Processing 在线分析处理 OLTP Online
存储服务选型 华为云提供的存储服务主要是OBS(Object Storage Service,对象存储服务)、EVS(Elastic Volume Service,弹性云硬盘)、SFS(Scalable File Service,弹性文件服务)等,这三类存储服务的对比表如下所示。
MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务 使用Hbase快照方式,迁移Hbase数据到华为云
云主机/云硬盘可通过CBR云备份服务实现整个云主机或者云硬盘的备份。
将源端服务器的系统盘和数据盘分别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有镜像发放云服务器,完成整机迁移。迁移后的主机操作系统、系统配置,数据文件与源端服务器完全一致。
图2 各账号VPC网络的连通性矩阵 日志账号是集中存放审计日志和运行日志的地方,主要使用了华为云的CTS服务、LTS服务和OBS服务,该三个服务没有租户面IP地址,所以不需要考虑与其他账号的VPC进行互通。
主机迁移服务SMS的常见问题 Redis数据迁移常见问题 对象存储迁移服务OMS的常见问题 数据库迁移的常见问题 父主题: 迁移