MapReduce服务 MRS-迁移Spark1.5的Carbondata数据到Spark2x的Carbondata中:迁移方案概览

时间:2023-11-01 16:25:34

迁移方案概览

本次迁移目标是将Spark1.5的CarbonData表数据迁移到Spark2x的CarbonData表中。

执行本操作前需要将spark1.5的carbondata表入库业务中断,将数据一次性迁移至spark2x的carbondata表,完成迁移后使用spark2x进行业务操作。

迁移思路:

  1. 先通过Spark1.5将历史数据迁移至中间表。
  2. 再通过Spark2x将中间表的数据迁移至目标表,然后将目标表名修改为原表名。
  3. 迁移完成后使用Spark2x操作CarbonData表中的数据。
support.huaweicloud.com/cmpntguide-mrs/mrs_01_2301.html