Impor dan Ekspor Data DWS
DWS menyediakan aneka solusi impor dan ekspor data dalam berbagai format.
Alat Impor dan Ekspor
Anda dapat memilih alat berikut sesuai keperluan untuk mengimpor data ke atau mengekspor data dari DWS.
Tabel 3-1 Alat impor dan ekspor data
|
Penggunaan
|
Alat
|
|---|---|
Impor atau ekspor data dalam jumlah besar sebagai batch |
GDS |
Impor atau ekspor data dalam jumlah kecil sebagai batch |
copy to/from (file/Stdin) |
Ekspor kumpulan hasil query |
copy query to/from (file/Stdin) |
Impor atau ekspor data dalam jumlah kecil ke atau dari database lain |
insert into values / ETL |
Backup/pemulihan metadata database |
gs_dump/gs_restore |
Impor data dari Sistem File Terdistribusi Hadoop (HDFS) |
HDFS foreign table |
Impor data dari Object Storage Service (OBS) |
OBS text foreign table, OBS ORC foreign table |
Migrasi/backup data antar-kluster |
Roach |
Gauss Data Service (GDS)
Anda dapat menggunakan alat Gauss Data Service (GDS) untuk mengimpor dan mengekspor teks secara efisien.
Seperti yang terlihat pada gambar di bawah, server GDS di-deploy di setiap node fisik di sebuah kluster untuk mengimpor dan mengekspor data secara paralel. Kecepatan satu node dapat mencapai 700 MB/s.
Gambar 3-1 Proses impor dan ekspor data paralel menggunakan GDS
GDS dapat digunakan dengan Foreign Data Wrapper (FDW), yang memungkinkan akses data lintas kluster, untuk membantu Anda memigrasikan data dari satu kluster ke kluster yang lain dengan cepat dan mudah. Seperti terlihat pada gambar di bawah, GDS menyiapkan saluran transfer data antara dua kluster. Data dapat diekspor dari kluster sumber dan diimpor langsung ke kluster tujuan tanpa perlu ditulis ke disk.
Figure 3-2 Cross-cluster data migration
Keunggulan
- Kemudahan penggunaan. Anda dapat memigrasikan data dengan menjalankan satu pernyataan SQL: INSERT INTO ... SELECT ... FROM... [WHERE];
- Performa tinggi: Daya komputasi dari kedua kluster dapat dimanfaatkan sepenuhnya.
- Data tidak ditulis ke disk selama migrasi sehingga tidak menempati ruang disk.
Penggunaan
- Migrasi data penuh antar-kluster DWS
- Migrasi data parsial berdasarkan kondisi filter antar-kluster DWS