GaussDB(DWS)-Datenimport und -export

GaussDB(DWS) bietet eine Reihe von Lösungen, mit denen Sie Daten in verschiedenen Formaten importieren und exportieren können.

Tools für Import und Export

      Sie können nach Bedarf aus den folgenden Tools wählen, um Daten in GaussDB(DWS) zu importieren oder aus GaussDB(DWS) zu exportieren.

Tabelle 3-1 Tools für den Datenimport und -export

Nutzung
Tool

Batch-Import oder -Export einer großen Datenmenge

GDS

Batch-Import oder -Export einer kleinen Datenmenge

copy to/from (file/Stdin)

Export der Abfrageergebnisse

copy query to/from (file/Stdin)

Importieren oder Exportieren einer kleinen Datenmenge in oder aus anderen Datenbanken

insert into values / ETL

Sicherung/Wiederherstellung von Datenbank-Metadaten

gs_dump/gs_restore

Datenimport aus HDFS

HDFS-Fremdtabelle

Datenimport aus OBS

OBS-Text-Fremdtabelle, OBS-ORC-Fremdtabelle

Datenmigration/-sicherung zwischen Clustern

Roach

Gauss Data Service (GDS)

      Sie können das Gauss Data Service(GDS)-Tool verwenden, um Text effizient zu importieren und zu exportieren.

      Wie in der folgenden Abbildung dargestellt, wird auf jedem physischen Knoten in einem Cluster ein GDS-Server bereitgestellt, um Daten parallel zu importieren und zu exportieren. Die Geschwindigkeit eines einzelnen Knotens kann 700 MB/s erreichen.

Abbildung 3-1 Paralleler Datenimport und -export mit GDS

      GDS kann mit dem Foreign Data Wrapper (FDW) zusammenarbeiten, der den Datenzugriff über Cluster hinweg ermöglicht, um Sie bei der schnellen und einfachen Migration von Daten von einem Cluster zu einem anderen zu unterstützen. Wie in der folgenden Abbildung dargestellt, richtet GDS einen Datenübertragungs-Kanal zwischen zwei Clustern ein. Daten können aus dem Quell-Cluster exportiert und direkt in das Ziel-Cluster importiert werden, ohne auf Datenträger geschrieben zu werden.

Abbildung 3-2 Clusterübergreifende Datenmigration

      Vorteile

  • Einfache Benutzung. Sie können Daten migrieren, indem Sie eine einzelne SQL-Anweisung ausführen: INSERT INTO ... SELECT ... FROM ... [WHERE];
  • Hohe Leistung: Die Rechenleistung beider Cluster kann vollständig genutzt werden.
  • Daten werden während der Migration nicht auf Datenträger geschrieben, sodass sie keinen Speicherplatz belegen.

    Nutzung

  • Vollständige Datenmigration zwischen GaussDB(DWS)-Clustern
  • Partielle Datenmigration basierend auf Filterbedingungen zwischen GaussDB(DWS)-Clustern