准备工作 已注册华为账号并开通华为云,且在使用DWS 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 已创建目标端DWS集群。 已准备源端数据源:神通数据库。 准备好Linux服务器或Windows环境。
DWS 已经预先生成了1GB的TPC-H-1x的标准数据集,已将数据集上传到了OBS桶的tpch文件夹中,并且已赋予所有华为云用户该OBS桶的只读访问权限,用户可以方便地进行导入。
准备工作 已注册华为账号并开通华为云,且在使用DWS 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建Kafka实例 登录Kafka管理控制台购买页面。
抹零金额 华为云产品定价精度为小数点后8位(单位:USD),因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时,仅扣除到小数点后2位,小数点后第3位到第8位部分金额会被舍弃,这种舍弃部分的金额称作抹零金额。
图2 启动客户端 若您的电脑阻止应用运行,可对Data Studio.exe文件属性勾选解除锁定即可启动。 在主菜单中选择 “文件 > 新建连接” ,如图3所示。 图3 新建连接 在弹出的“新建/选择数据库连接”页面中,如下图所示,输入连接参数。
计费方式:按需 版本选择:存算一体 集群节点:3 连接集群方式:SQL编辑器 存储容量:20G/节点 数据源:OBS桶的csv数据 集群版本:8.1.3.x 视频介绍 操作流程 表1 操作流程 操作步骤 说明 准备工作 注册华为账号并开通华为云,实名认证,为账户充值以及规划和创建VPC
创建KMS委托 如果用户没有提前创建具有KMS Administrator权限的委托,首次启用数据库加密时,系统会弹出一个“创建委托”的对话框,单击“确定”创建委托以授权GaussDB(DWS)访问KMS(默认情况下,只有华为云账号或拥有Security Administrator
使用DLI Flink作业实时同步MySQL数据至DWS集群 使用华为云DLI服务的Flink作业,将MySQL数据实时同步到DWS。 使用CDM迁移Hologres至DWS集群 使用云数据迁移服务CDM将Hologres数据迁移到DWS。
默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。
步骤二:迁移元数据 通过华为自研工具DSC进行迁移,将BigQuery源端导出的元数据的DDL语句转成DWS中可执行的SQL。 导出元数据及增量元数据。 执行以下SQL获取表信息。
步骤一:迁移元数据 使用华为云自研工具DSC迁移,将Redshift中客户源端导出的样例表的DDL语句转成DWS中可执行的SQL。 解压获取到的DSC工具包,将需要转换的文件放入DSC的input目录下。
1 2 UPDATE products SET price = price * 1.2 , last_updated = NOW(); SELECT * FROM products ORDER BY 1; 使用WHERE子句更新指定的数据:将平板电脑的价格上涨500元。
1 2 UPDATE products SET price = price * 1.2 , last_updated = NOW(); SELECT * FROM products ORDER BY 1; 使用WHERE子句更新指定的数据:将平板电脑的价格上涨500元。
图1 查看实例详情 GDS-Kafka支持的消息格式 表2 GDS-Kafka支持的消息格式 kafka.source.event.type 格式示例 格式说明 cdc.drs.avro 华为云DRS的内部格式,DRS生产至Kafka的avro格式,GDS-Kafka可直接对接进行解析入库
DWS 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。
默认情况下,只有华为云账号用户或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。
已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT OVERWRITE操作,其余操作均不支持。 MRS端两种数据源对应格式支持的操作参见表1。
DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。
9.1.0.100版本(2024年8月12日) 【弹性架构】 架构升级:基于华为云对象存储服务OBS,推出存算分离架构3.0,计算、存储分层弹性,存储按需收费,降本增效;计算支持多VW(Virtual Warehouse,逻辑集群,以下简称VW)部署,业务隔离性更好,解决业务间的资源争抢问题