华为高斯好DWS的区别
SQL开发工具,以便用户能更好的使用DWS。 3)GDS工具 它是DWS提供的数据服务工具,通过和外表机制的配合,实现数据的高速导入导出。 GDS工具包需要安装在数据源文件所在的服务器上,数据源文件所在的服务器称为数据服务器,也称为GDS服务器。 4)DSC SQL语法迁移工具 DSC(Database
在线检索、可视化调试API、在线命令行工具、可执行的多语言SDK的示例代码 周边工具下载 命令行客户端gsql、图形化客户端Data Studio、语法迁移DSC工具下载 开发体验馆 提供丰富的华为云产品代码示例和便捷的线上编码环境,帮助开发者学习和了解如何基于华为云服务进行应用开发 开发支持 专业高效的开发者在线技术支持服务
,按需的资费模式才会生效。 变更节点规格 在购买DWS集群时,有多种节点规格供您选择,您可根据业务需要选择合适的节点规格。当集群创建成功后,随着业务量的增长,您可以对集群进行扩容,从而增加集群节点。若扩容的变更配置方式不满足您的要求,您也可以重新创建集群,然后通过数据迁移的方式实现集群配置的变更。
台的数据,支持ORC/txt/csv/Parquet等文件格式,提供大数据分析能力。 基于Shared-nothing/MPP的对等并行计算模型可以充分利用CPU/IO/Mem等资源,获得极致的运算性能和线性的可扩展性,从而支持PB级数据规模。 1.兼容标准SQL SQL兼容SQ
DGC 数据湖分析 整合数据资源,构建大数据平台,发现数据价值,成为企业经营的新趋势和迫切诉求。DWS Express可直接对存储在对象存储OBS上的大数据平台集成、处理后的数据进行分析 优势 统一分析入口 以DWS的SQL作为上层应用的统一入口,应用开发人员使用熟悉的SQL语言即可访问所有数据
群和备份集群之间定期同步数据以达到容灾的目的。 全量备份的断点续做 全量恢复的断点续做 集群间scp中断后的断点续做 并行备份恢复,即旧集群的备份和新集群的恢复同步进行。
Service)工具,可以高效地进行文本数据导入导出。 如图3-1,GDS服务器部署于集群每个物理节点上,可以实现数据的并行导入/导出,单机速度可达700MB/s。 图 3-1 基于GDS的数据并行导入/导出 此外,借助外表数据封装器(Foreign Data Wrapper,简称FDW),不同的集群之间可以
的元组按照一定的分布策略分散存储到多个节点。查询的时候可以通过查询条件过滤不必要的数据,快速定位到数据存储位置,从而极大提升数据库性能。 在水平分表的基础上,GaussDB(DWS)支持数据分区(Partition),即根据表的一列或者多列,将要插入表的记录分为不重叠的若干个范围
通过实验创建不同用户,不同Schema,基于权限管理实现数据的隔离和互访,了解用户、角色的关系,了解grant的基本用法,了解基于角色的权限管理(RBAC)。 开始实验 使用Java进行二次开发 使用JDBC驱动连接DWS进行二次开发,熟悉简单的适配DWS的Java开发用例。 开始实验 性能调优 掌
天,每班最大人数20人 华为云原厂服务:萃取华为全球项目经验,深度洞察企业上云与人员技术能力提升需求 , E2E实训环境:理论培训与真实云环境实操演练相结合,助力学员实操能力提升 ,培训与认证体系:分层级分角色的认证体系,为从业者提供广阔的职业选择与清晰的职业发展路径 ,新技术领
DCS设计云系统是一个高度集成且协同化的研发管理系统,通过平台的建设可为用户单位提供精准定位连接内部研发所需的图形硬件支撑资源(工作站/图形服务器)、三维应用工具软件,通过戴西Vapp技术打破地理界限,实现三维设计资源的无缝共享与实时协作。该平台不仅集成主流的建模、渲染、仿真前后处理等工具,还融合
向于工业制造业的企业提供集设计、仿真、数据、试验、流程、许可、知识、文档管理、协同研发流程等一体化的可定制化数字化研发平台。戴西DWS数字化研发平台旨在实现全球范围内的团队协作和创新,实现人、设计与仿真工具、研发关键业务系统、图形与算力资源的有机结合,实现平台内的研发协作快速交付
多拥有独立且互不共享CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个计算节点上,数据查询任务被推送到数据所在位置就近执行,通过协调节点的协调,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。高可用、高性能、高安全、高弹性、易部署、易迁移
海岛或舰船上的伤病员进行远距离诊断、治疗和咨询。 好络维远程医疗解决方案深度融合华为云技术,为各类医疗机构开展远程医疗业务提供专业的平台支持,实现更大范围的医疗资源共享,发挥规模效益,探索并形成新的医疗模式,促进远程医疗业务的健康、快速、持续发展。该方案主要说明如下: 主要功能—
好薪福是新网银行推出的一款企业薪资代发服务产品,为企业客户提供薪资代发服务,配套员工专属福利、人事管理、财务管理等系列综合服务,有效提高企业发薪便捷度及员工满意度。降本增效:开户、代发零费用,节省管理成本,在线开户:企业在线批量预开户,员工在线激活账户,方便高效,快捷发薪:企业在线签约代发业务,一键批量发薪
好企e贷是新网银行为广大中小微企业提供的线上流动资金贷款服务,额度高至300万,最快1分钟到账,线上申请免抵押。全线上:申请至提款全在线,高额度:循环额度,最高额度300万元,纯信用:无需抵质押,零等待:最快1分钟到账
好信云会议按需付费、开箱即用,是一种灵活、低成本的会议形式。通过音视频通信、数据交互、屏幕共享等功能和多端接入的方式,实现企业远程灵活高效的沟通和协作。好信云会议是国内顶级的云会议之一;其原因是:会议全程不卡顿、不掉线、不花屏。我们相比较同类型产品的核心优势是:1) 视频在同等条
系统和决策支持系统,为上层应用的决策分析提供服务。 华为 GaussDB 将 AI 能力植入到数据库内核的架构和算法中,为用户提供更高性能、更高可用、更多算力支持的分布式数据库。 随着贸易战的不断升级,软件自研将是必然趋势。为了能顺利的将Oracle数据库平滑迁移到GaussDB,深圳商软推出了OTG产品。
安全管理最佳实践 基于角色的权限管理(RBAC) 基于角色的用户管理(Role-Based Access Control,简称RBAC)是通过为角色赋予权限,用户通过成为适当的角色而得到这些角色的权限。 查看更多 实现数据列的加解密 数据加密作为有效防止未授权访问和防护数据泄露的技术,在各种信
> 新建工单,提交开通白名单的申请。 DN Data Node,和CN对应的概念。负责实际执行表数据的存储、查询操作。 手动备份 手动备份是由用户启动的数据库实例的全量备份,它会一直保存,直到用户手动删除 项目 Project用于将OpenStack的资源(计算、存储和网络资源)
Service)工具将远端服务器上的数据导入GaussDB(DWS)中的办法,帮助您学习如何通过GDS进行数据导入的方法。 使用GDS(General Data Service)工具将远端服务器上的数据导入GaussDB(DWS)中的办法,帮助您学习如何通过GDS进行数据导入的方法。 查看详情
Table方式实现跨DWS集群的数据访问和导入。 适用于多套DWS集群之间的数据同步。 基于GDS的跨集群互联互通 DWS 通过GDS进行数据中转,实现多个集群之间的数据同步。 适用于多套DWS集群之间的数据同步。 使用gsql元命令\COPY导入数据 本地文件 与直接使用SQL语
GaussDB(DWS)资源管理 GaussDB(DWS)资源管理 DWS支持通过资源管理进行系统的资源进行合理的分配,满足数据库混合负载需求,保证执行查询时有充足的系统资源,确保查询性能。 DWS支持系统的资源进行合理的分配,满足数据库混合负载需求,保证执行查询时有充足的系统资源,确保查询性能。
GaussDB数据库,又称为云数据库GaussDB,华为自主创新研发的分布式关系型数据库,具有高性能、高可用、高安全、低成本的特点,企业核心数据上云信赖之选。那什么是GaussDB TP,都有哪些能力? GaussDB数据库,又称为云数据库GaussDB,华为自主创新研发的分布式关系
云数据库GaussDB,是华为自主创新研发的分布式关系型数据库,具备企业级复杂事务混合负载能力,同时支持分布式事务,同城跨AZ部署,数据0丢失,支持1000+的扩展能力,PB级海量存储,带你了解GaussDB数据库的部署! 帮助文档 云数据库GaussDB的部署规范 资源评估规范 基于表1模板
ussDB数据库! 帮助文档 云数据库GaussDB驱动包获取 云数据库GaussDB驱动包获取 获取驱动包 获取驱动包 根据不同版本的实例,下载不同版本的发布包,如表1所示。 表1 驱动包下载列表 为了防止软件包在传递过程或存储期间被恶意篡改,下载软件包时需下载对应的校验包对软件包进行校验,校验方法如下:
和重分布流)来降低数据在DN节点间的流动。DN将结果集返回给Coordinate进行汇总。Coordinator将汇总后的结果返回给业务应用,从而提升复杂SQL查询的性能。 第二是GTM-Lite技术 GTM-Lite可以在保证事务全局强一致的同时,提供高性能的事务处理能力,避免
华为高斯好DWS的区别
操作场景
数据仓库服务DWS是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容 PostgreSQL 生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。
本文以创建3节点的DWS集群为例,通过导入 OBS 桶上csv格式的数据,完成简单的数据查询。

DWS集群不支持跨区域访问OBS桶数据,创建DWS集群前需规划好DWS集群与OBS桶在同一个区域内,本文以“华北-北京四”为例。
- 计费方式:按需
- 版本选择:存算一体
- 集群节点:3
- 连接集群方式:SQL编辑器
- 存储容量:20G/节点
- 数据源:OBS桶的csv数据
- 集群版本:8.1.3.x
视频介绍
操作流程
步骤一:创建DWS集群
- 登录DWS管理控制台购买页面。
- 参见表2进行基础配置。
表2 基础配置 参数
示例
说明
区域
选择“华北-北京四”。
说明:本指导以“华北-北京四”为例进行介绍,如果您需要选择其他区域,请确保其他云服务均在同一区域。
请就近选择靠近您业务的区域,可以降低网络时延、提高访问速度。DWS创建后无法更换区域,请谨慎选择。
更多信息,请参见区域和可用分区。
计费模式
按需计费。
支持包年/包月计费、按需计费。如长期使用,建议使用包年/包月,可享受更大折扣。
更多信息,请参见计费说明。
可用分区
单AZ,可用区1(如规格售罄,可选择其他可用区)。
- 单AZ:集群的所有节点部署在同一个AZ内。
- 多AZ:集群的节点部署在多个AZ内,满足集群跨AZ高可用要求,对高可用要求更高的业务,建议使用多AZ。
图1 基础配置 - 参见表3,进行数据仓库配置。
表3 数据仓库配置 参数
示例
说明
版本选择
存算一体
- 存算一体:数据存储在计算节点的本地磁盘。
- 存算分离:计算节点本地盘仅做数据缓存和存储元数据,用户数据存储在OBS 对象存储 上。
存储类型
SSD云盘
更多信息,请参见SSD云盘和本地盘的区别。
CPU架构
鲲鹏
集群节点的CPU架构:支持鲲鹏和X86。
节点规格
dwsk2.xlarge
说明:如规格售罄,可选择其他可用区或规格。
节点规格是衡量DWS算力的一个指标,包含vCPUs和内存,请根据业务需求合理选择,通常对查询性能要求越高,选择的规格越大。
更多信息,请参见数据仓库规格。
热数据存储
20GB / 节点
每节点可用存储容量。界面上显示的是业务数据实际存储容量,例如20GB/节点,节点总数3,则业务数据总容量为60GB。对于业务数据量较大的客户,请合理规划存储容量。
节点数量
3
集群节点的数量。支持的节点数范围为3~256。
图2 数据仓库配置 - 单击“下一步:网络配置”。
- 参见表4进行网络配置。
表4 网络配置 参数
示例
说明
vpc-default
DWS所在的虚拟 私有云 网络。
子网
subnet-default(192.168.0.0/24)
虚拟私有云的子网。
安全组
自动创建安全组
支持“自动创建安全组”或选择已创建的安全组。
系统默认选中“自动创建安全组”,设置为该选项时,系统将会自动创建一个默认安全组。
默认安全组的规则如下:出方向允许所有访问,入方向只开放用户设置的DWS 集群的数据库端口8000。
公网访问
暂不使用
如果连接DWS的客户端跟DWS不在一个虚拟私有云网络内,需要选择使用 弹性公网IP 。
暂不使用
用户使用客户端连接DWS集群时,如果用户仅连接一个CN节点地址,通过该CN节点内网IP或弹性 公网IP 连接时,只能连接到固定的CN节点上,存在CN单点问题。
利用 ELB 健康检查机制可将集群的CN请求快速转发到正常工作的CN节点上,当有CN故障节点时,也能第一时间切换流量到健康节点上,最大化降低集群访问故障。
更多信息,请参见集群绑定和解绑ELB。
图3 网络配置 - 单击“下一步:高级配置”,参见表5进行高级配置。
表5 高级配置 参数
示例
说明
集群名称
dws-demo
集群名称,用户自定义,支持后续修改。
集群版本
使用推荐版本
每个版本支持的数据库功能不同,默认选择推荐版本。如需使用高版本功能,请选择更高版本。
说明:白名单客户界面,会显示其他集群版本,请根据界面实际情况选择。
集群各版本支持功能,请参见产品公告。
管理员用户
dbadmin
指定数据库系统管理员的用户名,默认即可。
数据库系统管理员默认具有SYSADMIN属性,非三权分立模式下,拥有数据库最高权限。可用于规划数据库对象,例如创建数据库、用户、授权用户角色等操作。
更多信息,请参见数据库用户。
管理员密码
-
数据库系统管理员密码。
确认密码
-
数据库系统管理员密码。
数据库端口
8000
客户端连接DWS数据库的端口,默认8000即可。
企业项目
default
仅当使用企业类型的账号创建DWS时,会显示该参数。
用于按项目统一管理云资源。
高级配置
默认配置
高级配置支持“默认配置”和“自定义”。当选择“自定义”时,支持以下高级配置:
- 备份设备:OBS或者NFS。
- CN部署量:在大规模集群下,建议部署多个CN。
- 标签:在DWS中,当用户创建集群后,如果想对集群添加如项目名称、业务类别、背景信息等相关信息的标识,用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签,那么建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。
- 加密数据库。开启后,DWS将使用KMS(密钥管理服务)为集群及其快照的数据启用加密功能。
图4 高级配置 - 单击“下一步:确认配置”,确认无误后,单击“立即购买”。
等待约10分钟,集群创建成功。
步骤二:上传数据到OBS桶
- 创建OBS桶,参见OBS用户指南。
关键参数按如下填写,其他参数默认即可。
不支持跨区域访问OBS桶数据,OBS桶需跟DWS创在同一个区域。例如“华北-北京四”。
- 区域:华北-北京四
- 桶名称:dws-obs01 (如提示冲突,可以依次递增到02、03)
- 桶策略:私有
- 创建OBS桶成功后,左侧选择“桶列表”,单击新创建的dws-obs01桶名,左侧导航选择“对象”,单击“新建文件夹”,文件夹名称为“input_data”,单击“确定”。
图5 新建文件夹
- 在本地PC创建3个csv数据文件,名字(含格式后缀)分别为product_info0.csv、product_info1.csv、product_info2.csv。
图6 创建csv文件
- 使用文本编辑工具分别打开3个csv文件,复制以下内容到每个csv文件中。
- product_info0.csv:
1 2 3 4 5
100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good! 205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good! 300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad. 310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice. 150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.
- product_info1.csv:
1 2 3 4 5
200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality. 250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well. 108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy. 450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good. 260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.
- product_info2.csv:
1 2 3 4 5 6 7 8 9 10
980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,, 98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,5473 50,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good" 80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable." 30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!" 40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good." 50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all." 60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful." 70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much" 80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."
- product_info0.csv:
- 使用文本编辑工具转为UTF-8编码,并保存。
- 回到浏览器上的OBS控制台,左侧导航选择“桶列表”,单击新创建的dws-obs01桶名。
- 左侧导航选择“对象”,单击“input_data”文件夹。
- 单击“上传对象”,单击“添加文件”。
- 将product_info0.csv、product_info1.csv、product_info2.csv 3个文件上传到OBS桶。
步骤三:连接DWS集群并导入数据进行分析
- 浏览器切换到DWS管理控制台。
- 左侧导航选择“数据 > SQL编辑器”,单击“新增数据源”。
- 填写数据库连接信息。
- 集群:选择本文创建的dws-demo集群。
- 数据库:保持gaussdb默认。
- 数据源名称:dws-demo-01。
- 用户名:dbadmin
- 密码:步骤一:创建DWS集群中创建DWS时设置的密码。
- 勾选“记住密码”,单击“测试连接”。
图7 数据库连接信息
- 单击“确定”。
如下图,数据源名称前面图标为绿色
,表示数据库连接成功。右侧区域为SQL编辑器窗口,可进行后续的SQL编写并执行SQL语句。
图8 连接数据库成功后续连接会话超时,或者浏览器重新刷新时,
图标置为灰色,表示连接断开,可以直接双击数据源名称重新连接数据库。
- 将以下SQL语句复制到SQL编辑器窗口中,并将OBS桶名称、AK值、SK值,替换成实际值。
本文OBS桶名为dws-obs01,AK值和SK值从访问密钥获取。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
CREATE FOREIGN TABLE product_info_ext ( product_price integer not null, product_id char(30) not null, product_time date, product_level char(10), product_name varchar(200), product_type1 varchar(20), product_type2 char(10), product_monthly_sales_cnt integer, product_comment_time date, product_comment_num integer, product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS ( LOCATION 'obs://OBS桶名称/input_data/', FORMAT ' CS V' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', A CCE SS_KEY 'AK值', SECRET_AC CES S_KEY 'SK值', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';
图9 创建OBS外表 - 核对SQL语句无误,单击“运行”,创建OBS外表成功。
图10 创建OBS外表成功
- 复制以下SQL语句,在SQL窗口中执行,创建普通表。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
CREATE TABLE product_info ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH ( orientation = column, compression=middle ) DISTRIBUTE BY hash (product_id);
- 复制以下SQL语句,在SQL窗口中执行,通过INSERT语句将OBS外表数据导入DWS数据库。
1
INSERT INTO product_info SELECT * FROM product_info_ext;
- 复制以下SQL语句,在SQL窗口中执行,进行VACUUM和ANALYZE操作。
了解更多语法,请参考相关SQL语法章节。
1 2
VACUUM FULL product_info; ANALYZE product_info;
- 复制以下SQL语句,在SQL窗口中执行,查询数据明细成功。
1
SELECT * FROM product_info;
图11 查询数据成功
华为高斯好DWS的区别常见问题
更多常见问题 >>-
新一代、全场景数据仓库,一站式分析,性能、容量无限扩展。守护高价值数据、创享高价值分析,企业数字化转型坚实伙伴。 DWS可靠保护数据库中存储的数据,确保数据安全、完整、可用。
-
云数据库GaussDB是华为自主创新研发的分布式关系型数据库,具有高性能、高可用、高安全、低成本的特点。GaussDB到底是一种什么样的数据库,使用体验咋样?
-
SFS的常见问题解答。
-
GaussDB(DWS)的产品架构介绍。
-
数据仓库服务(Data Warehouse Service,简称DWS)是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。
-
传统的数据仓库售价昂贵,设备系统选型,采购周期长,扩容复杂,整体运行成本十分高昂,因此很难为中小企业所采纳。公有云数据仓库服务GaussDB(DWS) 与传统的数据仓库相比,主要有以下特点与显著优势
更多相关专题
增值电信业务经营许可证:B1.B2-20200593 | 域名注册服务机构许可:黔D3-20230001 | 代理域名注册服务机构:新网、西数