公网带宽(可选) 包年/包月集群搭配“按带宽计费”的弹性公网IP时,带宽的计费模式同为包年/包月,由弹性云服务器(Elastic Cloud Server,ECS)负责其计费。
公网带宽(可选) 按需计费集群搭配“按带宽计费”的弹性公网IP时,带宽的计费模式同为按需计费,由弹性云服务器(Elastic Cloud Server,ECS)负责其计费。
创建ECS 参见购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。 创建ECS过程中,注意选择与后续的IoT数仓在同一个区域、可用区和同一个VPC子网下,ECS的操作系统选择与gsql客户端(本例以CentOS 7.6为例),并选择以密码方式登录。
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS 调优表 调优表实践 在本实践中,您将学习如何优化表的设计。
可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。 Ring 安全环,集群内部的故障隔离域,主要作用是故障隔离,环内主机出现故障,故障不会扩散到环外。 如果环内某一单节点故障,所有DN节点在环内都有副本,数据不会丢失。
弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。了解更多,请参见弹性负载均衡。
DWS对接Power BI操作指导 在弹性云服务器ECS上的Windows环境下安装Power BI,并使用On-premises Data Gateway(本地数据网关)模式与DWS进行对接。
基于ECS弹性云服务器底层基础能力,升降目标集群虚拟机节点的CPU、内存这两种资源配置,如下图所示: 弹性变更规格整个流程需要停止集群,所以需要用户合理安排变更时间窗口,防止集群停止影响业务。
弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。
图1 Kafka实时入库DWS 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 ECS、对象存储服务 OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务 DWS,基本流程如下: 准备工作:注册账号,准备网络等
创建外部服务器 本章节包含创建OBS外部服务器和创建HDFS外部服务器。 创建OBS外部服务器,用于定义OBS服务器的信息,供外表调用,针对集群不同版本,创建方式不同。具体操作步骤请参见创建外部服务器。
主服务器 enable_data_replicate 参数说明:当数据库在数据导入行存表时,主机与备机的数据同步方式可以进行选择。 参数类型:USERSET 取值范围:布尔型 on表示导入数据行存表时主备数据采用数据页的方式进行同步。
主服务器 enable_data_replicate 参数说明:当数据库在数据导入行存表时,主机与备机的数据同步方式可以进行选择。 参数类型:USERSET 取值范围:布尔型 on表示导入数据行存表时主备数据采用数据页的方式进行同步。
创建外部服务器 创建外部服务器,用于定义OBS服务器的信息,供外表调用,针对集群不同版本,创建方式不同。 8.2.0及以上集群版本:通过管理控制台创建OBS数据源实现以委托方式访问OBS桶数据。 8.2.0以下集群版本:通过手动创建OBS服务器实现。
服务器信号函数 服务器信号函数向其他服务器进程发送控制信号。只有系统管理员才能使用这些函数。 pg_cancel_backend(pid int) 描述:取消一个后端的当前查询。
服务器信号函数 服务器信号函数向其他服务器进程发送控制信号。只有系统管理员才能使用这些函数。 pg_cancel_backend(pid int) 描述:取消一个后端的当前查询。
您可以根据上述信息找到您所要的外部服务器,并记录下它的srvname和srvoptions的值。 切换为即将创建外部服务器的用户去连接其对应的数据库。
创建用户和数据库并授予外表权限 手动创建外部服务器 需要注意的是,当您不再需要从该MRS数据源读取数据时,通过DWS管理控制台删除MRS数据源,仅会删除在默认数据库postgres中自动创建的外部服务器,手动创建的外部服务器需要您手动删除,具体操作请参见删除手动创建的外部服务器中的描述
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据