检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要查询OBS、GDS等外表信息(如OBS路径),可以执行以下语句查询。
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。
创建Hudi数据描述(外表) 外表是对OBS上数据的映射。GaussDB(DWS)通过外表方式访问OBS上的Hudi数据,具体可参见CREATE FOREIGN TABLE (SQL on OBS or Hadoop)。
创建Hudi数据描述(外表) 外表是对OBS上数据的映射。GaussDB(DWS)通过外表方式访问OBS上的Hudi数据,具体可参见CREATE FOREIGN TABLE (SQL on OBS or Hadoop)。
从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。 用户可以通过DWS提供的客户端工具(gsql)或者JDBC/ODBC驱动从上层应用向DWS写入数据。
OPTIONS 用于指定外部服务器的各类参数。 支持的各类参数参见表2。 表2 OPTIONS参数说明 参数 描述 取值范围 address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。
原PG_JOB_PROC系统表已经和原PG_JOB系统表一同并入当前版本的PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB_PROC字段 名字 类型 描述 job_id bigint 作业ID。 what text 作业内容。
原PG_JOB_PROC系统表已经和原PG_JOB系统表一同并入当前版本的PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB_PROC字段 名字 类型 描述 job_id bigint 作业ID。 what text 作业内容。
原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。
原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。
使用DataArts Studio服务创建GaussDB(DWS)外表时不支持中文,如何处理 问题现象 使用DataArts Studio服务创建GaussDB(DWS)的OBS外表,并且在创建外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理?
外表用于识别和关联OBS上的源数据。 <obs_bucket_name>表示OBS桶名,当前系统已预置了OBS桶和样例数据,用户无需创建,请替换为DWS所在的实际区域对应的桶名,参见支持区域,本实践以“中国-香港”地区为例,请替换为dws-demo-ap-southeast-1。
编辑器依赖GaussDB(DWS)和OBS服务,用户首先需要有GaussDB(DWS)集群查询和OBS查询,操作等功能,同时对接CTS服务,用于开启日志进行操作类接口的事件记录。 视频介绍 编辑器功能描述 编辑器上面一栏可进行数据源、数据库、模式进行切换操作。
与COPY命令相比较,\copy命令不是读取或写入数据库服务端的文件,而是直接读取或写入本地文件。 \copy命令不如SQL COPY命令有效,因为所有的数据必须通过客户端/服务器的连接来传递。对于大量的数据来说SQL命令可能会更好。
PG_LIFECYCLE_DATA_DISTRIBUTE PG_LIFECYCLE_DATA_DISTRIBUTE视图查询OBS多温表中冷热数据分布情况。
PG_LIFECYCLE_DATA_DISTRIBUTE PG_LIFECYCLE_DATA_DISTRIBUTE视图查询OBS多温表中冷热数据分布情况。
该参数仅支持type为OBS时设置。 - secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。
该参数仅支持type为OBS时设置。 - secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。
该参数受enable_aio_scheduler和obs_worker_pool_size的前置控制;只有在enable_aio_scheduler=on以及obs_worker_pool_size>=4的前提下,此参数为on才会生效。