了解DataArtsFabricSQL数据库对象 DataArtsFabric SQL是云原生数据库引擎,能让您借助LakeFormation(数据湖统一元数据管理引擎)和OBS(对象存储服务)的能力进行高效数据管理。
timezone str 配置timezone,默认为“UTC”,修改后在新的connection中生效 read_from_obs bool 是否通过obs读取执行结果,默认为true,通过obs读 get_result_concurrent_max_worker int 并发读取结果的最大并发度
ID obs_directory_base=OBS_DIRECTORY_BASE, # obs中udf的存储路径 obs_bucket_name=OBS_BUCKET_NAME, # obs的桶名字 obs_server=OBS_SERVER, # obs访问地址
在页面左上角单击图标,选择“存储 > 对象存储服务”,进入对象存储服务页面。 以并行文件系统为例: 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
Iceberg表服务 DataArtsFabric SQL提供一系列表服务,用户可以根据需要使用,例如清理旧快照,整理元数据、数据文件等,以提高存储、查询的效率。具体语法可参考ICEBERG表服务函数。
OBS I/O :表示OBS IO请求的详细信息。
代码归档包的组织结构 当用户的业务场景比较复杂,UDF所涉及的代码较多时,推荐用户以文件压缩包的形式注册函数,将UDF依赖的所有相关代码文件统一归档到一个压缩包里,上传至OBS后,在创建函数时指定压缩包的存储路径。
规划并创建OBS桶并导入数据 创建OBS桶及文件夹,用于数据存储。 规划并创建Catalog、数据库 在LakeFormation界面进行Catalog、数据库的创建,并指定OBS桶目录。 查询数据 在SQL编辑器界面进行SQL查询。
OBS相关权限:服务所有业务,包括作业,推理,都需要OBS文件的读取权限,保证后续能够从用户的OBS桶拉取到作业文件进行执行,模型文件进行部署。
ID obs_directory_base=OBS_DIRECTORY_BASE, # obs中udf的存储路径 obs_bucket_name=OBS_BUCKET_NAME, # obs的桶名字 obs_server=OBS_SERVER, # obs访问地址
访问第三方引擎创建的Iceberg表 对于Spark产生的Iceberg表,DataArtsFabric SQL通过外表方式访问OBS上的Iceberg数据。 获得对应OBS路径的访问权限。
类型 镜像包类型,Ray集群场景选择RAY_CLUSTER,Ray服务场景选择RAY_SERVICE。 版本名称 镜像包可有多个版本,根据当前创建信息填入一个版本名称。 版本描述 当前创建版本的描述信息。 版本类型 当前只支持OBS。 路径 当前创建版本所在的OBS路径。
王五 算法工程师 需要拥有DataArtsFabricFullPolicy权限、和必须的OBS权限来在DataArtsFabric服务中使用OBS中的模型文件,OBS权限需要由用户权限管理员张三为其授权 赵六 测试工程师 需要拥有DataArtsFabricReadOnlyPolicy
3.0 5.0 1.0 2.0 4.0 6.0 2.0 3.0 步骤二:将代码脚本上传至OBS桶 登录华为云控制台,在页面左上角单击,选择“存储 > 对象存储服务 OBS”,进入OBS服务。 将步骤一创建的代码脚本上传至OBS桶,详情请参见使用OBS桶上传对象。
object:*", "obs:bucket:ListBucket" ] } ] } 可以执行推理相关的业务,包括注册模型,创建推理服务,进行推理。
创建、清空、删除Iceberg表 Iceberg表将数据存储在OBS上。DataArtsFabric SQL可以直接访问OBS上的Iceberg数据。 创建Iceberg表 通过CREATE TABLE语法创建Iceberg表。
目前支持OBS路径,该路径需要当前用户有读取的权限。 (可选)删除模型版本。 您也可以删除不想要的模型版本。 单击页面操作列的“删除”按钮,再次确认后进行删除。 父主题: 创建我的推理服务进行推理
单位:次 当前SQL监控数据存放在结果集OBS桶中,和结果集文件夹同目录,可以在华为云网站中找到OBS服务打开,根据当前查询的结果集路径找到同目录下的对应SQL监控数据文件并下载查看。SQL监控数据文件打开后如下所示: 父主题: SQL调优
获取查询结果(通过OBS获取) getStatementResult 获取异步查询的结果,结果集从OBS中读取。 获取查询结果(直接获取) getStatementResultDirect 获取异步查询的结果,结果集由服务端直接返回。
已根据业务需求开发Job相关代码,并将代码上传至OBS(创建OBS桶及上传文件请参考OBS创建桶)。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 > Job定义”。 单击右上角“创建作业”。