了解DataArtsFabricSQL数据库对象 DataArtsFabric SQL是云原生数据库引擎,能让您借助LakeFormation(数据湖统一元数据管理引擎)和OBS(对象存储服务)的能力进行高效数据管理。
read_from_obs bool 是否通过obs读取执行结果,默认为true,通过obs读。 get_result_concurrent_max_worker int 并发读取结果的最大并发度,默认最大并发度为3。
obs_server=OBS_SERVER, # obs访问地址,详情请参见终端节点(Endpoint)和访问域名 verify=VERIFY, # bool类型,是否校验服务端SSL证书 ) t = con.table("table_name", database="
在页面左上角单击图标,选择“存储 > 对象存储服务”,进入对象存储服务页面。 以并行文件系统为例: 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
代码归档包的组织结构 当用户的业务场景比较复杂,UDF所涉及的代码较多时,推荐用户以文件压缩包的形式注册函数,将UDF依赖的所有相关代码文件统一归档到一个压缩包里,上传至OBS后,在创建函数时指定压缩包的存储路径。
规划并创建OBS桶并导入数据 创建OBS桶及文件夹,用于数据存储。 规划并创建Catalog、数据库 在LakeFormation界面进行Catalog、数据库的创建,并指定OBS桶目录。 查询数据 在SQL编辑器界面进行SQL查询。
OBS相关权限:服务所有业务,包括作业,推理,都需要OBS文件的读取权限,保证后续能够从用户的OBS桶拉取到作业文件进行执行,模型文件进行部署。
ID,详情请参见与LakeFormation数据类型映射关系 obs_directory_base=OBS_DIRECTORY_BASE, # obs中udf的存储路径 obs_bucket_name=OBS_BUCKET_NAME, # obs的桶名字
访问第三方引擎创建的Iceberg表 对于Spark产生的Iceberg表,DataArtsFabric SQL通过外表方式访问OBS上的Iceberg数据。 获得对应OBS路径的访问权限。
int fabric.options.get_result_concurrent_max_worker obs_server 指定连接的OBS服务地址。 str | None None obs_bucket_name 指定连接的OBS桶名称。
王五 算法工程师 需要拥有DataArtsFabricFullPolicy权限、和必须的OBS权限来在DataArtsFabric服务中使用OBS中的模型文件,OBS权限需要由用户权限管理员张三为其授权 赵六 测试工程师 需要拥有DataArtsFabricReadOnlyPolicy
400 00010157 要授权的obs路径已授权:xx。 请检查输入的obs路径参数。 400 00010158 OBS服务发生异常,OBS请求responseCode:xx,请求ID:xx。 请检查OBS服务状态和OBS路径:xx。
3.0 5.0 1.0 2.0 4.0 6.0 2.0 3.0 步骤二:将代码脚本上传至OBS桶 登录华为云控制台,在页面左上角单击,选择“存储 > 对象存储服务 OBS”,进入OBS服务。 将步骤一创建的代码脚本上传至OBS桶,详情请参见使用OBS桶上传对象。
创建、清空、删除Iceberg表 Iceberg表将数据存储在OBS上。DataArtsFabric SQL可以直接访问OBS上的Iceberg数据。 创建Iceberg表 通过CREATE TABLE语法创建Iceberg表。
单位:次 obs_io_req_count bigint OBS IO请求次数。 单位:次 obs_io_req_count bigint OBS IO请求重试次数。 单位:次 obs_io_req_rate_limit_count bigint OBS IO请求速率限制次数。
目前支持OBS路径,该路径需要当前用户有读取的权限。 (可选)删除模型版本。 您也可以删除不想要的模型版本。 单击页面操作列的“删除”按钮,再次确认后进行删除。 父主题: 创建我的推理服务进行推理
单位:每毫秒字节数 当前SQL监控数据存放在结果集OBS桶中,和结果集文件夹同目录,可以在华为云网站中找到OBS服务打开,根据当前查询的结果集路径找到同目录下的对应SQL监控数据文件并下载查看。
获取查询结果(通过OBS获取) getStatementResult 获取异步查询的结果,结果集从OBS中读取。 获取查询结果(直接获取) getStatementResultDirect 获取异步查询的结果,结果集由服务端直接返回。
用户可通过该接口创建模型,支持传入名称、描述、版本名称、版本描述、基模型类型和模型所在的OBS路径,返回模型ID及其版本ID。此接口为异步接口,配套使用接口ListModels查询模型列表。存在同名校验,不支持创建重复名称的模型。
已根据业务需求开发Job相关代码,并将代码上传至OBS(创建OBS桶及上传文件请参考OBS创建桶)。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 > Job定义”。 单击右上角“创建作业”。