Iceberg表服务 DataArtsFabric SQL提供一系列表服务,用户可以根据需要使用,例如清理旧快照,整理元数据、数据文件等,以提高存储、查询的效率。具体语法可参考ICEBERG表服务函数。
数据库对象函数 排序规则版本函数 数据库对象尺寸函数 父主题: 函数和操作符
OBS相关权限:服务所有业务,包括作业,推理,都需要OBS文件的读取权限,保证后续能够从用户的OBS桶拉取到作业文件进行执行,模型文件进行部署。
王五 算法工程师 需要拥有DataArtsFabricFullPolicy权限、和必须的OBS权限来在DataArtsFabric服务中使用OBS中的模型文件,OBS权限需要由用户权限管理员张三为其授权 赵六 测试工程师 需要拥有DataArtsFabricReadOnlyPolicy
值存储 值存储数据类型解析 查找与目标字段准确的匹配。 试着将表达式直接转换成目标类型。如果已知这两种类型之间存在一个已登记的转换函数,那么直接调用该转换函数即可。如果表达式是一个未知类型文本,该文本字符串的内容将交给目标类型的输入转换过程。 检查目标类型是否有长度转换。长度转换是一个从某类型到自身的转换
在页面左上角单击图标,选择“存储 > 对象存储服务”,进入对象存储服务页面。 以并行文件系统为例: 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
FABRIC_OBS_POLICY:OBS相关权限策略。 默认取值:不涉及。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 参数解释:租户Token。用于调用接口的认证。获取方法,请参见认证鉴权。
数据库对象尺寸函数 pg_table_size(regclass) 描述:获取表大小,计算表目录下所有文件的总大小。 返回值类型:int64 pg_table_files(regclass) 描述:获取表大小,返回表目录下所有文件的路径和大小信息。 返回值类型: file_path
FABRIC_OBS_POLICY:OBS相关权限策略。 默认取值:不涉及。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 参数解释:租户Token。用于调用接口的认证。获取方法,请参见认证鉴权。
了解DataArtsFabricSQL数据库对象 DataArtsFabric SQL是云原生数据库引擎,能让您借助LakeFormation(数据湖统一元数据管理引擎)和OBS(对象存储服务)的能力进行高效数据管理。
FABRIC_OBS_POLICY:OBS相关权限策略。 默认取值:不涉及。
代码目录 执行推理所需的代码目录,支持选择“OBS对象存储”、“镜像内部路径”和“其他”。 部署文件路径 推理实例在代码中的路径。 路由前缀 推理路由前缀,不同Application的路由前缀不可重复。 环境变量 根据业务需求选中“环境变量”,单击“增加”填写环境变量。
对于托管表(Managed Table),数据文件仍存储在常规的文件系统(OBS并行文件系统)中,用户可以在不告知DataArtsFabric SQL的情况下对其进行变更。
3.0 5.0 1.0 2.0 4.0 6.0 2.0 3.0 步骤二:将代码脚本上传至OBS桶 登录华为云控制台,在页面左上角单击,选择“存储 > 对象存储服务 OBS”,进入OBS服务。 将步骤一创建的代码脚本上传至OBS桶,详情请参见使用OBS桶上传对象。
400 00010157 要授权的obs路径已授权:xx。 请检查输入的obs路径参数。 400 00010158 OBS服务发生异常,OBS请求responseCode:xx,请求ID:xx。 请检查OBS服务状态和OBS路径:xx。
设计数据库对象 了解DataArtsFabricSQL数据库对象 创建和管理Schema 创建和管理表 表分区定义
单位:每毫秒字节数 当前SQL监控数据存放在结果集OBS桶中,和结果集文件夹同目录,可以在华为云网站中找到OBS服务打开,根据当前查询的结果集路径找到同目录下的对应SQL监控数据文件并下载查看。
获取查询结果(通过OBS获取) getStatementResult 获取异步查询的结果,结果集从OBS中读取。 获取查询结果(直接获取) getStatementResultDirect 获取异步查询的结果,结果集由服务端直接返回。
创建模型 对象存储服务OBS IAM用户设置了DataArtsFabricFullPolicy之后,还需要设置OBS OperateAccess才能在模型管理界面创建模型并指定模型文件所在的OBS路径。
目前支持OBS路径,该路径需要当前用户有读取的权限。 (可选)删除模型版本。 您也可以删除不想要的模型版本。 单击页面操作列的“删除”按钮,再次确认后进行删除。 父主题: 创建我的推理服务进行推理