已根据业务需求开发Job相关代码,并将代码上传至OBS(创建OBS桶及上传文件请参考OBS创建桶)。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 > Job定义”。 单击右上角“创建作业”。
创建、清空、删除Iceberg表 Iceberg表将数据存储在OBS上。DataArtsFabric SQL可以直接访问OBS上的Iceberg数据。 创建Iceberg表 通过CREATE TABLE语法创建Iceberg表。
对象标识符类型 DataArtsFabric SQL在内部使用对象标识符(OID)作为各种系统表的主键。系统不会给用户创建的表增加一个OID系统字段,OID类型代表一个对象标识符。 目前OID类型用一个四字节的无符号整数实现。因此不建议在创建的表中使用OID字段做主键。 表1 对象标识符类型
服务规格 查询资源规格列表 父主题: API
表分区定义 分区表就是把逻辑上的一张表根据分区策略分成几张物理块库进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。当进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能。 分区表的优势: 改善查询性能
删除Ray服务 前提条件 已有至少一个Ray服务。具体操作,请参见创建Ray服务。 操作步骤 Ray服务一旦删除所有记录都会被清理掉,且无法恢复。请谨慎操作。 登录DataArtsFabric工作空间管理台。
升级Ray服务等待时间为3000s,超时会导致升级失败 回退升级Ray服务 如果使用了错误的升级配置或其他原因,可能会导致升级Ray服务失败,此时需要对升级失败的Ray服务进行回退操作。
删除推理服务 当您不想使用推理服务的时候,您可以删除自己创建的推理服务。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务。 操作步骤 登录DataArtsFabric工作空间管理台。
开通推理服务 对于公共推理服务,用户需要先申请开通,开通后才可以使用。开通公共推理服务之后用户会获得一定的免费配额,并在一定的时间内有效,超过将无法使用。如果用户想继续使用,建议部署推理服务使用。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。
创建推理服务 在DataArtsFabric进行推理的时候,除了选择已有的公共推理服务进行推理,用户也可以部署自己的推理服务进行推理。
推理服务接口 发起调用请求 父主题: API
管理Ray服务 创建Ray服务 升级Ray服务 运行推理服务 删除Ray服务 父主题: Ray场景
创建和管理Schema Schema又称作模式,从逻辑上组织一个数据库中的对象和数据。通过管理Schema,允许多个用户使用同一数据库而不相互干扰,同时便于将第三方应用添加到相应的Schema下而不引起冲突。 相同的数据库对象名称可以应用在同一数据库的不同Schema中,而没有冲突
PG_CLASS PG_CLASS系统表存储数据库中所有内置系统表对象信息及其之间的关系。 表1 PG_CLASS字段 名称 类型 描述 oid oid 行标识符(隐藏属性,必须明确选择才会显示)。 relname name 表、索引、视图等对象的名称。 relnamespace
具体操作,请参见创建Ray服务。 运行推理服务 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产 > Ray服务”。 在“Ray服务”页面的“推理地址”列,获取目标Ray服务的推理地址。
部署服务 功能介绍 部署一个服务实例。部署服务实例接口支持输入名称、描述、端点ID、实例规格、最小值和最大值等参数,返回实例ID。此过程包含资源校验:最大值不小于最小值,且不超过端点最大资源数;同一端点下所有服务总资源数亦需符合限制。
区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
访问第三方引擎创建的Iceberg表 对于Spark产生的Iceberg表,DataArtsFabric SQL通过外表方式访问OBS上的Iceberg数据。 获得对应OBS路径的访问权限。
服务健康检查 健康检查 父主题: API
obs_server=OBS_SERVER, # obs访问地址,详情请参见终端节点(Endpoint)和访问域名 verify=VERIFY, # bool类型,是否校验服务端SSL证书 ) t = con.table("table_name", database="