检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行计划所需的信息。 FALSE:不显示。 示例 修改explain_perf_mode为normal: 1 SET explain_perf_mode=normal; 显示表简单查询的执行计划: 1 EXPLAIN SELECT * FROM tpcds.customer_address_p1;
MSCK REPAIR TABLE 功能描述 MSCK REPAIR TABLE为DataArtsFabric SQL服务下特有语法,该语法功能是将数据目录上的分区信息同步到元数据存储引擎上。 注意事项 无。 语法格式 1 MSCK REPAIR TABLE table_name;
数智融合(Data+AI) DataArtsFabric DataFrame
服务器信号函数 服务器信号函数向其他服务器进程发送控制信号。只有系统管理员才能使用这些函数。 pg_cancel_backend(pid int) 描述:取消一个后端的当前查询。 返回值类型:boolean 备注:pg_cancel_backend向由pid标识的后端进程发送一个
使用DataFrame API注册Scalar UDF 场景实践 DataArtsFabric DataFrame API参考 父主题: 数智融合(Data+AI)
DataFrame SDK,方便用户使用Python编写数据处理作业;同时利用DataArtsFabric SQL内核高效的计算能力,为数据科学家、AI工程师等提供了易用、高效的数据处理能力。 本特性基于Ibis Python DataFrame开源框架实现,将Ibis前端框架与DataArtsFabric
指定服务的区域,区域查询地区和终端节点。 endpoint_id=FABRIC_ENDPOINT_ID, # 查询endpoint_id domain=FABRIC_DOMAIN, #租户名 user=FABRIC_USER, #IAM用户名 password=FABRIC_PASS
场景实践 不带UDF的DF示例 带Scalar UDF的DF示例 父主题: DataArtsFabric DataFrame
准备工作 准备Python环境 安装DataFrame包依赖Python 3.11环境,使用前请提前安装好Python 3.11。 安装DataFrame包 在线安装: 通过华为内部源使用pip进行安装: pip install --trusted-host pypi.cloudartifact
DataArtsFabric DataFrame API参考 DataArtsFabric DataFrame参数配置 Scalar UDF显式注册语法 Scalar UDF隐式注册语法 Scalar Python UDF注册参数 Scalar Builtin UDF注册参数 signature参数的类型推断
使用DataFrame API注册Scalar UDF Scalar UDF类型 注册Scalar UDF概览 显式注册Scalar UDF 隐式注册Scalar UDF 父主题: DataArtsFabric DataFrame
指定服务的区域,区域查询地区和终端节点。 endpoint_id=FABRIC_ENDPOINT_ID, # 查询endpoint_id domain=FABRIC_DOMAIN, #租户名 user=FABRIC_USER, #IAM用户名 password=FABRIC_PASS
通过obs读 get_result_concurrent_max_worker int 并发读取结果的最大并发度,默认最大并发度为3 wait_result_internal int 等待sql结果的轮询时间,单位s。默认为3s 修改requests_timeout参数示例如下:
Scalar UDF类型 对于DataArtsFabric DataFrame,目前提供Python端可以注册的Scalar UDF类型如下: 表1 Scalar UDF类型 Scalar UDF类型 输入类型 是否向量化 适用场景与特点 python Python标量值 否 逐
带Scalar UDF的DF示例 结合DataFrame使用Scalar UDF是推荐的标准用法,此时整个Scalar UDF的外部必须要包围DataFrame的SELECT方法。 经过注册后返回的值是DataFrame中的一个UDF算子。 此时,该算子可以被多个DataFrame表达式多次调用,示例如下:
注册Scalar UDF概览 注册Scalar UDF的含义是在后端数据库包含指定的UDF,并在注册后返回在ibis DataFrame中可以操作的UDF算子。 注册Scalar UDF返回的值是DataFrame中的一个UDF算子。后续这个UDF算子可以被多个DataFrame表达式多次调用。
Scalar Python UDF注册参数 注册Scalar Python UDF的作用是将一个原始的Python函数注册进数据库中。 不管是显式注册还是隐式注册,对于注册Python类型的Scalar UDF,目前都接受用户传入以下参数: 表1 Scalar Python UDF注册参数
Scalar UDF隐式注册语法 隐式注册的含义是依赖Python运行时自动发现并注册Scalar UDF。用户不需要在Python代码中侵入式添加注册逻辑代码,而是使用@装饰器修饰原始Python函数,然后在DataFrame中使用被装饰的原始Python函数的标识符,即可完成
Scalar Builtin UDF注册参数 注册Scalar Builtin UDF的作用是获得数据库已存在的函数的句柄,无实际注册的操作。 不管是显式注册还是隐式注册,对于注册Builtin类型的Scalar UDF,目前都接受用户传入以下参数: 表1 Scalar Builtin
Scalar UDF显式注册语法 显式注册的含义是用户需要手动在Python代码中侵入式添加注册逻辑代码,需要用户使用backend...register/register_from_file来实现,调用即注册。显式注册依赖于已经获得backend会话对象才能进行。 推荐使用显式