检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么Spark3.x的作业日志中打印找不到global_temp数据库 问题描述 Spark3.x的作业日志中提示找不到global_temp数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。 通常在Spark作业执
返回 DECIMAL、DOUBLE或INT类型。 a为NULL,则返回NULL。 示例代码 返回3。 SELECT positive(3); 返回-3。 SELECT positive(-3); 返回123。 SELECT positive('123'); 父主题: 数学函数
符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。 示例代码 返回3。 select quarter('2023-08-16 10:54:00'); 返回3。 select quarter('2023-08-16'); 返回NULL。 select quarter(null);
添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新建集群环境均已默认为Python3环境。 父主题: Spark作业开发类
示例 输入一条记录("student1", "student2, student3"),输出两条记录("student1", "student2") 和 ("student1", "student3") 。 create table s1(attr1 string, attr2 string)
(推荐)DLI SDK V3 写作说明 本文介绍了DLI服务提供的V3版本的SDK,列举了最新版本SDK的获取地址。 SDK列表 SDK列表提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 SDK V3版本简介。 SDK列表
levenshtein函数用于返回两个字符串之间的Levenshtein距离,如levenshtein('kitten','sitting') =3。 Levenshtein距离,是编辑距离的一种。指两个字串之间,由一个转成另一个所需的最少编辑操作次数。 命令格式 levenshtein(string
策略信息包含时间段、优先级和CU范围。每个队列至少要配置一条时间段为[00:00, 24:00]的默认扩缩容策略。详细参数说明请参考表3。 表3 queue_scaling_policies 参数 是否必选 参数类型 描述 impact_start_time 是 String 生效开始时间。
1]之外时,返回报错。 示例代码 假设列int_test中的元素为1、2、3、4,类型为INT类型。 返回3。 select percentile_approx(int_test,0.7) FROM int_test; 返回3。 select percentile_approx(int_test
修改作业模板 功能介绍 该API用于修改作业模板。 URI URI格式: PUT /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用
功能介绍 该API用于生成Flink SQL作业的静态流图。 Flink 1.15版本不支持生成静态流图。 URI URI格式 POST /v3/{project_id}/streaming/jobs/{job_id}/gen-graph 参数说明 表1 URI参数说明 参数名称 是否必选
获取作业模板 功能介绍 该API用于获取作业模板。 URI URI格式: GET /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用
关联队列到弹性资源池 功能介绍 关联队列到弹性资源池。 URI URI格式 POST /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues 参数说明 表1 路径参数 参数 是否必选 参数类型
创建跨源认证 功能介绍 该API用于创建跨源认证。 URI URI格式: POST /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
查询弹性资源池下所有队列 功能介绍 查询队列与弹性资源池的关联关系。 URI URI格式 GET /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues 参数说明 表1 路径参数 参数
删除跨源认证 功能介绍 该API用于删除跨源认证。 URI URI格式: DELETE /v3/{project_id}/datasource/auth-infos/{auth_info_name} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
创建路由 功能介绍 该API用于创建跨源需要的路由。 URI URI格式: POST /v3/{project_id}/datasource/enhanced-connections/{connection_id}/routes 参数说明 表1 URI参数说明 参数 是否必选 参数类型
删除路由 功能介绍 该API用于删除不需要的路由。 URI URI格式: DELETE /v3/{project_id}/datasource/enhanced-connections/{connection_id}/routes/{name} 参数说明 表1 URI参数说明 参数
删除弹性资源池 功能介绍 删除弹性资源池。 URI URI格式 DELETE /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 ela
修改弹性资源池信息 功能介绍 修改弹性资源池信息。 URI URI格式 PUT /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 el