华为云用户手册

  • 参数说明 表1 参数描述 参数 描述 DLI _TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。 values_row 想要插入到表中的值,列与列之间用逗号分隔。
  • 功能描述 Spark为了提高性能会缓存Parquet的元数据信息。当更新了Parquet表时,缓存的元数据信息未更新,导致Spark SQL查询不到新插入的数据作业执行报错,报错信息参考如下: DLI.0002: FileNotFoundException: getFileStatus on error message 该场景下就需要使用REFRESH TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少,主要用于表中元数据未修改,表的数据修改的场景。
  • 示例 123456 create table 1_datasource_mongo.test_momgo(id string, name string, age int) using mongo options( 'url' = '192.168.4.62:8635,192.168.5.134:8635/test?authSource=admin', 'database' = 'test', 'collection' = 'test', 'passwdauth' = 'xxx', 'encryption' = 'true');
  • 语法格式 1 2 3 4 5 6 7 8 910 CREATE TABLE [IF NOT EXISTS] TABLE_NAME( FIELDNAME1 FIELDTYPE1, FIELDNAME2 FIELDTYPE2) USING MONGO OPTIONS ( 'url'='IP:PORT[,IP:PORT]/[DATABASE][.COLLECTION][AUTH_PROPERTIES]', 'database'='xx', 'collection'='xx', 'passwdauth' = 'xxx', 'encryption' = 'true'); 文档数据库服务(Document Database Service,简称DDS)完全兼容MongoDB协议,因此语法中使用“using mongo options”。
  • 示例 示例1:禁止表test_lifecycle的生命周期功能。 1 alter table test_lifecycle SET TBLPROPERTIES("dli.table.lifecycle.status"='disable'); 示例2:禁止表test_lifecycle中时间为20230520分区的生命周期功能。 1 alter table test_lifecycle partition (dt='20230520') LIFECYCLE 'disable'; 当设置禁止分区表的生命周期功能后,该表的所有分区的生命周期功能都会被禁止。
  • 参数说明 表1 禁止或恢复生命周期参数说明 参数名称 是否必选 参数说明 table_name 是 待禁止或恢复生命周期的表的名称。 pt_spec 否 待禁止或恢复生命周期的表的分区信息。格式为partition_col1=col1_value1, partition_col2=col2_value1...。对于有多级分区的表,必须指明全部的分区值。 enable 否 恢复表或指定分区的生命周期功能 表及其分区重新参与生命周期回收,默认使用当前表及分区上的生命周期配置。 开启表生命周期前可以修改表及分区的生命周期配置,防止开启表生命周期后因使用之前的配置导致数据被误回收。 disable 否 禁止表或指定分区的生命周期功能。 禁止表本身及其所有分区被生命周期回收,优先级高于恢复表分区生命周期。即当使用禁止表或指定分区的生命周期功能时,设置待禁止或恢复生命周期的表的分区信息是无效的。 禁止表的生命周期功能后,表的生命周期配置及其分区的enable和disable标记会被保留。 禁止表的生命周期功能后,仍然可以修改表及分区表的生命周期配置。
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表起始日期。 格式为: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 datepart 是 STRING 代表需要返回的时间单位。 参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。 yyyy代表年份。 MM代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。
  • 示例代码 返回2023。 select datepart(date '2023-08-14 17:00:00', 'yyyy'); 返回2023。 select datepart('2023-08-14 17:00:00', 'yyyy'); 返回59。 select datepart('2023-08-14 17:59:59', 'mi') 返回NULL。 select datepart(date '2023-08-14', null);
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE或STRING 需要处理的日期。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的目标日期格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 MM代表月份。
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 mm代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。
  • 示例代码 返回静态数据示例2023-08*16。 select to_char('2023-08-16 10:54:36', '静态数据示例yyyy-mm*dd'); 返回20230816。 select to_char('2023-08-16 10:54:36', 'yyyymmdd'); 返回NULL。 select to_char('静态数据示例2023-08-16', '静态数据示例yyyy-mm*dd'); 返回NULL。 select to_char('20230816', 'yyyy'); 返回NULL。 select to_char('2023-08-16 10:54:36', null);
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型,则会隐式转换为STRING类型后参与运算。 start_position 是 BIGINT 表示起始位置。默认起始位置为1。 如果start_position取值为正,则从左边开始。如果start_position取值为负,则从右边开始。 length 否 BIGINT 表示子串的长度值。值必须大于0。
  • 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表salary,并添加数据,命令示例如下: CREATE EXTERNAL TABLE salary (dept_id STRING, -- 部⻔user_id string, -- 员⼯IDsal INT -- 薪⽔) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' stored as textfile; 添加数据如下: d1,user1/user4,1000/6000d1,user2/user5,2000/7000d1,user3/user6,3000d2,user4/user7,4000d2,user5/user8,5000/8000 执行SQL select trans_array(1, "/", dept_id, user_id, sal) as (dept_id, user_id, sal) from salary; 返回结果如下: d1,user1,1000d1,user4,6000d1,user2,2000d1,user5,7000d1,user3,3000d1,user6,NULLd2,user4,4000d2,user7,NULLd2,user5,5000d2,user8,8000
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 待拆分的字符串。 separator 是 STRING STRING类型常量。拆分用的分隔符,可以是一个字符,也可以是一个字符串。 start 是 STRING BIGINT类型常量,必须大于0。表示返回段的开始编号(从1开始)。 end 否 BIGINT BIGINT类型常量,大于等于start。表示返回段的截止编号,可省略,缺省时表示和start取值相等,返回start指定的段。
  • 返回值说明 返回STRING类型的值。 如果start的值大于切分后实际的分段数,例如字符串拆分完有4个片段,start大于4,返回空串。 如果separator不存在于str中,且start指定为1,返回整个str。如果str为空串,则输出空串。 如果separator为空串,则返回原字符串str。 如果end大于片段个数,返回从start开始的子串。 str非STRING、BIGINT、DOUBLE、DECIMAL或DATETIME类型时,返回报错。 start或end非BIGINT类型常量时,返回报错。 除separator外,如果任一参数值为NULL,返回NULL。
  • 示例代码 返回aa。 select split_part('aa,bb,cc,dd', ',', 1); 返回aa,bb。 select split_part('aa,bb,cc,dd', ',', 1, 2); 返回空串。 select split_part('aa,bb,cc,dd', ',', 10); 返回aa,bb,cc,dd。 select split_part('aa,bb,cc,dd', ':', 1); 返回空串。 select split_part('aa,bb,cc,dd', ':', 2); 返回aa,bb,cc,dd。 select split_part('aa,bb,cc,dd', '', 1); 返回bb,cc,dd。 select split_part('aa,bb,cc,dd', ',', 2, 6); 返回NULL。 select split_part('aa,bb,cc,dd', ',', null);
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 当参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。 b 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数b的格式包括浮点数格式、整数格式、字符串格式。 当参数b非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。
  • 示例代码 返回1692149997。 select unix_timestamp('2023-08-16 09:39:57') 假设当前系统时间为2023-08-16 10:23:16,返回1692152596。 select unix_timestamp(); 返回1692115200(即2023-08-16 00:00:00)。 select unix_timestamp("2023-08-16 10:56:45", "yyyy-MM-dd"); 表数据示例 select timestamp1, unix_timestamp(timestamp1) as date1_unix_timestamp, timestamp2, unix_timestamp(datetime1) as date2_unix_timestamp, timestamp3, unix_timestamp(timestamp1) as date3_unix_timestamp from database_t;输出:+------------+-------------------------+-----------------------+---------------------- --+------------------------------------+----------------------------+| timestamp1| date1_unix_timestamp | timestamp2 | date2_unix_timestamp | timestamp3 | date3_unix_timestamp |+------------+-------------------------+-----------------------+-------------------------+------------------------------------+----------------------------+| 2023-08-02 | 1690905600000 | 2023-08-02 11:09:14 | 1690945754793 | 2023-01-11 00:00:00.123456789 | 1673366400000 || 2023-08-03 | 1690992000000 | 2023-08-02 11:09:31 | 1690945771994 | 2023-02-11 00:00:00.123456789 | 1676044800000 || 2023-08-04 | 1691078400000 | 2023-08-02 11:09:41 | 1690945781270 | 2023-03-11 00:00:00.123456789 | 1678464000000 || 2023-08-05 | 1691164800000 | 2023-08-02 11:09:48 | 1690945788874 | 2023-04-11 00:00:00.123456789 | 1681142400000 || 2023-08-06 | 1691251200000 | 2023-08-02 11:09:59 | 1690945799099 | 2023-05-11 00:00:00.123456789 | 1683734400000 |+------------+-------------------------+-----------------------+--------------------------+-----------------------------------+----------------------------+
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 timestamp 否 DATE或STRING 代表待转换的日期值。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 pattern 否 STRING 代表需要转换的格式。 pattern为空时,默认为yyyy-MM-dd hh:mm:ss格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 MM代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。
  • 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 timestamp 是 DATE STRING TINYINT SMALLINT INT BIGINT 代表待处理的时间。 DATE或STRING类型的日期值,或TINYINT、SMALLINT、INT或BIGINT类型的时间戳。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 timezone 是 STRING 代表需要转换的目标时区。
  • 是否支持加密媒体文件? 支持,您可以通过调用新建转码任务或新建独立加密任务接口,设置请求参数“key”和“url”即可加密媒体文件。 "encryption": {"hls_encrypt": {"key": "********","url": "https://vod.cn-north-4.myhuaweicloud.com/encrypt/getkey","iv":"********", "algorithm":"AES-128-CTR" }}, 父主题: 转码问题
  • 视频截图 视频网站对视频画面截图有着多样化的业务诉求,包括视频封面、拖动预览、审核、海报、剧照等。 媒体处理 服务支持同步截图、异步截图,也支持指定时间点、固定时间间隔截图,有效帮助视频网站客户快速构建媒体处理平台。例如:拖动预览,视频播放过程中,鼠标悬浮在进度条上,可以根据预览画面,拖到进度到指定的位置。 详细操作示例,请参考MPC的视频截图能力帮助视频网站客户快速构建媒体处理平台。 视频如何抽帧截图? 截图创建失败怎么办?
  • 为什么调用API时返回“The token must be updated”? 以下两种情况可能会导致调用API时返回The token must be update: 您获取的Token已过期,Token认证的Token有效期为24小时,当Token过期时会返回该提示信息。 您的账户出现欠费,充值后,未重新 获取Token ,这种情况下也会导致返回提示信息。 若出现该提示,您需要重新从 IAM 服务获取Token,具体请参见获取用户Token。 父主题: API和SDK使用
  • 如何通过调用转码接口输出指定的文件名? 您可以通过调用新建转码任务接口,设置转码输出文件名参数“output_filenames”和转封装文件名参数“file_name”,参数具体含义如下: output_filenames:输出文件名称,每一路转码输出对应一个名称,需要与转码模板ID数组的顺序对应。若设置该参数,则表示输出文件按该参数命名。若不设置该参数,则表示输出文件按默认方式命名。 file_name:文件名,仅用于转封装时指定输出名称。若设置该参数,则输出的对象名为object/file_name 。若不设置该参数,则输出的对象名为object/xxx,其中xxx由MPC指定。 父主题: API和SDK使用
  • 一个转码任务可以有多个输出吗? 媒体处理服务支持一进多出转码,即一个视频源文件使用一个转码任务输出多个分辨率、码率的视频文件,以满足不同终端和网速的播放需求。 相比一进一出转码任务,一进多出转码任务可提升转码效率。原因如下: 仅需创建一个任务,有效缩短用户操作时间和转码任务排队时间。 一次性完成读取和分析源文件的操作,一次性切片完成。 只需解码源文件一次,有效缩短解码时间。 在编码生成多路输出文件时,编码信息可以复用,缩短编码时间。 父主题: 转码问题
  • DASH、HLS和MP4视频的区别? 不同格式的视频采用不同标准进行封装,其播放体验和流量占用情况如表1所示。 表1 播放体验说明 视频格式 播放体验 流量占用情况 DASH 对视频进行切片,按切片播放,缓存小,起播快; 拖动时间轴到任意时间播放时,可以快速定位到对应的切片进行播放,响应快。 流量占用小。 HLS 与DASH类似。 整体占用小,播放一个切片只下载一个切片内容;对于低码率的视频场景,因封装代价高导致流量占用相对较高。 MP4 头文件较大,边下载边缓存,起播慢。 拖动时间轴播放时,需要一定的时间缓存。 市场上大多数浏览器客户端均能够播放,播放成功率高。 流量占用大。指定时间点播放后,仍然需要下载整个头文件,耗费流量大。建议用在短视频处理的场景。 父主题: 转码问题
  • 视频存储桶与媒体处理服务不在一个区域怎么办? 若视频存储的OBS桶所在区域与媒体处理服务所在区域不一致,可以通过如下方式处理。 切换媒体处理服务的区域为OBS桶所在区域后,再进行视频转码。媒体处理服务支持的区域有限,若OBS桶所在区域未部署媒体处理服务,请参考2进行处理。 使用OBS跨区域复制功能,将视频文件复制到媒体处理服务所在区域的OBS桶中,再进行视频转码操作。具体操作请参见跨区域复制。 父主题: 上传问题
  • 数据保护技术 EdgeSec通过多种数据保护手段和特性,保证通过EdgeSec的数据安全可靠。 表1 EdgeSec的数据保护手段和特性 数据保护手段 简要说明 静态数据保护 EdgeSec通过敏感 数据加密 保证用户流量中敏感数据的安全性。 传输中的数据保护 微服务间数据传输进行加密,防止数据在传输过程中泄露或被篡改。用户的配置数据传输采用安全协议HTTPS,防止数据被窃取。 数据完整性校验 EdgeSec进程启动时,配置数据从配置中心获取而非直接读取本地文件。 数据隔离机制 租户区与管理面隔离,租户的所有操作权限隔离,不同租户间的策略、日志等数据隔离。 数据销毁机制 考虑到残留数据导致的信息泄露问题,华为云根据客户等级设定了不同的保留期时长,保留期到期仍未续订或充值,存储在云服务中的数据将被删除,云服务资源将被释放。EdgeSec对云服务自动感知并在保留期到期后释放资源。 同时,EdgeSec服务充分尊重用户隐私,遵循法律法规,不会采集和存储任何用户隐私数据。 更多隐私数据使用和保护问题,请参考隐私政策声明。 父主题: 安全
  • EdgeSec权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 EdgeSec部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问EdgeSec时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对EdgeSec服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分, 如表 EdgeSec系统角色所示,包括了EdgeSec的所有系统角色。 表1 EdgeSec系统角色 系统角色/策略名称 描述 类别 依赖关系 EdgeSec FullAccess 边缘安全服务所有权限 系统策略 无。 EdgeSec ReadOnlyAccess 边缘安全服务只读权限 系统策略
  • 应用场景 行业客户 加速需求 安全防护需求 媒资 网站加速 点播加速 L3/L4 DDoS缓解 CC缓解 Web应用防护 电商 网站加速 动态加速 L3/L4 DDoS缓解 CC缓解 Web应用防护 Bot管理 API防护 金融 网站加速 动态加速 L3/L4 DDoS缓解 CC缓解 Web应用防护 Bot管理 API防护 下载网站 下载加速 L3/L4 DDoS缓解 CC缓解 Web应用防护 父主题: 边缘安全加速
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全