华为云用户手册

通过URL访问对象失败 本案例主要介绍对象URL无法访问的场景。如果您的问题是对象URL只能下载，而不能在线预览，请参考如何在浏览器中在线预览OBS中的对象？解决。 如果您是对象的拥有者，不能通过URL访问对象，请检查如下内容： 如果您是自定义对象的URL，请检查对象URL中是否有禁用字符。详情请参见用户指南中对象名称的约束。 如果您是使用自定义 域名 访问对象，请排查您的域名是否已解析到OBS桶域名。详情请参见绑定自定义域名章节“在域名解析服务器上配置CNAME记录”。 如果对象URL是由他人提供给您，您无法访问对象，请联系对象拥有者检查如下内容： 如果对象URL是通过分享功能生成，请检查分享有效期是否过期，如果过期，请重新分享并设置有效期。对象拥有者可以通过管理控制台、OBS Browser+来配置。您可以通过对象URL的格式来判断是否由分享生成，详情请参见分享文件。 工具 配置方式 OBS Console 分享文件 Browser+ 分享文件 如果对象URL的格式为BucketName.Endpoint/ObjectName，例如bucketname.obs.cn-north-4.myhuaweicloud.com/object.txt，则说明不是通过分享功能生成。请检查对象的访问权限是否授权给使用的用户。请通过桶策略、桶ACL、对象策略和对象ACL共同检查。如果用户无对象的访问权限，请授权。 您可以通过以下工具授权权限： 工具 配置方法 管理控制台 桶ACL、桶策略、对象ACL、对象策略 OBS Browser+ - obsutil 设置桶属性、设置对象属性 SDK SDK参考的使用URL进行授权访问 API 设置桶ACL 、设置桶策略、设置对象ACL 请检查对象是否加密，如果加密，只有通过分享的URL才能正常访问，通过普通对象URL即使有读权限也无法访问。 请检查对象归属的桶是否配置了防盗链的白名单或黑名单。 父主题： 桶和对象相关

删除对象操作会同步复制到跨区域复制的桶中吗？ 如果您通过OBS控制台设置跨区域复制规则，那么源桶的删除对象操作默认不会同步复制到目标桶中。 如果您通过API设置跨区域复制规则，那么源桶的删除对象操作是否会同步复制到目标桶中取决于DeleteData参数的设置： DeleteData参数值为Enabled，表示源桶的删除对象操作会同步复制到目标桶中。 源桶中生命周期规则到期删除对象的操作不会被复制到目标桶中，即源桶中通过生命周期规则删除的对象，在目标桶中不会被同步删除。 例如：您在1月16日配置了跨区域复制规则，将源桶A中的对象a.txt和aa.txt全部复制到了目标桶B中，而在1月20日a.txt被源桶A配置的生命周期规则删除，那么已经复制到目标桶B中的a.txt不会同步被删除。 DeleteData参数值为Disabled，表示源桶的删除对象操作不会同步复制到目标桶中。 启用跨区域复制规则后，符合以下条件的对象会复制到目标桶中： 新上传的对象（归档存储或深度归档存储对象除外）。 有更新的对象，比如对象内容有更新，或者某一对象跨区域复制成功后源桶对象ACL设置有更新。 桶中的历史对象（需要开启“同步历史对象”功能，且归档存储或深度归档存储对象除外）。 父主题： 跨区域复制

计费公式 标准存储与低频访问存储计费公式如下，归档与深度归档存储不涉及计费。具体计费标准如表1所示。 0-10TB（含）：每个华为帐号每个月有10TB的免费额度 10TB以上：费用=超出10TB的图片数据量 x 单价（元/GB） 表1 图片处理计费标准 计费项 标准存储单价（每月） 低频访问存储单价（每月） 归档存储单价（每月） 深度归档存储单价（每月） 图片处理 0-10TB（含）：免费 10TB以上：参见产品价格详情（单击链接跳转后选择价格详情页签）。 0-10TB（含）：免费 10TB以上：参见产品价格详情（单击链接跳转后选择价格详情页签）。 不涉及 不涉及

约束与限制 本地挂载目录可以不为空，但是挂载后此目录下原有的内容将不可用，取消挂载后即可恢复。建议使用空目录作为挂载目录。 obsfs只支持挂载OBS并行文件系统，不支持挂载对象存储桶。 obsfs挂载OBS并行文件系统后，不支持作为ftp目录使用。 挂载至本地系统的并行文件系统不能提供与本地文件系统完全相同的性能或功能，使用时需要注意以下细节： 挂载目录中的文件或文件夹不支持硬链接命令。 创建的目录深度不超过45层。 因使用FUSE框架存在内核态与用户态切换，不适合高并发场景。 ls、stat等linux命令需要远程访问OBS服务器，所以性能较差。 一个并行文件系统支持挂载到多台云服务器，但数据一致性需由您自行维护，避免出现多台云服务器同时对一个文件并发写入的情况。 桶级的桶策略和 IAM 策略对obsfs挂载方式生效，目录级的桶策略和IAM策略对obsfs挂载方式访问不生效。

适用的操作系统 obsfs适用于Linux操作系统，具体说明和操作指导如表1所示。 表1 获取obsfs的方式 方式 说明 适用的Linux发行版 操作指导 直接下载 直接下载官方提供的软件包，在Linux配置运行环境后即可使用obsfs。该方式仅支持x86架构。 Ubuntu 16、CentOS 7 下载并安装obsfs 编译生成 下载托管在GitHub的源码，配置编译环境后通过源码中自带脚本生成obsfs。该方式支持x86架构和ARM架构。 Ubuntu 14、Ubuntu 16、Ubuntu 18、SUSE 12、CentOS 7、Fedora 28、RHEL 7、Debian 8、openSUSE Leap 42.1 通过编译生成obsfs

注意事项 该功能为可选项，默认不启用。 Referer黑名单与Referer白名单互斥，不支持同时设置。 黑名单或白名单中的域名最多支持4级域名，且最多支持配置100条。 黑名单或白名单中配置的域名前不能带协议名，域名为前缀匹配。如填写“^example.example*.com$”，则“example.example.com”和“example.example01.com”也会匹配成功。 当前Referer防盗链配置不支持带端口。

配置步骤 登录 视频点播 控制台。 在左侧导航栏中，选择“域名管理”，进入域名管理界面。 单击域名右侧“配置”，选择“防盗链配置”页签，如图1所示。 图1 防盗链配置 单击“Referer防盗链”右侧的“编辑”，弹出“Referer防盗链”对话框，如图1 Referer防盗链配置信息所示。 配置Referer防盗链参数，如表1所示。 图2 Referer防盗链配置 表1 参数说明 参数 说明 开关 是否开启Referer防盗链，默认开启。 类型 支持黑名单和白名单模式。 Referer黑名单：表示黑名单内的域名不允许访问点播资源，其它可以访问。若同时勾选了“包含空Referer”，则表示不允许HTTP Header中Referer为空的请求。 Referer白名单：表示白名单内的域名允许访问点播资源，其它不可以访问。若同时勾选了“包含空Referer”，则表示允许HTTP Header中Referer为空的请求。 规则 黑名单或白名单中的域名。 支持输入域名或IP地址，以英文“;”进行分隔，域名、IP地址可混合输入，支持泛域名添加。输入的域名、IP地址总数不能超过100个。 示例如下： www.example.com;*.test.com;192.168.0.0 配置完成后，单击“确定”。 大约需要3-5分钟，Referer防盗链才生效。

Lakeformation权限策略（HetuEngine） 表3 HetuEngine语法LakeFormation权限配置参考表 类型 语法 SQL鉴权所需 LakeFormation权限 调用元数据接口所需 LakeFormation权限 schema create schema catalog:CREATE_DATABASE catalog:CREATE_DATABASE catalog:DESCRIBE show schemas catalog:LIST_DATABASE catalog:LIST_DATABASE drop schema database:DROP catalog:LIST_DATABASE database:DESCRIBE database:DROP alter schema set location/owner database:ALTER catalog:LIST_DATABASE database:DESCRIBE database:ALTER desc schema database:LIST_DATABASE database:LIST_DATABASE database:DESCRIBE table create table database:CREATE_TABLE database:DESCRIBE database:CREATE_TABLE create table as select database:CREATE_TABLE 源表：SELECT（或列:SELECT） database:DESCRIBE database:CREATE_TABLE table:DESCRIBE(源表) table:select(源表) show create table table:DESCRIBE table:DESCRIBE table:select select from table table:SELECT(或column:SELECT) table:DESCRIBE table:SELECT(或column:SELECT) insert into table table:INSERT table:SELECT(或column:SELECT) table:DESCRIBE table:ALTER alter table table:ALTER table:DESCRIBE table:ALTER show tables database:LIST_TABLE catalog:LIST_DATABASE database:LIST_TABLE drop table table:DROP table:DESCRIBE table:DROP truncate table table:DELETE table:DESCRIBE desc table table:DESCRIBE catalog:LIST_DATABASE table:DESCRIBE comment table:ALTER table:DESCRIBE table:ALTER view create view database:CREATE_TABLE 源表：SELECT（或列：SELECT） database:CREATE_TABLE table:DESCRIBE(源表) table:select(源表) drop view table:DROP table:DESCRIBE table:DROP alter view table:ALTER table:DESCRIBE table:ALTER (table:SELECT) select from view table:DESCRIBE(源表和视图) table:select(源表和视图) table:DESCRIBE(源表和视图) table:select(源表和视图) show views database:LIST_TABLE catalog:LIST_DATABASE database:LIST_TABLE table:DESCRIBE show create view table:DESCRIBE table:DESCRIBE column show columns table:SELECT(或column:SELECT) catalog:LIST_DATABASE table:DESCRIBE table:SELECT(或column:SELECT) select [column] from table table:SELECT(或column:SELECT) table:DESCRIBE table:SELECT(或column:SELECT) stats show stats table：SELECT（或column：SELECT） table:DESCRIBE table:SELECT(或column:SELECT) analyze table：INSERT table：SELECT（或column：SELECT） table:DESCRIBE table:ALTER

LakeFormation SQL资源权限支持列表 DLI 支持SQL资源鉴权的操作列表请参考数据权限列表。 LakeFormation SQL资源权限支持列表请参考表1。 表1 LakeFormation SQL资源权限支持列表 资源类型 权限类型 Database ALL ALTER DROP DESCRIBE LIST_TABLE LIST_FUNC CREATE_TABLE CREATE_FUNC Table/View ALL ALTER DROP DESCRIBE UPDATE INSERT SELECT DELETE Column SELECT Function ALL ALTER DROP DESCRIBE EXEC

Lakeformation权限策略（Spark） 表2 Lakeformation权限策略 类型 SQL语句 元数据IAM鉴权权限 SQL资源鉴权权限 DDL语句 ALTER DATABASE database:describe database:alter database:DESCRIBE database:ALTER ALTER TABLE database:describe table:describe table:alter database:create database:DESCRIBE table:DESCRIBE table:ALTER database:CREATE_TABLE column:SELECT或table:SELECT ALTER VIEW database:describe table:describe table:alter database:DESCRIBE table:DESCRIBE column:SELECT table:ALTER CREATE DATABASE database:describe database:create database:DESCRIBE catalog:CREATE_DATABASE CREATE OR REPLACE FUNCTION (CREATE) database:describe function:create database:DESCRIBE database:CREATE_FUNC CREATE OR REPLACE FUNCTION (REPLACE) database:describe function:describe function:alter database:CREATE_FUNC database:DESCRIBE function:DESCRIBE function:ALTER CREATE TABLE database:describe table:describe table:create database:DESCRIBE database:CREATE_TABLE CREATE VIEW database:describe table:describe table:drop table:create database:CREATE_TABLE table:DESCRIBE（source\target） table:DROP(target) column:SELECT DROP DATABASE database:describe database:drop database:DESCRIBE database:DROP DROP FUNCTION database:describe function:describe function:drop database:DESCRIBE function:DESCRIBE function:DROP DROP TABLE database:describe table:describe credential:describe table:drop database:DESCRIBE table:DESCRIBE table:DROP DROP VIEW database:describe table:describe table:drop database:DESCRIBE table:DESCRIBE(target\source) table:DROP(target) REPAIR TABLE database:describe table:describe credential:describe table:alter database:DESCRIBE table:DESCRIBE table:ALTER table:SELECT TRUNCATE TABLE database:describe table:describe table:alter database:DESCRIBE table:DESCRIBE table:SELECT table:UPDATE DML语句 INSERT TABLE database:describe table:describe table:alter credential:describe database:DESCRIBE table:DESCRIBE table:ALTER table:INSERT column:SELECT或table:SELECT LOAD DATA database:describe table:describe credential:describe database:DESCRIBE table:DESCRIBE table:UPDATE table:ALTER table:SELECT DR语句 SELECT database:describe table:describe credential:describe database:DESCRIBE table:DESCRIBE column:SELECT EXPLAIN 取决于执行sql 取决于执行sql Auxiliary 语句 ANALYZE TABLE database:describe table:describe credential:describe table:alter database:DESCRIBE table:DESCRIBE table:SELECT table:ALTER DESCRIBE DATABASE database:describe database:DESCRIBE DESCRIBE FUNCTION database:describe function:describe database:DESCRIBE function:DESCRIBE DESCRIBE QUERY database:describe table:describe database:DESCRIBE table:DESCRIBE table:SELECT DESCRIBE TABLE database:describe table:describe database:DESCRIBE table:DESCRIBE REFRESH TABLE database:describe table:describe credential:describe database:DESCRIBE table:DESCRIBE table:SELECT REFRESH FUNCTION database:describe function:describe database:DESCRIBE function:DESCRIBE SHOW COLUMNS database:describe table:describe database:DESCRIBE table:DESCRIBE SHOW CREATE TABLE database:describe table:describe database:DESCRIBE table:DESCRIBE SHOW DATABASES database:describe catalog:LIST_DATABASE database:DESCRIBE SHOW FUNCTIONS database:describe function:describe database:DESCRIBE SHOW PARTITIONS database:describe table:describe database:DESCRIBE table:DESCRIBE SHOW TABLE EXTENDED database:describe table:describe catalog:LIST_DATABASE database:DESCRIBE table:DESCRIBE database:LIST_TABLE SHOW TABLES database:describe table:describe catalog:LIST_DATABASE database:LIST_TABLE database:DESCRIBE SHOW TBLPROPERTIES database:describe table:describe database:DESCRIBE table:DESCRIBE SHOW VIEWS database:describe table:describe catalog:LIST_DATABASE database:LIST_TABLE database:DESCRIBE

数据库和表的约束与限制 表1 DLI资源相关约束限制 限制项 说明 数据库 “default”为内置数据库，不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。 数据表 DLI支持创建的表的最大数量为5000个。 DLI支持创建表类型： Managed：数据存储位置为DLI的表。 External：数据存储位置为OBS的表。 View：视图，视图只能通过SQL语句创建。 跨源表：表类型同样为External。 创建DLI表时不支持指定存储路径。 数据导入 仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中 CS V，Parquet，ORC，JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。 导出文件格式为json格式，且文本格式仅支持UTF-8。 支持跨账号导出数据，即B账户对A账户授权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。

DLI支持创建的表类型 DLI表 DLI表是存储在DLI 数据湖 中的数据表。支持多种数据格式，可以存储结构化、半结构化和非结构化数据。 DLI表的数据存储在DLI服务内部，查询性能更好，适用于对时延敏感类的业务，如交互类的查询等。 库表管理中表的列表页面，表类型为Managed的即代表DLI表。 OBS表 OBS表的数据存储在OBS上，适用于对时延不敏感的业务，如历史数据统计分析等。 OBS表通常以对象的形式存储数据，每个对象包含数据和相关的元数据。 库表管理中表的列表页面，表类型为External，存储位置为OBS路径的即代表OBS表。 视图表 视图表（View）是一种虚拟表，它不存储实际的数据，而是根据定义的查询逻辑动态生成数据。视图通常用于简化复杂的查询，或者为不同的用户或应用提供定制化的数据视图。 视图表可以基于一个或多个表创建，提供了一种灵活的方式来展示数据，而不影响底层数据的存储和组织。 库表管理中表的列表页面，表类型为View的即代表视图表。 View只能通过SQL语句进行创建，不能通过“创建表”页面进行创建。视图中包含的表或视图信息不可被更改，如有更改可能会造成查询失败。 跨源表 跨源表是指能够跨越多个数据源进行查询和分析的数据表。这种表可以整合来自不同数据源的数据，提供统一的数据视图。 跨源表常用于 数据仓库 和数据湖架构中，允许用户执行跨多个数据源的复杂查询。 库表管理中表的列表页面，表类型为External，存储位置非OBS路径的即代表跨源表。

表 表是数据库最重要的组成部分之一，它由行和列组成。每一行代表一个数据项，每一列代表数据的一个属性或特征。表用于组织和存储特定类型的数据，使得数据可以被有效地查询和分析。 数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 用户可通过管理控制台或SQL语句创建数据库和表，其中SQL语句的操作方法请参见创建数据库、创建OBS表和创建DLI表等。本章节介绍在管理控制台创建数据库和表的操作步骤。 创建数据库和表时，有权限控制，需要对其他用户授权，其他用户才可查看该用户新建的数据库和表。

在SQL作业列表页面查看作业的基本信息 DLI SQL作业管理页面显示所有SQL作业，作业数量较多时，系统分页显示，可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。 执行引擎 SQL作业支持Spark和HetuEngine两种引擎。 Spark：显示执行引擎为“Spark”的作业。 HetuEngine：显示执行引擎为“HetuEngine”的作业。 用户名 执行该作业的用户名。 类型 作业的类型，包括如下。 IMPORT：导入数据到DLI的作业。 EXPORT：从DLI导出数据的作业。 DCL：包括传统DCL，以及队列权限相关的操作。 DDL：与传统DDL操作一致，即创建和删除数据库，创建和删除表的作业。 QUERY：执行SQL查询数据的作业。 INSERT：执行SQL插入数据的作业。 UPDATE：更新数据。 DELETE：删除SQL作业。 DATA_MIGRATION：数据迁移。 RESTART_QUEUE：重启队列。 SCALE_QUEUE： 队列规格变更（扩容/缩容）。 状态 作业的状态信息，包括如下。 提交中 运行中 已成功 已取消 已失败 规格变更中 执行语句 作业的具体SQL语句以及导出、建表的操作，此处展示操作的描述。 单击可复制对应的语句。 运行时长 作业的运行时长。 创建时间 每个作业的创建时间，可按创建时间顺序或倒序显示作业列表。 操作 编辑：重新编辑修改该作业。 终止： 当作业状态在“提交中”和“运行中”时，“终止”按钮才生效。 当作业状态为“已成功”、“已失败”、“已取消”的作业不能终止。 当“终止”按钮为灰色时，表示无法执行终止操作。 重新执行：重新执行该作业。 SparkUI：单击后，将跳转至Spark任务运行情况界面。 说明： 新建队列，运行作业时会重新拉集群，大概需要10分钟左右才能拉好集群，在集群创建好之前单击SparkUI会导致缓存空的projectID，从而导致无法查看SparkUI。建议使用专属队列，集群不会被释放，就不会有该问题，或者提交作业后等一段时间再查看SparkUI，确保集群已经拉好了，不要立即单击SparkUI。 目前DLI配置SparkUI只展示最新的100条作业信息。 QUERY作业和异步DDL作业除上述操作外，还包括： 下载到本地：异步DDL和QUERY语句支持将结果下载到本地。具体操作请见导出作业结果到本地。 查看结果：查看作业运行结果。 导出结果：将作业运行结果导出至用户创建的OBS桶中。 EXPORT作业除上述操作外，还包括： 立即下载 归档日志：将作业日志保存到系统创建的DLI临时OBS数据桶中。 说明： default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。

查看作业详情 在“SQL作业”页面，选中一条作业，单击该作业对应的，可查看该条作业的详细信息。 不同类型的作业，显示的作业详情不同。作业详情根据作业类型、状态和配置选项不同显示可能存在差异，具体以实际界面显示为准。以导入数据作业，建表作业和查询作业为例说明。其他作业类型支持查看的详细信息请以控制台信息为准。 导入数据（load data）作业（作业类型：IMPORT），包括以下信息：队列，作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，标签，结果条数，已扫描数据，扫描数据条数，错误记录条数，存储路径，数据格式，数据库，表，表头，分隔符，引用字符，转义字符，日期格式，时间戳格式，CPU累计使用量，输出字节。 建表（create table）作业（作业类型：DDL），包括以下信息：队列，作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，标签，结果条数，已扫描数据，数据库。 查询（select）作业（作业类型：QUERY），包括以下信息：队列，作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，标签，结果条数（运行成功，可导出结果），已扫描数据，执行用户，结果状态（运行成功，可查看结果；运行失败，显示失败原因），数据库，CPU累计使用量，输出字节。 CPU累计使用量：作业执行过程的CPU消耗总和，单位：Core*ms 输出字节：作业执行完成后输出的字节数。

前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是 对象存储服务 （Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。

Flink作业权限操作场景 针对不同用户，可以通过权限设置分配不同的作业，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《 统一身份认证 服务用户指南》中的创建用户组。

Flink作业权限使用说明 查看作业详情 租户以及admin用户可以查看和操作所有作业。 子用户以及拥有只读权限的用户只能查看自己的作业。 他人赋权给该子用户查看权限外的任意权限，则该作业仅显示在作业列表中，但不支持该子用户查看作业详情。 启动作业 用户需要同时拥有队列的提交作业权限以及作业的启动作业权限。 停止作业 用户需要同时拥有队列的停止作业权限以及作业的停止作业权限。 删除作业 如果作业在可删除状态，则用户拥有作业的删除权限即可。 如果作业在不可删除状态，用户删除作业时，系统会先停止作业，停止作业权限说明可以参考•停止作业，并且用户还需要拥有作业的删除权限。 创建作业 子用户默认不能创建作业。 创建作业时，用户需要拥有创建作业的权限。目前只有admin用户创建作业的权限，同时用户还需要拥有该作业使用的相关程序包组权限或者程序包权限。 编辑作业 编辑作业时，用户需要拥有更新作业的权限，同时用户还需要拥有该作业使用的相关程序包所属组权限或者程序包权限。

使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则： 按大小分割：默认情况下，每个日志文件最大为128MB。 按时间分割：每过一小时自动创建新的日志文件。

前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。

自定义模板 自定义模板列表显示所有的jar作业模板，自定义模板列表参数说明如表 1所示。 表3 自定义模板列表参数 参数 参数说明 名称 模板名称，只能由英文、中文、数字、中划线和下划线组成，并且长度为1～64个字符。 类型 模板类型。 Flink SQL作业模板 Flink OpenSource SQL作业模板 描述 模板的相关描述，且长度为0～512个字符。 创建时间 创建模板的时间。 更新时间 最后修改模板的时间。 操作 “编辑”：对已经创建好的模板进行修改。 “创建作业”：直接在该模板下创建作业，创建完后，系统跳转到“作业管理”下的作业编辑页面。 更多： “删除”：将已经创建的模板删除。 “标签”：查看或添加标签。

Flink SQL样例模板 Flink SQL样例模板列表显示已有的Flink SQL样例作业模板，Flink SQL样例模板列表参数说明如表 1所示。 已有样例模板的具体场景以控制台为准。 表1 Flink SQL样例模板列表参数 参数 参数说明 名称 模板名称，只能由英文、中文、数字、中划线和下划线组成，并且长度为1～64个字符。 描述 模板的相关描述，且长度为0～512个字符。 操作 “创建作业”：直接在该模板下创建作业，创建完后，系统跳转到“作业管理”下的作业编辑页面。

Flink OpenSource SQL样例模板 Flink OpenSource SQL样例模板列表显示已有的Flink OpenSource SQL样例作业模板，Flink OpenSource SQL样例模板列表参数说明如表 1所示。 表2 Flink OpenSource SQL样例模板列表参数 参数 参数说明 名称 模板名称，只能由英文、中文、数字、中划线和下划线组成，并且长度为1～64个字符。 描述 模板的相关描述，且长度为0～512个字符。 操作 “创建作业”：直接在该模板下创建作业，创建完后，系统跳转到“作业管理”下的作业编辑页面。 当前已有的样例模板包括如下场景： 利用地址信息的维表生成订单信息宽表 实时统计每天成交额、订单数和支付人数等指标 统计实时点击量最高的商品

Flink作业概述 DLI支持的两种类型的Flink作业： Flink OpenSource SQL类型作业： 完全兼容社区版的Flink，确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上，DLI扩展了Connector的支持，新增了Redis、DWS作为数据源类型。为用户提供了更多的数据源选择，使得数据集成更加灵活和方便。 Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景，简化了流处理的复杂性，使得开发者可以更加专注于业务逻辑的实现。 创建Flink OpenSource SQL请参考创建Flink OpenSource SQL作业。 Flink Jar作业： DLI允许用户提交编译为Jar包的Flink作业，提供了更高的灵活性和自定义能力，适合需要进行复杂数据处理的场景。 当社区版Flink提供的Connector不能满足特定需求时，用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF（用户定义函数）或特定库集成的场景，用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。 父主题： 在DLI管理控制台提交Flink作业

DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column DLI列 databases.dbname.tables.tbname.columns.colname jobs DLI Flink作业 jobs.flink.jobid resource DLI程序包 resources.resourcename group DLI程序包组 groups.groupname datasourceauth DLI跨源认证信息 datasourceauth.name edsconnections DLI增强跨源 edsconnections.连接ID 父主题： 权限管理

静态流图 在OpenSource SQL作业编辑页面，单击“静态流图”按钮即可展示。 仅Flink 1.12和Flink 1.10版本支持查看简化流图。 Flink Opensource SQL作业中使用自定义函数时，不支持生成静态流图。 “静态流图”页面还支持以下功能： 支持资源预估。通过单击“静态流图”页面中的“资源预估”按钮，可进行资源预估。单击“恢复初始值”按钮，可在资源预估后恢复初始值。 支持展示页面缩放。 支持根据算子链展开/合并。 支持编辑“并行数”，“流量”和“命中率”。 并行数：一个任务的并发数。 流量：算子的数据流量，单位：条/s。 命中率：数据经过算子处理之后的保留率。命中率=算子的数据流出量/流入量，单位：%。 图4 静态流图

DLI数据导入指引 DLI支持在不迁移数据的情况下，直接对OBS中存储的数据进行查询分析，您只需要将数据上传OBS即可使用DLI进行数据分析。 上传数据至OBS请参考《对象存储用户指南》。 当需要将来自不同源的数据进行集中存储和处理时，迁移数据至DLI可以提供一个统一的数据平台。 您可以参考使用 CDM 迁移数据至DLI迁移数据至DLI后再提交作业。 如果业务需求需要实时访问和处理来自不同数据源的数据，跨源访问可以减少数据的复制和延迟。 跨源访问的必要条件包括“DLI与数据源网络连通”、“DLI可获取数据源的访问凭证”： DLI与数据源网络连通：您可以参考配置DLI与数据源网络连通（增强型跨源连接）配置DLI与数据源的网络连通。 管理数据源的凭证： 您可以使用DLI提供的跨源认证功能管理访问指定数据源的认证信息。 适用范围：SQL作业、Flink 1.12作业场景。具体操作请参考使用DLI的跨源认证管理数据源访问凭证。 您还可以使用DEW管理数据源的访问凭证，并通过“自定义委托”方式授予DLI访问DEW服务的权限。 适用范围：Spark 3.3.1及以上版本、Flink 1.15及以上版本。 具体操作请参考使用DEW管理数据源访问凭证和配置DLI访问其他云服务的委托权限。

使用DLI提交作业 DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，支持多种作业类型以满足不同的数据处理需求。 表1 DLI支持的作业类型 作业类型 说明 适用场景 SQL作业 适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP（在线分析处理）等场景。 Flink作业 专为实时数据流处理设计，适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业：DLI提供了标准的连接器（connectors）和丰富的API，便于快速与其他数据系统的集成。详细操作请参考创建Flink OpenSource SQL作业。 Flink Jar作业：允许用户提交编译为Jar包的Flink作业，提供了更大的灵活性和自定义能力。 适合需要自定义函数、UDF（用户定义函数）或特定库集成的复杂数据处理场景。可以利用Flink的生态系统，实现高级流处理逻辑和状态管理。详细操作请参考创建Flink Jar作业。 适用于实时数据监控、实时推荐系统等需要快速响应的场景。 Flink Jar作业适用于需要自定义流处理逻辑、复杂的状态管理或特定库集成的数据分析场景。 Spark作业 可通过交互式会话（session）和批处理（batch）方式提交计算任务。通过在DLI提供的弹性资源池队列上提交作业，简化了资源管理和作业调度。 支持多种数据源和格式，提供了丰富的数据处理能力，包括但不限于SQL查询、机器学习等。详细操作请参考创建Spark作业。 适用于大规模数据处理和分析，如机器学习训练、 日志分析 、大规模数据挖掘等场景。 管理Jar作业的程序包 DLI允许用户提交编译为Jar包的Flink或Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。通过DLI管理控制台可以管理作业所需的呈现包。 在提交Spark Jar和Flink Jar类型的作业前，需要将程序包上传至OBS，然后在DLI服务中创建程序包，并将程序包与数据和作业参数一起提交以运行作业。管理Jar作业程序包。 Spark3.3.1及以上版本、Flink1.15及以上版本在创建Jar作业时支持直接配置OBS中的程序包，不支持读取DLI程序包。

创建执行作业所需的计算资源和元数据 使用DLI提交作业前，您需要先创建弹性资源池，并在弹性资源池中创建队列，为提交作业准备所需的计算资源。请参考DLI弹性资源池与队列简介创建弹性资源池并添加队列。 您还可以通过自定义镜像增强DLI的计算环境，通过下载DLI提供的基础镜像再按需制作自定义镜像，将作业运行需要的依赖（文件、jar包或者软件）、私有能力等内置到自定义镜像中，可以改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式帮助用户实现功能扩展。创建自定义镜像请参考使用自定义镜像增强作业运行环境。 DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。 定义您的数据结构，包括数据目录、数据库、表。请参考创建数据目录、数据库和表。 创建必要的存储桶来存储作业运行过程中产生的临时数据：作业日志、作业结果等。请参考配置DLI作业桶。 配置元数据的访问权限。请参考在DLI控制台配置数据库权限、在DLI控制台配置表权限。

创建IAM用户并授权使用DLI 如果您是企业用户，并计划使用IAM对您所拥有的DLI资源进行精细的权限管理，请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的引导更新DLI委托，用于将操作权限委托给DLI服务，让DLI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。该委托包含获取IAM用户相关信息、跨源场景访问和使用VPC、子网、路由、对等连接的权限、作业执行失败需要通过 SMN 发送通知消息的权限。 详细委托包含的权限请参考配置DLI云服务委托权限。