华为云用户手册

  • 使用弹性扩缩容定时任务注意事项 新创建的队列需要运行作业后才可进行扩缩容。 目前只支持规格为64CUs以上的队列进行定时弹性扩缩容任务,即队列最小规格为64CUs。 对于每个队列,最多支持创建12个定时任务。 每个定时任务开始时,弹性扩缩容的实际开始的时间有5分钟误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作,变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小,用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时,可能无法缩容到目标CU值,而是缩容到当前队列规格和目标规格中间的某个值,系统将在1小时后继续尝试进行缩容,直至下一个定时任务开始。 当一个定时任务没有扩容或者缩容到目标CU值时,系统会在约15分钟后再次触发扩缩计划,直到下一个定时任务开始。
  • 操作场景 参考创建弹性资源池并添加队列创建完弹性资源池后,您可以将已有的队列关联至弹性资源池,即可将弹性资源池的资源用于后续作业的运行 您可以在弹性资源池页面通过“关联队列”将队列添加到弹性资源池。还可以在队列管理页面分配队列至弹性资源池。 弹性资源池Flink版本只支持1.10及其以上版本,如果准备分配到弹性资源池的作业使用Flink1.7版本可能会出现兼容性问题,需要提前做好Flink版本适配。
  • DLI 资源 资源是服务中存在的对象。在DLI中,资源如下,您可以在创建自定义策略时,通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column DLI列 databases.dbname.tables.tbname.columns.colname jobs DLI Flink作业 jobs.flink.jobid resource DLI程序包 resources.resourcename group DLI程序包组 groups.groupname datasourceauth DLI跨源认证信息 datasourceauth.name edsconnections DLI增强跨源 edsconnections.连接ID 父主题: 权限管理
  • 注意事项 建议对流批业务实施资源池的精细化管理,将Flink实时流类型的作业与SQL批处理类型的作业分别置于独立的弹性资源池中。 优势在于:Flink实时流任务具有常驻运行的特质,确保其稳定运行而不会强制缩容,进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容,显著提升扩缩容的成功率和操作效率。 在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置,并且包含设置的开启时间,不包含设置的结束时间,例如设置时间段00-09,则时间段范围为:[00:00,09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为:在任意一个时间段周期内,优先满足所有队列的最小CU数,剩余的CU(弹性资源池最大CU-所有队列的最小CU数之和)则根据配置的优先级顺序分配,直到剩余的CU数分配完成。 队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。因此,要注意如果业务没有需求的情况下,要及时清理释放资源,否则不管CU是否真正的使用,都会一直计费。 表1 弹性资源池扩缩容CU分配场景说明(无任务场景) 场景 弹性资源池CU数分配说明 弹性资源池当前最大CU为256CU,添加了两个队列,分别为队列A和队列B。两个队列设置的扩缩容策略如下: 队列A扩缩容策略:优先级5,时间段:00:00-9:00,最小CU是32,最大CU是64 队列B扩缩容策略:优先级10,时间段:00:00-9:00,最小CU是64,最大CU是128 到了00:00-9:00时间段: 弹性资源池优先满足两个队列的最小CU,队列A先分配32CU,队列B分配64CU,剩余CU数为160CU:弹性资源池的最大CU-两个队列的最小CU之和=256-32-64=160CU。 剩余CU数根据优先级高低来分配,因为队列B的优先级高于队列A,则优先将64CU分配给队列B,再分配32CU给队列A。 弹性资源池当前最大CU为96CU,添加了两个队列,分别为队列A和队列B。两个队列设置的扩缩容策略如下: 队列A扩缩容策略:优先级5,时间段:00:00-9:00,最小CU是32,最大CU是64 队列B扩缩容策略:优先级10,时间段:00:00-9:00,最小CU是64,最大CU是128 到了00:00-9:00时间段: 弹性资源池优先满足两个队列的最小CU,队列A先分配32CU,队列B分配64CU,剩余CU数为0CU:弹性资源池的最大CU-两个队列的最小CU之和=96-32-64=0CU。 因为剩余的CU数已经没有,则停止分配。 弹性资源池当前最大CU为128CU,添加了两个队列,分别为队列A和队列B。两个队列设置的扩缩容策略如下: 队列A扩缩容策略:优先级5,时间段:00:00-9:00,最小CU是32,最大CU是64 队列B扩缩容策略:优先级10,时间段:00:00-9:00,最小CU是64,最大CU是128 到了00:00-9:00时间段: 弹性资源池优先满足两个队列的最小CU,队列A先分配32CU,队列B分配64CU,剩余CU数为32CU:弹性资源池的最大CU-两个队列的最小CU之和=128-32-64=32CU。 按照优先级,则优先将剩余的32CU分配给B队列后停止分配。 弹性资源池当前最大CU为128CU,添加了两个队列,分别为队列A和队列B。两个队列设置的扩缩容策略如下: 队列A扩缩容策略:优先级5,时间段:00:00-9:00,最小CU是32,最大CU是64 队列B扩缩容策略:优先级5,时间段:00:00-9:00,最小CU是64,最大CU是128 到了00:00-9:00时间段: 弹性资源池优先满足两个队列的最小CU,队列A先分配32CU,队列B分配64CU,剩余CU数为32CU:弹性资源池的最大CU-两个队列的最小CU之和=128-32-64=32CU。 因为两个队列的优先级相同,则剩余32CU随机分配给两个队列。 表2 弹性资源池扩缩容CU分配场景说明(有任务场景) 场景 弹性资源池实际CUs 队列A资源分配 队列B资源分配 弹性资源池CU数分配说明 弹性资源池添加了两个队列,分别为队列A和队列B。两个队列设置的扩缩容策略如下: 队列A扩缩容策略:时间段:00:00-9:00,最小CU是32,最大CU是64 队列B扩缩容策略:00:00-9:00,最小CU是64,最大CU是128 192CUs 64CUs 128CUs 当弹性资源池实际cu大于等于两个队列最大 cu之和,队列都分配最大值 96CUs 32CUs 64CUs 弹性资源池会优先满足两个队列的最小CU, 两个队列分配了最小CU后,无可用资源进行分配 128CUs 32CUs-64CUs 64CUs-96CUs 弹性资源池会优先满足两个队列的最小CU,即队列A先分配32CUs,队列B分配64CUs,有剩余32CUs可供分配。 剩余部分按照队列的负载以及队列优先级进行分配。队列实际CU会在列出的范围内变化。
  • 配置程序包组或程序包权限 在“程序包管理”页面,选择要授权的程序包组或程序包,单击“操作”列中的“权限管理”。 进入“用户权限信息”页面,单击页面右上角“授权”新增授权用户,并选择对应的权限。 如果创建程序包时选择了分组,则权限管理为对应程序包组的权限管理。 如果创建程序包时选择了不分组,则权限管理为对应程序包的权限管理。 程序包组授权 图1 程序包组授权 表1 程序包组授权参数说明 参数名称 描述 用户名 被授权的 IAM 用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 使用组:使用该组的程序包。 更新组:更新该组内程序包,包含创建组内程序包。 查询组:查询组内程序包详情。 删除组:删除该组的程序包。 赋权:当前用户可将组的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该组的权限,但不能回收该组所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该组的权限。 程序包授权 图2 程序包授权 表2 程序包授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 使用程序包:使用该程序包。 更新程序包:更新该程序包。 查询程序包:查询该程序包。 删除程序包:删除该程序包。 赋权:当前用户可将程序包的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该程序包的权限,但不能回收该程序包所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该程序包的权限。
  • 回收程序包组或程序包权限 DLI提供了一键回收程序包组或程序包权限的功能。 在“程序包管理”页面,选择要程序包组或程序包,单击“操作”列中的“权限管理”。 进入“用户权限信息”页面,单击对应子用户“操作”列中的“回收”将删除该用户的权限。 回收后该子用户将不具备该程序包组或程序包的任意权限。 如果创建程序包时选择了分组,则回收的是对应程序包组的权限。 如果创建程序包时选择了不分组,则回收的是对应程序包的权限。
  • 修改程序包组或程序包权限 在“程序包管理”页面,选择要程序包组或程序包,单击“操作”列中的“权限管理”。 进入“用户权限信息”页面,单击对应子用户“操作”列中的“权限设置”可修改该用户的权限。 详细权限描述如表1和表2所示。 如果创建程序包时选择了分组,则修改的是对应程序包组的权限。 如果创建程序包时选择了不分组,则修改的是对应程序包的权限。 如果用户权限信息页面的“权限设置”选项为灰色时,表示您不具备修改此程序包组或程序包权限的权限。 您可以向管理员用户、组所有者等具有赋权权限的用户申请“程序包组或程序包的赋权”和“程序包组或程序包权限的回收”权限。
  • 示例流程 图1 给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予DLI服务普通用户权限“DLI ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择 数据湖探索 ,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列”,无法购买DLI队列(假设当前权限仅包含DLI ReadOnlyAccess),表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除 数据湖 探索外(假设当前策略仅包含DLI ReadOnlyAccess)的任一服务,如果提示权限不足,表示“DLI ReadOnlyAccess”已生效。
  • 程序包管理页面 表2 程序包管理参数 参数 参数说明 分组名称 程序包所属分组的名称。如果不分组,则显示“--”。 名称 程序包名称。 所有者 上传程序包的用户名称。 包类型 程序包的类型。支持的包类型如下: JAR:用户jar文件。 PyFile:用户Python文件。 File:用户文件。 ModelFile:用户AI模型文件。 状态 创建程序包的状态。 上传中(Uploading):表示程序包正在上传。 已成功(Finished):表示程序包已经上传。 已失败(Failed):表示程序包上传失败。 创建时间 创建程序包的时间。 更新时间 更新程序包的时间。 操作 权限管理:对程序包用户进行权限管理。 删除:删除程序包。 更多: 修改所有者:修改程序包用户。 标签:添加或编辑程序包标签。
  • TPC-H样例数据简介 TPC-H(商业智能计算测试) 是交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前,在学术界和工业界普遍用来评价决策支持技术方面应用的性能。这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。 TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年制定的标准,用于决策支持系统方面的测试基准)发展而来的。TPC-H用3NF实现了一个 数据仓库 ,共包含8个基本关系,其数据量可以设定从1G~3T不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间。TPC-H 基准测试的度量单位是每小时执行的查询数( QphH@size),其中“H”表示每小时系统执行复杂查询的平均次数,“size”表示数据库规模的大小,能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之,TPC组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作,DLI已经预先生成了100M的TPC-H-2.18的标准数据集,已将数据集上传到了OBS的tpch文件夹中,并且赋予了只读访问权限,方便用户进行查询操作。
  • TPC-H的测试和度量指标 TPC-H 测试分解为3 个子测试:数据装载测试、Power测试和Throughput测试。建立测试数据库的过程被称为装载数据,装载测试是为测试DBMS装载数据的能力。装载测试是第一项测试,测试装载数据的时间,这项操作非常耗时。Power 测试是在数据装载测试完成后,数据库处于初始状态,未进行其它任何操作,特别是缓冲区还没有被测试数据库的数据,被称为raw查询。Power测试要求22 个查询顺序执行1 遍,同时执行一对RF1 和RF2 操作。最后进行Throughput 测试,也是最核心和最复杂的测试,更接近于实际应用环境,与Power 测试比对SUT 系统的压力有非常大的增加,有多个查询语句组,同时有一对RF1 和RF2 更新流。
  • 使用场景 包年包月的弹性资源池CU数在规格(包周期CU)的范围内使用包年包月计费,超过规格(包周期CU)的部分则按弹性资源池CU时计费的方式计费,您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如,当前弹性资源池的规格(包周期CU)为64CU,实际使用过程中大部分时间CU数在128CU以上,没有规格变更的场景下64CU部分采用包年包月计费,超出的64CU按弹性资源池CU时计费方式计费。为了满足该场景下更优惠的计费,则可以通过规格变更的方式,将弹性资源池的规格扩大到128CU,则规格变更成功后128CU范围内都使用包年包月计费,整体相比原来更优惠。 弹性资源池规格不满足当前业务需求时,可以通过“包周期CU变更”功能修改当前弹性资源池的规格。
  • CU设置时怎样调小CU范围最大值? 弹性资源池CU范围的最小值小于等于弹性资源池的实际CUs,如果想要调整的CU范围的最大值小于当前CUs,需要先调小实际CUs。 包年包月计费模式的弹性资源池,通过调小当前弹性资源池中队列的最大CU或删除队列,以调小弹性资源池的实际CUs,再通过变更弹性资源池规格,将规格调整至小于等于目标CUs,此时实际CUs等于规格,再通过CU设置,调整CU范围的最小值等于目标CUs。 按需计费模式的弹性资源池,通过调整当前弹性资源池中队列的最大CU或删除队列,以调小弹性资源池的实际CUs,再通过CU设置,调整CU范围的最小值等于目标CUs。 示例 示例1:包年包月弹性资源池,实际CUs:96CUs、CU范围:64CUs - 128CUs、规格96。计划调整CU范围:64CUs - 80CUs。 操作步骤: 通过调小当前弹性资源池中队列的最大CU或删除队列,以调小弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和小于弹性资源池的实际CUs时,会触发弹性资源池缩容,缩容后的实际CUs= min(队列的最大CU和,弹性资源池CU范围最大值)。 通过“规格变更”将弹性资源池规格调整为80CUs,规格变更后,CU范围的最小值自动调整为与规格一致大小的CU。 示例2:按需计费的弹性资源池,实际CUs:96CUs、CU范围:64CUs - 128CUs、计划调整CU范围:64CUs - 80CUs。 操作步骤: 通过调小当前弹性资源池中队列的最大CU或删除队列,以调小弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和小于弹性资源池的实际CUs时,会触发弹性资源池缩容,缩容后的实际CUs= min(队列的最大CU和,弹性资源池CU范围最大值)。 通过“CU设置”调整CU范围:64CUs - 80CUs。 调整队列的CU范围、弹性资源池规格变更、弹性资源池的CU设置,均在下一个整点生效。 通过增加队列调整弹性资源池的实际CUs,立即生效。
  • CU设置时怎样调大CU范围最小值? 弹性资源池CU范围的最小值小于等于弹性资源池的实际CUs,如果想要调整的CU范围的最小值大于当前CUs,需要先调大实际CUs。 以下操作适用于目标CU小于等于CU范围的最大值。目标CU大于CU范围最大值时,请先调大弹性资源池的最大CU。 包年包月计费模式的弹性资源池,通过调整当前弹性资源池中队列的最大CU或增加队列,以增大弹性资源池的实际CUs,再通过变更弹性资源池规格,将规格调整至大于等于目标CUs,此时实际CUs等于规格,再通过CU设置,调整CU范围的最小值等于目标CUs。 按需计费模式的弹性资源池,通过调整当前弹性资源池中队列的最大CU或增加队列,以增大弹性资源池的实际CUs,再通过CU设置,调整CU范围的最小值等于目标CUs。 示例 示例1:包年包月弹性资源池,实际CUs:64CUs、CU范围:64CUs - 96CUs、规格64。计划调整CU范围:80CUs - 96CUs。 操作步骤: 通过调整当前弹性资源池中队列的最大CU或增加队列,以增大弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和大于弹性资源池的实际CUs时,会触发弹性资源池扩容,扩容后的实际CUs= min(队列的最大CU和,弹性资源池CU范围最大值)。 通过“规格变更”将弹性资源池规格调整为80CUs,规格变更后,CU范围的最小值自动调整为与规格一致大小的CU。 示例2:按需计费的弹性资源池,实际CUs:64CUs、CU范围:64CUs - 96CUs。计划调整CU范围:80CUs - 96CUs。 操作步骤: 通过调整当前弹性资源池中队列的最大CU或增加队列,以增大弹性资源池的实际CUs。 当弹性资源池队列的最大CU的和大于弹性资源池的实际CUs时,会触发弹性资源池扩容,扩容后的实际CUs= min(队列的最大CU和,弹性资源池CU范围最大值)。 通过“CU设置”调整CU范围:80CUs - 96CUs。 调整队列的CU范围、弹性资源池规格变更、弹性资源池的CU设置,均在下一个整点生效。 通过增加队列调整弹性资源池的实际CUs,立即生效。
  • 回收某用户或项目具备的所有权限 回收某用户具备的所有权限,或回收某项目具备的所有权限。 在“用户权限信息”区域的用户列表中,选择需要回收权限的子用户,在“操作”栏中单击“回收”,确定后,此用户将不具备表的任意权限。 以下情况中,“回收”为灰色,表示不可回收该用户的权限。 用户为管理员用户 子用户是表的所有者 子用户只有可继承权限 在“项目权限信息”区域的项目列表中,选择需要回收权限的项目,在“操作”栏中单击“回收”,确定后,此项目将不具备表的任意权限。 当项目只有可继承权限时,“回收”为灰色,表示不可回收该项目的权限。
  • 为已有权限的用户或项目修改权限 某用户或项目已具备此表的一些权限时,可为此用户或项目赋予或回收权限。 当“权限设置”中的选项为灰色时,表示您不具备修改此表的权限。可以向管理员用户、表所有者等具有赋权权限的用户申请表的“赋权”和表权限的“回收”权限。 在“用户权限信息”列表中找到需要设置权限的用户: 如果用户为子用户且不是表的所有者,可进行“权限设置”。 若用户为管理员用户或表的所有者,只能查看“权限信息”。 在“项目权限信息”列表中找到需要设置权限的项目,进行“权限设置”。 在子用户或项目的“操作”栏中单击“权限设置”,可弹出表“权限设置”对话框。 DLI表用户或项目权限说明请参考表1。 OBS表用户或项目权限说明请参考表2。 View用户或项目权限说明请参考表3。 单击“确定”,完成表权限设置。
  • 注意事项 如果需要查看主账号下数据库中的表,需要对当前子账号用户授权(显示权限),具体请参考常用操作与系统权限关系。 如果表被删除后,再重新创建同名的表,表权限不会继承,需要对操作该表的用户和项目重新进行权限赋予。 例如,testTable表给用户A赋予了删除表的权限,后续执行了删除testTable表,并重新创建了testTable表。如果希望A用户继续保留删除testTable表的权限,则需要重新对A用户赋予该权限。
  • 为新用户或项目赋予权限 为新用户或项目赋予权限,新用户或项目指之前不具备此表任何权限的用户或项目。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。 DLI表具体权限说明请参考表1。 图2 DLI表用户授权 图3 DLI表项目授权 表1 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括: 查询表:在当前表内查询数据。 显示表信息:显示当前表的信息。 显示创建表语句:显示当前表的创建语句。 删除表:删除当前表。 重命名表:对当前表重新命名。 插入:在当前表内插入数据。 重写:在当前表内插入覆盖数据。 添加列:在当前表中增加列。 赋权:当前用户可将表的权限赋予其他用户。 回收:当前用户可回收其他用户具备的此表的权限,并且不能回收表所有者的权限。 查看其他用户具备的权限:查看其他用户具备的当前表的权限。 分区表还具有以下权限: 删除分区:删除分区表中的分区。 显示所有分区:显示分区表中的所有分区。 只适用于“用户授权”的权限包括: 显示表:显示当前表。 OBS表具体权限说明请参考表2。 图4 OBS表用户授权 图5 OBS表项目授权 表2 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括: 显示创建表语句:显示当前表的创建语句。 显示表信息:显示当前表的信息。 查询表:在当前表内查询数据。 删除表:删除当前表。 重命名表:对当前表重新命名。 插入:在当前表内插入数据。 重写:在当前表内插入覆盖数据。 添加列:在当前表中增加列。 赋权:当前用户可将表的权限赋予其他用户或项目。 回收:当前用户或项目可回收其他用户或项目具备的此表的权限,并且不能回收表所有者的权限。 查看其他用户具备的权限:查看其他用户具备的当前表的权限。 分区表还具有以下权限: 添加分区:在分区表中添加新的分区。 删除分区:删除分区表中的任意分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。 只适用于“用户授权”的权限包括: 显示表:显示当前表。 View具体权限说明请参考表3。 View只能通过SQL语句进行创建,不能通过“创建表”页面进行创建。 图6 View用户授权 图7 View项目授权 表3 参数配置 参数 描述 授权选择 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括: 显示表信息:显示当前表的信息。 显示创建表语句:显示当前表的创建语句。 删除表:删除当前表。 查询表:在当前表内查询数据。 重命名表:对当前表重新进行命名。 赋权:当前用户或项目可将表的权限赋予其他用户或项目。 回收:当前用户或项目可回收其他用户或项目具备的此表的权限,并且不能回收表所有者的权限。 查看其他用户具备的权限:查看其他用户具备的当前表的权限。 只适用于 显示表:显示当前表。 单击“确定”,完成表权限设置。
  • 常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。 表1 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant Administrator DLI Service Administrator 队列 DROP_QUEUE 删除队列 √ × √ √ SUBMIT_JOB 提交作业 √ × √ √ CANCEL_JOB 终止作业 √ × √ √ RESTART 重启队列 √ × √ √ GRANT_PRIVILEGE 队列的赋权 √ × √ √ REVOKE_PRIVILEGE 队列权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROP_DATABASE 删除数据库 √ × √ √ CREATE_TABLE 创建表 √ × √ √ CREATE_VIEW 创建视图 √ × √ √ EXPLAIN 将SQL语句解释为执行计划 √ × √ √ CREATE_ROLE 创建角色 √ × √ √ DROP_ROLE 删除角色 √ × √ √ SHOW_ROLES 显示角色 √ × √ √ GRANT_ROLE 绑定角色 √ × √ √ REVOKE_ROLE 解除角色绑定 √ × √ √ SHOW_USERS 显示所有角色和用户的绑定关系 √ × √ √ GRANT_PRIVILEGE 数据库的赋权 √ × √ √ REVOKE_PRIVILEGE 数据库权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ DISPLAY_ALL_TABLES 显示数据库中的表 √ √ √ √ DISPLAY_DATABASE 显示数据库 √ √ √ √ CREATE_FUNCTION 创建函数 √ × √ √ DROP_FUNCTION 删除函数 √ × √ √ SHOW_FUNCTIONS 显示所有函数 √ × √ √ DESCRIBE_FUNCTION 显示函数详情 √ × √ √ 表 DROP_TABLE 删除表 √ × √ √ SELECT 查询表 √ × √ √ INSERT_INTO_TABLE 插入 √ × √ √ ALTER_TABLE_ADD_COLUMNS 添加列 √ × √ √ INSERT_OVERWRITE_TABLE 重写 √ × √ √ ALTER_TABLE_RENAME 重命名表 √ × √ √ ALTER_TABLE_ADD_PARTITION 在分区表中添加分区 √ × √ √ ALTER_TABLE_RENAME_PARTITION 重命名表分区 √ × √ √ ALTER_TABLE_DROP_PARTITION 删除分区表的分区 √ × √ √ SHOW_PARTITIONS 显示所有分区 √ × √ √ ALTER_TABLE_RECOVER_PARTITION 恢复表分区 √ × √ √ ALTER_TABLE_SET_LOCATION 设置分区路径 √ × √ √ GRANT_PRIVILEGE 表的赋权 √ × √ √ REVOKE_PRIVILEGE 表权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的表权限 √ × √ √ DISPLAY_TABLE 显示表 √ √ √ √ DESCRIBE_TABLE 显示表信息 √ × √ √ 弹性资源池 DROP 删除弹性资源池 √ × √ √ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ × √ √ SCALE 扩缩容弹性资源池 √ × √ √ UPDATE 更新弹性资源池 √ × √ √ CREATE 创建弹性资源池 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的弹性资源池权限 √ × √ √ GRANT_PRIVILEGE 赋予指定用户弹性资源池权限 √ × √ √ REVOKE_PRIVILEGE 移除指定用户弹性资源池权限 √ × √ √ 增强型跨源连接 BIND_QUEUE 增强型跨源连接绑定队列 仅用于跨项目授权。 × × × × 父主题: 权限管理
  • DLI请求条件 您可以在创建自定义策略时,通过添加“请求条件”(Condition元素)来控制策略何时生效。请求条件包括条件键和运算符,条件键表示策略语句的 Condition 元素,分为全局级条件键和服务级条件键。全局级条件键(前缀为g:)适用于所有操作,服务级条件键(前缀为服务缩写,如dli)仅适用于对应服务的操作。运算符与条件键一起使用,构成完整的条件判断语句。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time 接收到鉴权请求的时间。 说明: 以“ISO 8601”格式表示,例如:2012-11-11T23:59:59Z。 g:MFAPresent 全局级 Boolean 用户登录时是否使用了多因素认证。 g:UserId 全局级 String 当前登录的用户ID。 g:UserName 全局级 String 当前登录的用户名。 g:ProjectName 全局级 String 当前登录的Project。 g:DomainName 全局级 String 当前登录的Domain。 g:ResourceTag 全局级 StringEquals 资源标签键值。 父主题: 权限管理
  • Flink作业权限操作场景 针对不同用户,可以通过权限设置分配不同的作业,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和作业的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《 统一身份认证 服务用户指南》中的创建用户组。
  • Flink作业权限使用说明 查看作业详情 租户以及admin用户可以查看和操作所有作业。 子用户以及拥有只读权限的用户只能查看自己的作业。 他人赋权给该子用户查看权限外的任意权限,则该作业仅显示在作业列表中,但不支持该子用户查看作业详情。 启动作业 用户需要同时拥有队列的提交作业权限以及作业的启动作业权限。 停止作业 用户需要同时拥有队列的停止作业权限以及作业的停止作业权限。 删除作业 如果作业在可删除状态,则用户拥有作业的删除权限即可。 如果作业在不可删除状态,用户删除作业时,系统会先停止作业,停止作业权限说明可以参考•停止作业,并且用户还需要拥有作业的删除权限。 创建作业 子用户默认不能创建作业。 创建作业时,用户需要拥有创建作业的权限。目前只有admin用户创建作业的权限,同时用户还需要拥有该作业使用的相关程序包组权限或者程序包权限。 编辑作业 编辑作业时,用户需要拥有更新作业的权限,同时用户还需要拥有该作业使用的相关程序包所属组权限或者程序包权限。
  • 为新用户或项目赋予权限 为新用户或新项目赋予权限,新用户或新项目指之前不具备此数据库权限的用户或项目。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中,选择“用户授权”或“项目授权”,填写需要授权的用户名或选择需要授权的项目,选择相应的权限。具体权限说明请参考表1。 图1 数据库用户授权 图2 数据库项目授权 表1 参数说明 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名或项目名 选择“用户授权”时,输入数据库新增用户对应的IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时: 如果赋权选择不可继承权限,则在该项目中无法查看对应数据库中表的信息。 如果赋权选择可继承权限,则在该项目中可查看该数据库内所有表的信息。 非继承权限 选中权限即对用户或项目进行赋权,取消勾选即对用户权限或项目权限进行回收。 非继承权限只作用于当前数据库。 同时适用于“用户授权”和“项目授权”的权限包括: 删除数据库:删除当前数据库。 创建表:在当前数据库创建表。 创建视图:在当前数据库创建视图。 将SQL语句解释为执行计划:执行explain语句。 创建角色:在当前数据库创建角色。 删除角色:删除当前数据库中的角色。 显示角色:显示当前用户的角色。 绑定角色:在当前数据库绑定角色。 解除角色绑定:在当前数据库解除角色绑定。 显示所有角色和用户的绑定关系:显示所有角色和用户的绑定关系。 创建函数:在当前数据库创建函数。 删除函数:删除当前数据库中的函数。 显示所有函数:显示当前数据库中的所有函数。 显示函数详情:显示当前函数详情。 只适用于“用户授权”的权限包括: 显示所有表:显示当前数据库下的所有表。 说明: 没有授权“显示所有表”权限,则该数据库在库表管理中不显示该数据库下的所有表。 显示数据库:显示当前数据库的信息。 说明: 没有授权“显示数据库”权限,则该数据库在库表管理中不显示。 继承权限 选中权限即对用户进行赋权,取消勾选即对用户权限进行回收。 继承权限可作用到当前数据库及其所有的表上,但是表中的列只能继承其中的查询权限。 以下权限同时适用于“用户授权”和“项目授权”。 删除表:删除数据库下的表。 查询表:在当前表内查询。 显示表信息:显示当前表的信息。 插入:在当前表内插入数据。 添加列:在当前表中增加列。 重写:在当前表内插入覆盖数据。 赋权:用户可将数据库的权限赋予其他用户或项目。 回收:用户可回收其他用户或项目具备的此数据库的权限,但是不能回收数据库所有者的权限。 添加分区:在分区表中添加新的分区。 删除分区:删除分区表中已有的分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 重命名表:对表重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。 查看其他用户具备的权限:查看其他用户或项目具备的当前数据库的权限。 单击“确定”,完成授权。
  • 回收某用户或项目具备的所有权限 回收某用户具备的所有权限,或回收某项目具备的所有权限。 在“用户权限信息”区域的用户列表中,选择需要回收权限的子用户,在“操作”栏中单击“回收”,在“回收用户权限”对话框中单击“确定”后,此用户将不具备数据库的任意权限。 用户为管理员用户时,“回收”为灰色,表示不可回收该用户的权限。 在“项目权限信息”区域的项目列表中,选择需要回收权限的项目,在“操作”栏中单击“回收”,在“回收项目权限”对话框中单击“确定”后,此项目将不具备数据库的任意权限。
  • 为已有权限的用户或项目修改权限 某用户或项目已具备此数据库的一些权限时,可为此用户或项目赋予或取消权限。 当“权限设置”中的选项为灰色时,表示对应账号不具备修改此数据库的权限。可以向管理员用户、数据库所有者等具有赋权权限的用户申请数据库的“赋权”和数据库权限的“回收”权限。 在“用户权限信息”列表中找到需要设置权限的用户: 如果用户为子用户,可进行“权限设置”。 如果用户为管理员用户,只能查看“权限信息”。 在“项目权限信息”列表中找到需要设置权限的项目,进行“权限设置”。 在子用户或项目的“操作”栏中单击“权限设置”,可弹出数据库“权限设置”对话框。 数据库用户或项目详细的权限描述请参考表1。 单击“确定”,完成权限设置。
  • DLI委托 在使用DLI前,为了确保正常使用DLI的功能,建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托:dli_admin_agency、dli_management_agency、dli_data_clean_agency(名称固定,权限需自定义)。其他场景需用户自定义委托。委托的详细说明请参考表1。 DLI为了满足细粒度的委托权限需求,DLI升级了系统委托,将原有的dli_admin_agency升级为dli_management_agency,新的委托包含跨源操作、 消息通知 、用户授权操作所需的权限。配置DLI云服务委托权限。 使用Flink 1.15和Spark 3.3.1(Spark通用队列场景)及以上版本的引擎执行作业时,需完成以下配置操作: 需用户自行在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。具体操作请参考创建DLI自定义委托权限。 常见新建委托场景:允许DLI读写OBS数据、日志转储、Flink checkopoint;允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。 委托名称不可与系统默认委托重复,即不可以是dli_admin_agency、dli_management_agency、dli_data_clean_agency。 引擎版本低于Flink1.15,执行作业时默认使用dli_admin_agency;引擎版本低于Spark 3.3.1,执行作业时使用用户认证信息(AKSK、SecurityToken)。 即引擎版本低于Flink1.15和Spark 3.3.1版本的作业不受更新委托权限的影响,无需自定义委托。 为兼容存量的作业委托权限需求,dli_admin_agency仍为您保留在IAM委托中。 服务授权需要主账号或者用户组admin中的子账号进行操作。 请勿删除系统默认创建的委托。 表1 DLI委托 权限名 类型 权限说明 dli_admin_agency 系统默认委托 该委托已废弃,不推荐使用,请尽快更新委托升级至dli_management_agency。 更新委托请参考配置DLI云服务委托权限。 dli_management_agency 系统默认委托 DLI系统委托,用于将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。该委托包含跨源操作、消息通知、用户授权操作所需的权限。详细委托包含的权限请参考表2 dli_data_clean_agency 系统默认委托,需用户自行授权 数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。需用户自行在IAM创建名为dli_data_clean_agency的DLI云服务委托并授权。 该委托需新建后自定义权限,但委托名称固定为dli_data_clean_agency。 委托的权限策略示例请参考常见场景的委托权限策略。 其他自定义委托 自定义委托 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时,请自行在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。创建DLI自定义委托权限 常见新建委托场景:允许DLI读写OBS将日志转储、允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。 委托名称不可与系统默认委托重复,即不可以是dli_admin_agency、dli_management_agency、dli_data_clean_agency。 委托的权限策略示例请参考常见场景的委托权限策略。 表2 dli_management_agency委托包含的权限 权限名 权限说明 IAM ReadOnlyAccess DLI对未登录过DLI的用户进行授权时,需获取IAM用户相关信息。因此需要IAM ReadOnlyAccess权限。 DLI Datasource Connections Agency Access 访问和使用VPC、子网、路由、对等连接的权限 DLI Notification Agency Access 作业执行失败需要通过 SMN 发送通知消息的权限
  • 什么是委托? 各云服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 例如:在DLI新建Flink作业所需的AKSK存储在 数据加密 服务DEW中,如需允许DLI在执行作业时访问DEW数据,需要提供IAM委托将DEW数据操作权限委托给DLI,允许DLI服务以您的身份访问DEW服务。 图1 DLI云服务委托
  • 概述 SSML 是一种基于 XML 的 语音合成 标记语言。使用 SSML 可以更加准确、具体的定义合成音频的效果,包括控制断句分词方式、发音、速度、停顿、声调和音量等特征。相比文本输入进行合成,有更好的操作灵活性。 华为云语音合成服务的SSML实现,基于W3C的语音合成标记语言版本1.1,但并不支持W3C包含的所有的标记类型。目前仅华小飞,华小美,华小龙,华小蕊,华小闽合成支持 SSML功能。该特性与语言无关。发音人property取值详见语音合成。 华小飞(朝气男声):chinese_huaxiaofei_common,支持8k/16k采样率。 华小美(温柔女声):chinese_huaxiaomei_common,支持8k/16k采样率。 华小龙(朝气男声):chinese_huaxiaolong_common,支持16k采样率。 华小蕊(知性女声):chinese_huaxiaorui_common,支持16k采样率。 华小闽(闽南女生):chinese_huaxiaomin_common,支持8k/16k采样率。
  • 响应参数 状态码: 200 表8 响应Body参数 参数 是否必选 参数类型 描述 job_id 否 String 创建的任务标识, 如果创建任务成功时必须存在。 由于录音文件识别通常会需要较长的时间,因此识别是异步的,即接口分为创建识别任务和查询任务状态两个接口。 创建识别任务接口创建任务完成后返回job_id参数,然后用户通过调用录音文件识别状态查询接口来获得转写状态和结果。 状态码: 400 表9 响应Body参数 参数 参数类型 描述 error_code String 调用失败时的错误码。 调用成功时无此字段。 error_msg String 调用失败时的错误信息。 调用成功时无此字段。
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取方法请参见认证鉴权。响应消息头中X-Subject-Token的值即为Token。 Enterprise-Project-Id 否 String 企业项目ID。SIS支持通过企业项目管理(EPS)对不同用户组和用户的资源使用,进行分账。 获取方法:进入“企业项目管理”页面,单击企业项目名称,在企业项目详情页获取Enterprise-Project-Id(企业项目ID)。 企业项目创建步骤请参见用户指南。 说明: 账户创建企业项目后,在传参时,有以下三类场景。 携带正确的ID,正常使用SIS服务,账单归到企业ID对应的企业项目中。 携带错误的ID,正常使用SIS服务,账单的企业项目会被分类为“default”。 不携带ID,正常使用SIS服务,账单的企业项目会被分类为“default”。 表4 请求Body参数 参数 是否必选 参数类型 描述 config 是 TranscriberConfig object 录音文件识别配置信息。 data_url 是 String 存放录音文件地址: 推荐使用华为云OBS:授权配置请参见配置OBS服务。 您也可以把录音文件放在自行搭建服务器上,提供下载文件的地址。URL不能使用IP地址,只能使用 域名 ,请尽量避免中文。 表5 TranscriberConfig 参数 是否必选 参数类型 描述 audio_format 否 String 支持语音的格式,请参考表 audioformat取值范围。 property 是 String 所使用的模型特征串。通常是“语种_采样率_领域”的形式,例如chinese_8k_common。 采样率需要与音频采样率保持一致。 当前支持如下模型特征串: chinese_8k_general(区域支持cn-north-4, cn-east-3,最新端到端通用模型,强烈推荐使用) chinese_16k_media(音视频领域,区域仅支持cn-north-4,cn-east-3,强烈推荐使用) chinese_8k_common(中文普通话 语音识别 ) chinese_16k_conversation(会议场景的中文普通话语音识别) sichuan_8k_common(四川话识别,区域支持cn-north-4,cn-east-3) chinese_8k_bank(银行领域,区域仅支持cn-north-4) chinese_8k_insurance(保险领域,区域仅支持cn-north-4) add_punc 否 String 表示是否在识别结果中添加标点,取值为yes 、 no,默认no。 callback_url 否 String 表示回调 url,即用户用于接收识别结果的服务器地址,不支持IP地址方式调用,url长度小于2048字节。服务请求方法为POST,请求体参见表 响应参数。 如果用户使用回调方式获取识别结果,需填写该参数,处理成功后用户服务器需返回状态码“200”。 如果用户使用轮询方式获取识别结果,则无需填写该参数。 digit_norm 否 String 表示是否将语音中的数字识别为阿拉伯数字,取值为yes 、 no,默认为yes。 need_analysis_info 否 AnalysisInfo object 该参数用于设置质检分析参数,是否需要输出质检分析内容以及会议场景多说话人分离,如果为null , 表示不需要。 vocabulary_id 否 String 热词表id,不使用则不填写。 创建热词表信息请参考创建热词表。 need_word_info 否 String 表示是否在识别结果中输出分词结果信息,取值为“yes”和“no”,默认为“no”。 表6 AnalysisInfo 参数 是否必选 参数类型 描述 diarization 否 Boolean 是否需要做话者分离。 默认为true,表示会进行话者分离,识别结果中会包含role项(角色)。 如果diarization为false,那么结果中不会出现role项。 说明: 本表中的参数对audio_format格式中采样率为8k和16k的音频有效。对于8k单声道音频,8k双声道音频以及16k双声道音频仅支持两个说话人分离;对于16k单声道音频,自动识别说话人个数,返回结果最多支持10个说话人,并且property仅支持chinese_16k_media,区域仅支持cn-east-3。 channel 否 String 语音文件声道信息,默认为MONO,可设置为MONO,LEFT_AGENT, RIGHT_AGENT。 如果channel 为MONO,那么原始文件需要为单声道文件。 如果为双声道文件,系统会将其转换成单声道文件,可能会影响识别效果。 如果 channel 为 LEFT_AGENT或RIGHT_AGENT, 则原始文件需要为双声道文件,如果为单声道文件,系统会将其转换成双声道文件,识别结果会出现两条内容完全一致的文本。 当channel 为 LEFT_AGENT或RIGHT_AGENT,且diarization为true时,系统会按照配置给出对应角色。其中: LEFT_AGENT 指定左声道语音为agent(坐席)。 RIGHT_AGENT 指定右声道为agent(坐席)。 emotion 否 Boolean 是否需要做情绪检测,默认为true。仅对audio_format格式中采样率为8k的音频有效。 目前支持NORMAL(正常)、ANGRY(愤怒)和UNKNOWN(未知)情绪识别。 speed 否 Boolean 是否需要输出语速信息,默认为true。 表7 audio_format取值范围 audio_format取值 描述 auto 默认格式,系统自动判断,支持的音视频格式如下:WAV(内部支持pcm/ulaw/alaw/adpcm编码格式)、AMR、FLAC、M4A、MP3、OGG、WEBM、AAC、AC3、MOV、WMA、MP4、AVI、RMVB、MKV、FLV、F4V、WMV、3GP。支持双声道的音视频。 pcm16k16bit 16k16bit裸音频录音数据。 pcm8k16bit 8k16bit裸音频录音数据。 ulaw16k8bit 16k8bit ulaw 裸音频录音数据。 ulaw8k8bit 8k8bit ulaw 裸音频录音数据。 alaw16k8bit 16k8bit alaw 裸音频录音数据。 alaw8k8bit 8k8bit alaw 裸音频录音数据。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全