检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI控制台管理数据目录 在DLI控制台配置数据目录权限 父主题: 创建数据目录、数据库和表
使用JDBC提交SQL作业 下载并安装JDBC驱动包 使用JDBC连接DLI并提交SQL作业 DLI JDBC Driver支持的API列表
产品公告 DLI Spark 3.1.1版本停止服务(EOS)公告 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 DLI Flink 1.10、Flink 1.11版本停止服务(EOS)公告 DLI Spark 2.3.2版本停止服务(EOS
版本支持公告 DLI计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明 Spark 2.4.x与Spark 3.3.x版本差异对比
Spark 2.4.x与Spark 3.3.x版本差异对比 Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比 Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI datasourceV1表和datasourceV2表 父主题: 版本支持公告
典型场景示例:配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景,例如DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。
自定义策略中可以添加的授权项(Action) 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权。 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。
使用JDBC提交SQL作业 使用DataArts Studio 提交DLI作业 DLI与华为云DataArts Studio控制台深度集成,用户可以通过DataArts Studio实现一站式数据开发与分析,包括数据集成、数据开发、数据治理等。
在DataArts Studio开发DLI SQL作业 操作场景 华为云数据治理中心DataArts Studio提供了一站式数据治理平台,可以实现与DLI服务的对接,从而提供统一的数据集成、数据开发服务,方便企业对全部数据进行管控。
在DataArts Studio开发DLI SQL作业 操作场景 华为云数据治理中心DataArts Studio提供了一站式数据治理平台,可以实现与DLI服务的对接,从而提供统一的数据集成、数据开发服务,方便企业对全部数据进行管控。
并且该用户需要登录过华为云,才能进行授权操作。 权限设置 全选:所有的权限都勾选上。 查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。 启动作业:启动该作业权限。 停止作业:停止该作业。 导出作业:导出该作业。
权限策略和授权项 如果您需要对您所拥有的DLI服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能
None 服务介绍 数据湖探索DLI产品介绍 02:47 了解什么是数据湖探索服务 特性讲解 DLI计算引擎HetuEngine介绍 09:00 DLI计算引擎HetuEngine简介和使用方法 操作指导 创建并提交SQL作业 07:36 在DLI管理控制台创建并提交SQL作业的入门指导
当您的账户欠费或超出消费配额时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响 资源进入宽限期,不能在DLI服务中提交作业,包括SQL作业,Spark作业和Flink作业。
当您的账户欠费或超出消费配额时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响 资源进入宽限期,不能在DLI服务中提交作业,包括SQL作业,Spark作业和Flink作业。
projectId指项目编号,从华为云“基本信息>我的凭证”页面获取项目编号。 “?”
数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。
准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权。 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。
当您的账户欠费或超出消费配额时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响 资源进入宽限期,不能在DLI服务中提交作业,包括SQL作业,Spark作业和Flink作业。