[快速入门]DLI数据怎么存储
华为云数据湖探索服务 DLI

数据湖探索 DLI 数据湖探索 DLI 提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,支持数据入湖、数据仓库、BI、AI融合等能力 提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,支持数据入湖、数据仓库、BI、AI融合等能力

表格存储服务

搭配使用 数据湖探索 DLI数据迁移 CDM 消息日志类数据存储查询 消息日志类数据存储查询 CloudTable(HBase)满足消息或日志类数据的高速查询后展现或者返回到应用。适用于以下等场景:消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半

CloudLink 协作智真系列

配,外接触控屏体验书写协作的畅快 联接时空 改变未来 CloudLink Board CloudLink Bar CloudLink Box CloudLink Board CloudLink Bar CloudLink Box 购买咨询热线: 4000-955-988或950808按1转1

存储容灾服务

存储容灾服务 SDRS 存储容灾服务 SDRS 存储容灾服务(Storage Disaster Recovery Service)提供跨可用区/跨region秒级RPO虚拟机级容灾保护,当生产站点故障时,用户可在容灾站点迅速恢复业务,极大缩短业务中断时间,减少损失 存储容灾服务(Storage

键值存储服务KVS

键值存储服务 KVS 键值存储服务 KVS 提供稳定时延、高可用、Serverless化、高效索引查询,旨在运行任何规模的高性能应用程序 提供稳定时延、高可用、Serverless化、高效索引查询,旨在运行任何规模的高性能应用程序 2024年4月30日~2025年4月29日公测 申请公测

实时流计算服务

实时流计算CS已与数据湖探索DLI进行了合并,同SPU资源下 数据湖探索DLI 价格下降30%,请前往体验> 进入DLI控制台 立即购买 [退市通知] 华为云实时流计算服务于2020年11月1日00:00:00(北京时间)退市,原有功能已合并到DLI [进入DLI] 数据湖探索DLI主页 [退市通知]

弹性内存存储

EMS采用半托管融合部署,EMS数据面部署在AI节点本地,高效纳管AI节点空闲内存资源,提供加速服务、降低存储成本 搭配使用 AI开发平台ModelArts 云容器引擎 CCE 您可能感兴趣的产品 您可能感兴趣的产品 高性能弹性文件服务 SFS Turbo 提供按需扩展的高性能文件存储 AI开发平台ModelArts

数据接入服务 DIS

h(函数工作流)等服务集成,用户通过简单配置即可完成数据转储、计算、分析等功能 DIS与华为云上的OBS(对象存储服务)、MRS(MapReduce服务)、DWS(数据仓库服务)、CloudTable(表格存储服务)、DLI数据湖探索)、CS(实时流计算服务)、Function

云存储网关

存储网关 CSG 云存储网关 CSG 云存储网关(Cloud Storage Gateway)是一种混合云存储服务,可用于企业数据分级存储场景,用户数据中心的应用通过NFS文件协议访问网关,数据分级存储在网关本地缓存磁盘及对象存储。 云存储网关(Cloud Storage Ga

[相关产品]DLI数据怎么存储
51cloudlink

51CloudLink(弹性混合云专线),基于锐速全球骨干传输网,连接企业与大规模公有云,为客户提供的高速专线服务。1、用于搭建企业自有计算环境到公有云用户计算环境的高速、稳定、安全的专属通道。用户可使用专线接入服务将本地数据中心的计算机与云上的云服务器或托管主机实现私网相连,充

数据在线备份与存储系统

数据在线备份与存储系统是新一代智能备份到云备份,从存储到共享的全方位数据保护产品,并提供了统一的数据安全管理平台。数据在线备份与存储系统数据在线备份与存储系统是一款集备份与存储一体化产品,有效的解决中小企业数据管理的难题。为企业提供低投入、易使用、安全可靠的数据资产集中保护方案。

存储维保

专业运维过保的老旧型号存储服务器,帮助客户节约存储维保成本。 专业实施部署各种存储服务器或存储系统,帮助客户提升项目或日常运维效率。 专业处理存储系统疑难杂症,和虚拟化、云平台、宿主机、客户机等关联问题处理。提供各梯队品牌的存储服务器、存储系统运维服务,对老旧型号的存储系统做延保技术支

易华录蓝光存储数据备份服务

蓝光数据存储备份服务是面向政企、行业客户提供低成本、高可靠、长周期且易访问的冷数据存储和备份产品。基于大容量蓝光存储技术,适用于海量、访问频次低的非结构化数据长期存储、管理和备份。蓝光数据存储备份服务是面向政企、行业客户提供低成本、高可靠、长周期且易访问的冷数据存储和备份产品。基

私有云存储定制

基于主流开源云存储套件定制开发,一站解决数据存储和共享,插件功能强大,灵活可扩展且安全可靠的自托管云存储和协作平台,适用于个人用户、企业和组织。用户可以在自己的服务器上搭建和管理文件存储和共享服务,用户可以完全掌控自己的数据。提供了跨平台的文件同步功能,可以将文件同步到不同设备上

蓝光存储配套服务

蓝光存储配套服务是蓝光数据存储备份服务的配套服务,包括离线数据迁移服务、在线数据迁移与技术支持服务存储设备搬运服务、软硬件安装服务数据取回服务。1.离线数据迁移服务离线数据迁移服务面向用户提供TB或PB级的海量数据离线迁移工具,有效降低用户成本的同时,提供稳定、快速的数据传输

德康容灾存储系统

德康容灾存储系统为用户提供了一种在快速容灾的同时,对业务数据进行实时备份的有效方法,从而保障了业务的连续性。应用介绍德康容灾存储系统采用最新的持续数据保护技术保障业务的连续性,达到最短的恢复时间和最小的数据丢失量(最小的RTO和RPO);具有操作系统备份,数据库备份,文件备份等功

格尔文件加密存储网关软件

本产品基于密码技术和分布式存储技术设计开发的高性能文件加密存储软件,支持服务集群和异地容灾备份,为用户重要文件数据提供专业级的安全存储服务,满足数据存储安全方面的合规性要求。格尔文件加密存储网关是一款基于密码技术和分布式存储技术进行设计开发的安全产品,可以有效解决党政军及企事业单位的敏感文件安全存储问题,满足“等保2

存储转发类业务许可证

存储转发类业务是指利用存储转发机制为用户提供信息发送的业务包括语音信箱、电子邮件、传真存储转发等业务。  免费咨询专业客服 为您解决全部办理难题,牌照第二类增值电信业务 全国代办理 急速下证

[相似文章]DLI数据怎么存储
大数据存储_OBS怎么设置_免费的对象存储

安全性 图解对象存储服务 功能概览 免费的对象存储 免费的对象存储 华为云对象存储服务 华为云对象存储服务 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 对象存储服务(Object

AI训练加速存储_高性能数据存储_AI数据存储内存不足怎么办

AI训练加速存储 AI训练加速存储 华为云对象存储服务 OBS 华为云对象存储服务 OBS 对象存储服务(Object Storage Server, OBS)是一个基于对象的存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,使用时无需考虑容量限制,并且提供多种存储类型供选择,满足客户各类业务场景诉求。

如何搭建基因测序平台_基因数据怎么存储_基因测序数据上云

华为云对象存储服务 OBS 新手入门必看 对象存储服务简介 对象存储服务产品优势 对象存储服务应用场景 常见问题汇总 产品咨询 计费相关 权限相关 桶和对象相关 安全性 图解对象存储服务 功能概览 免费试用 帮助文档 对象存储服务简介 对象存储服务产品优势 对象存储服务应用场景 产品咨询

大数据存储_一站式数据存储管理_数据存储方式有哪些

一站式数据存储管理 一站式数据存储管理 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。到目前为止,OBS支持4种存储类别:标准存储、低频访问存储、归档存储、深度归档存储(受限公

什么是跨源连接-数据湖探索DLI跨源连接

跨源连接的特点与用途 DLI支持原生Spark的跨源连接能力,并在其基础上进行了扩展,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据数据湖探索跨源连接的功能是打通数据源之间的网络连接。 数据湖探索跨源连接的功能是打通数据源之间的网络

什么是数据湖探索服务_数据湖探索DLI用途与特点

使用DLI进行电商实时业务数据分析 数据湖探索优势 支持SQL操作: DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 跨源分析: 支持多种数据格式,云上多种数据源、ECS自建数据库以及线下数据库,数据无需搬迁

基因测序数据安全存储_低成本基因测序数据存储_基因数据存储

OBS基因测序解决方案 华为云对象存储服务 华为云对象存储服务 OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合 华为云计算 服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合 华为云计算 服务可快速搭建高扩展性、低成本、高可用的基因测序平台。

什么是Spark SQL作业_数据湖探索DLISpark SQL作业

DLI可以查询存储在OBS中的数据,本例介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 DLI可以查询存储在OBS中的数据,本例介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 创建并提交Spark SQL作业 使用DLI提交SQL作业查询RDS MySQL数据 本例以SQL作业

弹性文件存储试用_弹性文件存储怎么使用_弹性文件服务

带您了解更多华为云产品,助力企业上云 云服务器搭建教程 华为云服务器价格 云服务器配置选型 试用云服务器 香港云服务器 云服务器免费体验试用 windows系统虚拟主机介绍及配置 建网站用什么服务器 国内云服务器价格对比 轻量云服务器价格 虚拟主机空间购买 云计算服务器搭建教程 高带宽云服务器 云服务器免费体验30天

DLI数据怎么存储

什么是跨源认证?

跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“ 数据加密 服务 DEW ”或“ DLI 提供的跨源认证方式”来存储数据源的认证信息。

  • 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。

    Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证

  • 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复配置数据源认证信息,提高数据源认证的安全性,便于DLI安全访问数据源。

    SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证。

本节操作为您介绍DLI提供的跨源认证的使用方法。

约束与限制

表1 跨源认证约束限制

限制项

说明

适用场景约束限制

  • 仅Spark SQL、和Flink OpenSource SQL 1.12版本的作业支持使用跨源认证。
  • 仅在2023年5月1日后创建的队列,支持Flink作业使用跨源认证。

跨源认证类型

  • DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。
    • CSS 类型跨源认证:适用于“6.5.4”及以上版本的 CS S集群且集群已开启安全模式。
    • Kerberos类型的跨源认证:适用于开启Kerberos认证的 MRS 安全集群。
    • Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。
    • Password类型的跨源认证:适用于DWS、RDS、 DDS 、DCS数据源。

跨源认证类型

DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。

  • CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证
  • Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。配置时需指定MRS集群认证凭证,包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证
  • Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证
  • Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源,配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证

支持跨源认证的数据源与作业类型

不同类型的作业支持跨源认证的数据源与认证方式不同。

  • Spark SQL支持跨源认证的数据源与约束限制请参考表2
  • Flink OpenSource SQL 1.12支持跨源认证的数据源与约束限制请参考表3
表2 Spark SQL支持跨源认证的数据源

跨源认证类型

数据源

约束与限制

CSS

CSS

CSS集群版本选择“6.5.4”或“6.5.4”以上版本。

CSS集群已开启“安全模式”。

Password

DWS、RDS、DDS、Redis

-

表3 Flink OpenSource SQL 1.12支持跨源认证的数据源

表类型

跨源认证类型

数据源

约束与限制

源表

Kerberos

HBase

MRS安全集群已开启Kerberos认证。

Kafka

MRS Kafka开启Kerberos认证。

Kafka_SSL

Kafka

DMS Kafka开启S AS L_SSL认证。

MRS Kafka开启SASL认证。

MRS Kafka开启SSL认证。

Password

DWS、RDS、Redis

-

结果表

Kerberos

HBase

MRS安全集群已开启Kerberos认证。

Kafka

MRS Kafka开启Kerberos认证。

Kafka_SSL

Kafka

DMS Kafka开启SASL_SSL认证。

MRS Kafka开启SASL认证。

MRS Kafka开启SSL认证。

Password

DWS、RDS、CSS、Redis

-

维表

Kerberos

HBase

MRS安全集群已开启Kerberos认证。

Password

DWS、RDS、Redis

-

DLI数据怎么存储常见问题

更多常见问题 >>
  • 数据湖探索DLI用户可以通过可视化界面、Restful API、JDBC、ODBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分析,数据格式兼容CSV、JSON、Parquet、Carbon和ORC五种主流数据格式。

  • 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理等,挖掘和探索数据价值。

  • 华为云对象存储服务OBS针对桶和对象提供了标准存储、低频访问存储、归档存储、深度归档存储(受限公测中)四种存储类别,满足不同场景下客户对存储性能和成本的不同诉求。

  • 提供安全稳定、性能领先、无限弹性扩展的存储能力,降低使用成本,驱动千行百业数据价值变现

  • 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。

  • DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。