[快速入门]数据湖DLI支持何种生态
表格存储服务

搭配使用 数据湖探索 DLI数据迁移 CDM 消息日志类数据存储和查询 消息日志类数据存储和查询 CloudTable(HBase)满足消息或日志类数据的高速查询后展现或者返回到应用。适用于以下等场景:消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半

湖仓构建

MapReduce服务 对象存储服务 OBS 云容器引擎 CCE 数智融合:打通服务数据壁垒 数智融合:打通服务数据壁垒 构建数智融合的统一元数据底座,为客户实现多计算服务数据与权限的统一管理,保障云原生数据湖数据与模型的自由流转 优势 数智融合 通过统一元数据实现全局一份数据,业务按

数据仓库服务 DWS

逻辑集群,支持一套集群容纳数据集市、数据仓库 搭配使用 数据接入服务 DIS 云数据迁移 CDM 数据湖治理中心 DataArts Studio 一站式BI解决方案 一站式BI解决方案 企业积累的海量数据及各种数据资产,体量庞大,需高性能大数据平台支撑进行全量数据分析和挖掘。依托DW

数据接入服务 DIS

数据自由流动 支持多种数据支持多种数据源 DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集 DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集 多种数据接入方式 多种数据接入方式 提供RestAPI、SDK、Agent等多种数据接入方

实时流计算服务

实时流计算CS已与数据湖探索DLI进行了合并,同SPU资源下 数据湖探索DLI 价格下降30%,请前往体验> 进入DLI控制台 立即购买 [退市通知] 华为云实时流计算服务于2020年11月1日00:00:00(北京时间)退市,原有功能已合并到DLI [进入DLI] 数据湖探索DLI主页 [退市通知]

智能数据湖_FusionInsight_数据湖应用场景_大数据-华为云

FusionInsight全景图 类别 场景 服务 优势 多元分析 一站式大数据平台 云原生数据湖 MRS 全球累计交付30万+节点,30%性价比提升 全托管大数据服务 数据湖探索 DLI 流、批、交互式一体,AIl in SQL,秒级扩缩容 数据仓库 云数据仓库 GaussDB(DWS) 软硬协同性能提升30%,兼容标准SQL

MapReduce服务

差异化能力贡献社区:HetuEngine 统一SQL、跨源跨域查询。 核心能力提升 软硬结合等垂直协同优化-高可用:首个支持单集群跨AZ的大数据服务。 场景适用服务 MapReduce服务 MRS 对象存储服务 OBS 车联网行业 车联网 基于开源生态,提供快速高效数据处理计算引擎,帮助车联网企业快速上云

数据治理中心

了解更多 产品功能 一站式数据入湖 统一数据开发 企业级架构指标 智能数据质量 全域数据资产 全局数据湖安全 一站式数据入湖 DataArts Studio数据集成 支持自建和云上的关系数据库,数据仓库,NoSQL,大数据服务,对象存储等30+同构/异构数据源,基于分布式计算框架,

对象存储服务 OBS功能-BigData Pro

保证大数据离线计算超高的性能 高可靠 分布式存储跨可用区容灾技术,数据持久度高达12个9,优良数据可靠性 推荐产品 对象存储服务 OBS MapReduce服务 MRS 数据湖探索 DLI 云搜索服务 CSS BigData Pro解决方案存储优势 华为云OBS服务BigData

[相关产品]数据湖DLI支持何种生态
51cloudlink

51CloudLink(弹性混合云专线),基于锐速全球骨干传输网,连接企业与大规模公有云,为客户提供的高速专线服务。1、用于搭建企业自有计算环境到公有云用户计算环境的高速、稳定、安全的专属通道。用户可使用专线接入服务将本地数据中心的计算机与云上的云服务器或托管主机实现私网相连,充

华为云智能数据培训服务

.华为云大数据工作级开发者认证培训定位于培养了解一站式大数据平台MRS、数据湖治理中心DGC的架构,掌握MRS常用组件、DGC工作流及华为数据湖探索服务DLI的使用方案,熟知华为大数据搬迁方案的大数据开发工程师及数据治理工程师。课程内容:大数据挑战&发展趋势,华为大数据解决方案,

hadoop生态组件

loudera开源的日志收集系统,具有分布式,高可靠,高容错,易于定制和扩展的特点。他将数据从产生,传输,处理并写入目标的路径的过程抽象为数据流,在具体的数据流中,数据支持在flume中定制数据发送方,从而支持收集各种不同协议数据。spark:spark是个开源的数据 分析集群

鸿蒙生态驻场专业服务

提供鸿蒙生态解决方案服务,协同鸿蒙生态系统协同开发设计,拓展鸿蒙生态建设中级工程师, 1-3年工作经验,服务内容:1、提供面向鸿蒙生态的设备迁移适配、应用软件迁移适配、设备上云适配等开发支持服务,协助客户完成环境搭建、测试工具使用,以及稳定性、功耗、性能等优化服务。2、有鸿蒙项目

河湖生态智慧管护平台

构建“一河一网一平台两中心”服务框架,融合卫星遥感、无人机(船)、物联网、大数据等新一代信息技术,打造河湖生态智慧运营服务体系,实现“管理精细化、巡查标准化、考核指标化”,推动河湖长制“有名”“有实”“有能”“有效”,建设幸福河湖。4、数字集成的核心技术,2、以客户为中心的服务理念,1、产业链级的应用服务体系

任务管理智能生态数字系统

提醒。评审:指派人对任务完成的情况以及质量进行评价,对需要修改、暂停、取消的任务进行审批,评审后,该任务相关人收到信息提醒。大数据:实时了解任务模块数据的情况变化。置入评分标准,任务评价更客观真实,常规重复性工作可建立任务模板,实现任务的自动分派,每个任务责任明确到个人,有效提升工作效率

WeLink支持服务

武汉德发提供基于华为云WeLink的支持服务,提供产品演示、使用咨询、后台设置、功能指导等服务【基础版】 服务价格: 1人天上门服务,单价2500元/套。 服务内容: (1)上门服务:1对1指导部署,产品操作演示方案讲解;帮助设置考勤、审批等常用应用;分享同行优秀管理案例; (2) 远程支持:管理员后台配置修改;使用咨询。

WeLink支持服务

功能指导等服务服务价格基础版:1人天上门——2500/套;白银版:5人天上门+全年远程支持——10000/套年黄金版:10人天上门+全年远程支持——18000/套年铂金版:15人天上门+全年远程支持——22500/套年全年人员外包模式——1500/人天基础版上门支持:1、WeL

WeLink支持服务

湖南轩利提供基于华为云WeLink的支持服务,可以上门服务,也可以远程支持,多种模式选择。基准版:1人天上门 价格:2500元/次 服务内容: 1、WeLink产品介绍; 2、WeLink产品操作演示及讲解; 3、管理员后台基本功能指导。 交付标准: 1、帮助企业开通WeLink服务; 2、完成常用功能演示;

[相似文章]数据湖DLI支持何种生态
什么是数据湖探索服务_数据湖探索DLI用途与特点

管Spark队列上进行数据分析。 支持数据源分析: Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。 Flink跨源支持与多种云服务连通,形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态: 开源生态:通过增强型跨源连接建立

什么是跨源连接-数据湖探索DLI跨源连接

跨源连接的特点与用途 DLI支持原生Spark的跨源连接能力,并在其基础上进行了扩展,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据数据湖探索跨源连接的功能是打通数据源之间的网络连接。 数据湖探索跨源连接的功能是打通数据源之间的网络

什么是Spark SQL作业_数据湖探索DLISpark SQL作业

使用DLI提交SQL作业查询OBS数据 DLI可以查询存储在OBS中的数据,本例介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 DLI可以查询存储在OBS中的数据,本例介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 创建并提交Spark SQL作业 使用DLI提交SQL作业查询RDS MySQL数据

什么是弹性资源池_数据湖探索DLI弹性资源池

更多相关文章精选推荐,带您了解更多华为云数据湖探索的弹性资源池 弹性资源池相关的API 创建弹性资源池 查询所有弹性资源池 删除弹性资源池 修改弹性资源池信息 查询弹性资源池所属队列 Flink OpenSource SQL中弹性资源池的使用 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS

什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL

汽车驾驶的实时数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到DWS中 从Kafka读取数据写入到DWS PostgreSQL CDC读取数据写入到DWS 通过创建PostgreSQL CDC来监控Postgres的数据变化,并将数据信息插入到DWS数据库中。 通过创建PostgreSQL

Serverless 应用生态

工具链 Serverless 函数计算 Serverless 触发器 Serverless 应用托管 Serverless 应用中心 函数应用程序由FunctoinGraph函数、触发器和其他资源组合而成,这些资源相互配合,共同执行任务。Serverless应用中心为您提供了丰富的预置应用模板,帮助你一键快速部署函数应用

华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势

什么是跨源连接-数据湖探索DLI跨源连接 什么是数据湖探索服务_数据湖探索DLI用途与特点 什么是Spark SQL作业_数据湖探索DLISpark SQL作业 什么是弹性资源池_数据湖探索DLI弹性资源池 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource

大数据应用范围有哪些_大数据技术与应用要学习什么课程

运营平台,提供数据集成、数据开发、数据治理、数据服务数据可视化等功能,支持行业知识库智能化建设,支持数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)可让您轻松收集

数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云

种角色。 数据集成集群:一个数据集成集群运行在一个弹性云服务器之上,用户可以在集群中创建数据迁移作业,在云上和云下的同构/异构数据源之间批量迁移数据数据源:即数据的来源,本质是讲存储或处理数据的媒介,比如:关系型数据库、数据仓库、数据湖等。每一种数据源不同,其数据的存储、传输

数据湖DLI支持何种生态

欢迎使用数据湖探索。

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache SparkApache Flink、HetuEngine生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、 CSS OBS ECS 自建 数据库 以及线下数据库的异构数据进行探索。

您可以使用本文档提供API对数据湖探索进行相关操作,包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览

在调用数据湖探索API之前,请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍

调用说明

数据湖探索提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API

您可以在API Explorer中调用API,查看API请求和返回结果。此外,API Explorer会自动生成相应API调用示例,帮助您使用API。

DLI API中除特殊说明外,通常为同步操作,即响应消息中的“is_success”为请求是否执行成功。

若API为异步操作,可根据响应消息中的“job_id”,执行查询作业状态API,从而获取该异步操作API最终是否执行成功。

同时数据湖探索还提供多种编程语言的SDK供您使用,SDK的使用方法请参见华为云开发工具包(SDK)

终端节点

终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。

约束与限制

  • 您能创建的资源的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见《如何申请扩大配额》。
  • 更详细的限制请参见具体API的说明。

基本概念

  • 账号

    用户注册华为云时的账号,账号对其所拥有的资源及服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。

  • 用户

    由账号在 IAM 中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。

    我的凭证下,您可以查看项目ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。

  • 区域(Region)

    从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、 对象存储 VPC 网络、 弹性公网IP 镜像 等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。

    详情请参见区域和可用区

  • 可用区(AZ,Availability Zone)

    一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。

  • 项目

    华为云的区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。

    图1 项目隔离模型

    同样在我的凭证下,您可以查看项目ID。

  • 企业项目

    企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。

    关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理服务用户指南》。

数据湖DLI支持何种生态常见问题

更多常见问题 >>
  • 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理等,挖掘和探索数据价值。

  • 数据湖探索DLI用户可以通过可视化界面、Restful API、JDBC、ODBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分析,数据格式兼容CSV、JSON、Parquet、Carbon和ORC五种主流数据格式。

  • 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。

  • DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。

  • DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句、Spark作业或者Flink作业进行跨源连接其他数据存储服务并导入、查询、分析处理其中的数据。

  • DLI用户可以通过可视化界面、Restful API、JDBC、ODBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分析,数据格式兼容CSV、JSON、Parquet和ORC主流数据格式。