DLI服务使用场景

时间:2020-09-04 08:18:22

数据库分析

数据库分析:

应用的数据(如:注册信息)存在关系型数据库中,想对数据库内的数据进行分析

痛点:

•数据量日益增多,复杂查询关系型数据库查不出来

•数据分库分表存在多个关系型数据库中,无法做全量分析

•不想因为分析业务影响在线业务

优势:

熟悉的SQL体验

DLI的SQL语法全兼容关系型数据库的标准ANSI SQL 2003,0学习成本,使用习惯保持一致

极致性能

DLI采用分布式内存计算模型,轻松处理海量数据

建议搭配使用:云数据迁移CDM

dli使用场景-数据库分析

电商行业

精准营销

电商行业需要获取多个途径的信息做关联分析,以便更好地做精准营销,提高转化率。如:关联【页面广告点击事件数据】和【用户注册数据】,获取不同年龄段喜欢的广告类型,以便对不同年龄段用户投放更精准的广告

优势

跨源分析

数据免搬迁,就可以关联分析存在OBS中的【页面广告点击事件数据】和RDS中的【用户注册数据】

纯SQL操作

DLI已对接多个数据源,直接通过SQL建表就可以完成数据源的映射

建议搭配使用:对象存储服务OBS/数据接入服务DIS

dli使用场景-电商

游戏行业

日志分析

游戏公司日常通过数据分析平台,借助数据力量没突破行业瓶颈。例如:寻找优质的投放渠道、提高新手期玩家留存、优化运营活动提升玩家活跃、数据驱动产品迭代等

痛点:

•日志分析通常是按周期进行调度,每次调度之间存在大量空闲期

优势

按量计费

DLI按量计费只在使用期间收费,成本较独占集群降低50%以上

批流一体

DLI是批流一体架构,使用一份资源就可以完成流式数据清洗和批量数据分析

建议搭配使用:数据接入服务DIS/云数据库MySQL

dli使用场景-游戏

大企业

日志分析

大企业的部门比较多,不同部门在使用云服务时,需要对不同部门的员工的权限进行管理,包括计算资源的创建、删除、使用、隔离等。同时,也需要对不同部门的数据进行管理,包括数据的隔离、共享等

优势

细粒度权限控制

列级别权限控制;INSERTINTO/OVERWRITE单独权限控制;表元数据只读权限控制

统一的管理机制

使用统一的IAM管理用户(无需单独创建DLI用户),支持IAM细粒度授权

dli使用场景-大企业

基因行业

基因数据处理

现在基因行业有很多基于Spark分布式框架的第三方分析库,如ADAM、Hail等

痛点:

•安装ADAM、Hail等分析库比较复杂

•每次新建集群都需要安装一遍

优势

支持自定义镜像

支持基于基础镜像打包ADAM、Hail等第三方分析库,直接上传到容器镜像服务SWR,在DLI中运行作业时会自动拉取SWR中的自定义镜像

内置多个基础镜像

内置华为增强版Spark/Flink多版本基础镜像,开源Tensorflow/Keras/PyTorch的AI镜像

建议搭配使用容器镜像服务SWR

dli使用场景-基因

金融行业

实时风控

为了提高消灭或减少风险事件发生的各种可能性,需要使用风控系统对典型的场景包括:注册风控、登录风控、交易分控等进行风控

痛点:

•风控系统对实时性要求很高

优势

高吞吐低时延

采用Apache Flink的Dataflow模型,完全的实时计算框架。采用高性能计算资源,单CPU每秒吞吐1千~2万条消息

丰富的云生态

使用SQL就可以将处理后的数据流式写入CloudTable、SMN等多个云服务

建议搭配使用:数据接入服务DIS/消息通知服务SMN

dli使用场景-金融

政府行业

实时大屏

为了更好地做好新冠疫情的管控,各地政府需要通过实时大屏掌握新冠疫情的现存确诊、累计确诊、境外输入等关键数据,为下一步疫情调控提供数据支撑

痛点:

•政府行业技术人员通常会SQL,但对大数据了解不多

优势

简单易用

在线编辑Stream SQL,丰富的SQL函数满足复杂业务需要

全托管

用户完全不感知计算集群,聚焦流分析本身

建议搭配使用:云数据迁移CDM/数据接入服务DIS/云数据库MySQL/数据可视化DLV

dli使用场景-政府

地理大数据分析

地理大数据分析

地理大数据具有大数据的相关特征,数据体量巨大,例如全球卫星遥感影像数据量达到PB级;数据种类多,有结构化的遥感影像栅格数据、矢量数据,非结构化的空间位置数据、三维建模数据;在大体量的地理大数据中,通过高效的挖掘工具或者挖掘方法实现价值提炼,是用户非常关注的话题

优势

提供地理专业算子

支持全栈Spark能力,具备丰富的Spark空间数据分析算法算子,全面支持结构化的遥感影像数据、非结构化的三维建模、激光点云等巨量数据的离线批处理,支持带有位置属性的动态流数据实时计算处理

CEP SQL

提供地理位置分析函数对地理空间数据进行实时分析,用户仅需编写SQL便可实现例如偏航检测,电子围栏等地理分析场景

大数据治理能力

能快速将海量遥感影像数据接入上云,快速完成影像数据切片处理,为分布式批处理计算提供弹性分布式数据集

建议搭配使用:数据接入服务DIS/对象存储服务OBS/云数据迁移CDM/数据快递服务DES/表格存储服务CloudTable

dli使用场景-地理


数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

按需付费,CU单价 ¥0.35/小时

进入控制台立即购买DLI开发者社区1对1咨询                
               

           

数据库相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0011.html,数据库相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0037.html,预览数据||https://support.huaweicloud.com/usermanual-dli/dli_01_0007.html,全局配置||https://support.huaweicloud.com/usermanual-dli/dli_01_0485.html,集群相关API(废弃)||https://support.huaweicloud.com/api-dli/dli_02_0159.html

https://www.huaweicloud.com/product/dli.html

猜你喜欢