华为云计算 云知识 数据湖探索 DLI应用场景

数据湖探索 DLI应用场景

DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。

海量日志分析

游戏运营数据分析

游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解游戏当前状态及后续响应活动措施;投放部门通过平台获取新增玩家、活跃玩家的渠道来源,来决定下一周期重点投放哪些平台。

优势

高效的Spark编程模型:使用Spark Streaming直接从DIS中获取数据,进行数据清理等预处理操作。只需编写处理逻辑,无需关心多线程模型。

简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。

按需计费:日志分析按实效性要求按周期进行调度,每次调度之间存在大量空闲期。DLI按需计费只在使用期间收费,成本较独占队列降低50%以上。

建议搭配以下服务使用

OBS,DIS,DWS,RDS

图1游戏运营数据分析

dli应用场景-游戏运营数据分析

异构数据源联邦分析

车企数字化服务转型

面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智联出行体验,增加车企竞争力,促进销量增长。例如:通过对车辆日常指标数据(电池、发动机,轮胎胎压、安全气囊等健康状态)的采集和分析,及时将维保建议回馈给车主。

优势

多源数据分析免搬迁:关系型数据库RDS中存放车辆和车主基本信息,表格存储CloudTable中存放实时的车辆位置和健康状态信息,数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁,对多数据源进行联邦分析。

数据分级存储:车企需要保留全量历史数据支撑审计类等业务,低频进行访问。温冷数据存放在低成本的对象存储服务OBS上,高频访问的热数据存放在数据引擎(CloudTable和DWS)中,降低整体存储成本。

告警快速敏捷触发服务器弹性伸缩:对CPU、内存、硬盘空间和带宽无特殊要求。

建议搭配以下服务使用

DIS、CDM、OBS、DWS、RDS、CloudTable

图2车企数字化服务转型

dli应用场景-车企数字化服务转型

大数据ETL处理

运营商大数据分析

运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。

优势

大数据ETL:具备TB~EB级运营商数据治理能力,能快速将海量运营商数据做ETL处理,为分布式批处理计算提供分布式数据集。

高吞吐低时延:采用Apache Flink的Dataflow模型,高性能计算资源,从用户自建的Kafka、MRS-Kafka、DMS-Kafka消费数据,单CU每秒吞吐1千~2万条消息。

细粒度权限管理:P公司内部有N个子部门,子部门之间需要对数据进行共享和隔离。DLI支持计算资源按租户隔离,保障作业SLA;支持数据权限控制到表/列,帮助企业实现部门间数据共享和权限管理。

建议搭配以下服务使用

OBS、DIS、DAYU

图3运营商大数据分析

dli应用场景-运营商大数据分析

地理大数据分析

地理大数据分析

地理大数据具有大数据的相关特征,数据体量巨大,例如,全球卫星遥感影像数据量达到PB级。数据种类多,有结构化的遥感影像栅格数据、矢量数据,非结构化的空间位置数据、三维建模数据;在大体量的地理大数据中,通过高效的挖掘工具或者挖掘方法实现价值提炼,是用户非常关注的话题。

优势

提供地理专业算子:支持全栈Spark能力,具备丰富的Spark空间数据分析算法算子,全面支持结构化的遥感影像数据、非结构化的三维建模、激光点云等巨量数据的离线批处理,支持带有位置属性的动态流数据实时计算处理。

CEP SQL:提供地理位置分析函数对地理空间数据进行实时分析,用户仅需编写SQL便可实现例如偏航检测,电子围栏等地理分析场景。

大数据治理能力:能快速将海量遥感影像数据接入上云,快速完成影像数据切片处理,为分布式批处理计算提供弹性分布式数据集。

建议搭配以下服务使用

DIS、CDM、DES、OBS、RDS、CloudTable

图4地理大数据分析

dli应用场景-地理大数据分析


上一篇:Puppeteer怎么配置 下一篇:云游戏平台解决方案优势

数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

按需付费,CU单价 ¥0.35/小时

进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           
 

使用前说明||https://support.huaweicloud.com/sdkreference-dli/dli_04_0124.html,表相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0038.html,资源相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0053.html,队列相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0028.html,作业相关||https://support.huaweicloud.com/sdkreference-dli/dli_04_0042.html

https://www.huaweicloud.com/product/dli.html