解决方案实践

Flink + StarRocks实时分析方案

Flink + StarRocks实时分析方案

本方案将 Flink CDC实时集成、StarRocks 实时数仓深度集成,打造一体化实时数仓联合架构,实现各分层间数据实时流转与自动加工,标准化落地实时数仓分层建设规范。方案可支撑实时推荐、实时风控、大屏看板等典型业务场景,全面满足企业低延迟实时分析诉求;同时具备中间层数据可直接查询、各分层模型可复用、架构链路精简易维护等特点。适用于有需要数据实时处理、高并发查询能力的业务场景。

本方案将 Flink CDC实时集成、StarRocks 实时数仓深度集成,打造一体化实时数仓联合架构,实现各分层间数据实时流转与自动加工,标准化落地实时数仓分层建设规范。方案可支撑实时推荐、实时风控、大屏看板等典型业务场景,全面满足企业低延迟实时分析诉求;同时具备中间层数据可直接查询、各分层模型可复用、架构链路精简易维护等特点。适用于有需要数据实时处理、高并发查询能力的业务场景。

适用客户

小微借贷风控商户 | 本地生活流量小店 | 中小型工贸加工

方案优势

方案优势

一体化架构,链路精简

采用 Flink CDC+StarRocks 极简组合,剔除冗余中间组件,大幅简化整体架构复杂度。

预计算加速,查询倍增

依托物化视图预计算能力,查询性能直接提升 10-100 倍,海量数据秒级响应。

免调度运维,省心省力

物化视图支持自动刷新,无需额外部署调度系统与运维工具,降低运维成本。

架构与部署

部署描述

该方案基于DLI Flink+Starrocks物化视图帮助您快速搭建数据实时分析平台,本解决方案将会部署如下资源: 

虚拟私有云 VPC:搭建专属网络运行环境。

弹性云服务器 ECS:部署安装 StarRocks 客户端。

安全组:配置访问规则,保障服务器网络安全。

RDS for MySQL 数据库:搭建业务数据源。

CloudTable StarRocks 实例:构建实时数据仓库。

数据湖探索 DLI 资源池:实现数据实时同步流转。

对象存储 OBS 桶:统一存储 Flink 运行任务日志。

预估费用:10元

温馨提示:预估费用仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准。

部署时长:40分钟

应用场景

应用场景

经营数据实时大屏

全链路实时汇聚业务经营各类数据,内部快速聚合计算生成核心经营指标,低延迟输出可视化大屏数据,实时掌握企业运营态势。

用户行为实时分析

实时采集用户浏览、点击、下单等行为数据,分层清洗整合后快速构建用户画像,支撑精准实时推荐与用户运营策略调整。

实时交易风控

依托 Flink CDC 实时同步交易数据,经数仓分层快速加工汇总,毫秒级识别异常交易行为,高效完成实时风险研判与拦截。

解决方案实践拓展

解决方案实践拓展

快速构建高可用Flink集群

基于开源框架Flink,帮助用户在华为云上快速部署Flink集群环境

亿条小票快速分析最畅销产品组合

以零售行业流水数据为应用场景,基于 DataArts Studio + DWS 构建分层数仓体系,支持从亿条销售流水数据中,按各个等维度挖掘畅销商品组合,为销售策略优化提供数据支撑。

 

快速体验智能问数

实现从用户自然语言提问到结构化智能数据查询、分析与可视化的工作流系统