华为云计算 云知识 实时流计算服务创建Spark自定义作业及查看作业执行结果
实时流计算服务创建Spark自定义作业及查看作业执行结果

本视频主要为您介绍 实时流计算服务 创建Spark自定义作业及查看作业执行结果的操作教程指导。

场景描述:

用户可以基于Spark的API进行二次开发,构建自定义Jar包并提交到CS集群上运行,CS完全兼容开源社区接口。

创建Spark自定义作业的前提条件:

确保已创建运行自定义作业所需的CS独享集群

确保在构建应用Jar包时,将Spark的相关依赖排除

确保已将自定义Jar包上传到OBS桶中

确保已创建DIS的输入输出通道并配置了转储任务

上一篇:使用CDN前你需要了解这些? 下一篇:需要DDoS高防服务的有哪些行业

数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询