函数工作流 FUNCTIONGRAPH-流式文件处理:背景与价值

时间:2023-11-06 18:21:51

背景与价值

Serverless Workflow由于自身可编排、有状态、持久化、可视化监控、异常处理、云服务集成等特性,适用于很多应用场景,比如:

  • 复杂度高需要抽象的业务(订单管理,CRM 等)
  • 业务需要自动中断 / 恢复能力,如多个任务之间需要人工干预的场景(人工审批,部署流水线等)
  • 业务需要手动中断 / 恢复(数据备份 / 恢复等)
  • 需要详细监控任务执行状态的场景
  • 流式处理(日志分析,图片 / 视频处理等)

    当前大部分 Serverless Workflow 平台更多关注控制流程的编排,忽视了工作流中数据流的编排和高效传输,上述场景创建函数流触发器中,由于数据流相对简单,所以各大平台支持都比较好,但是对于文件转码等存在超大数据流的场景,当前各大平台没有给出很好的解决方案。华为云FunctionGraph函数工作流针对该场景,提出了 Serverless Streaming 的流式处理方案,支持毫秒级响应文件处理。

support.huaweicloud.com/usermanual-functiongraph/functiongraph_01_0288.html