昇腾AI软件栈框架管理器功能框架介绍
.jpg)
.jpg)
.jpg)
.jpg)
框架管理器协同TBE为神经网络生成可执行的离线模型。在神经网络执行之前，框架管理器与昇腾AI处理器紧密结合生成硬件匹配的高性能离线模型，并拉通了流程编排器和运行管理器使得离线模型和昇腾AI处理器进行深度融合。在神经网络执行时，框架管理器联合了流程编排器、运行管理器、任务调度器以及底层的硬件资源，将离线模型、数据和达芬奇架构三者进行结合，优化执行流程得出神经网络的应用输出。
框架管理器功能框架
框架管理器包含了三个部分，分别为离线模型生成器（Offline Model Generator，OMG）、离线模型执行器（Offline Model Executor，OME）以及模型管家（AI Model Manager），如图所示。开发者使用离线模型生成器来生成离线模型，以om为后缀的文件进行保存。随后，软件栈中的流程编排器调用框架管理器中模型管家，启动离线模型执行器，将离线模型加载到昇腾AI处理器上，最后再通过整个软件栈完成离线模型的执行。从离线模型的诞生，到加载进入昇腾AI处理器硬件，直至最后的功能运行，离线框架管理器始终发挥着管理的作用。
