支持嵌入式平台多核并行的CNN网络推理框架设计方法技术

本发明专利技术属于雷达信息处理技术领域，公开了一种支持嵌入式平台多核并行的CNN网络推理框架设计方法。本发明专利技术的方法包括读取深度学习框架训练后模型文件，从中提取权值和偏置参数并用指针变量定义；将CNN网络中运算分别封装成运算核函数，进行通用编程接口设计，用于搭建CNN网络推理框架的预测函数；基于多核处理器的多线程机制，将预测函数绑定到多核处理器的核号；根据要部署CNN网络推理框架的平台类型，编写相应的VSIPL静态库；将CNN网络推理框架部署在各操作系统。采用本发明专利技术在嵌入式平台建立神经网络模型的推理框架，满足应用场景的实时处理需求，该推理框架支持多种芯片，兼容多种操作系统。

【技术实现步骤摘要】
支持嵌入式平台多核并行的CNN网络推理框架设计方法
本专利技术属于雷达信息处理
，具体涉及一种支持嵌入式平台多核并行的CNN网络推理框架设计方法。
技术介绍
在嵌入式系统DSP平台，深度学习面临的挑战主要是没有一个统一、通用的高性能推理框架。目前Google的深度学习框架tensorflow也只是在移动端CPU、GPU端适用；百度的人工智能框架PadllePaddle也不适用于DSP平台。在低成本、低能耗、计算能力有限的嵌入式系统中部署低存储、低复杂度的深度学习框架面临挑战。硬件生产厂商正在努力研发基于人工智能的专门设计芯片，在硬件上加速，同时针对嵌入式设备优化深度学习算法，针对嵌入式平台进行高性能并行计算，以及基于嵌入式平台建立深度学习框架，成为新的解决途径。目前，DSP平台缺少深度学习框架，例如神经网络算法在嵌入式DSP平台没有推理框架或者推理框架实时性不高。
技术实现思路
针对现有技术存在的神经网络算法在嵌入式DSP平台没有推理框架或者推理框架实时性不高的问题，本专利技术的一个目的在于提供一种支持嵌入式平台多核并本文档来自技高网...

【技术保护点】
1.一种支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，包括：/nCNN网络模型加载：读取深度学习框架训练后模型文件，从中提取权值和偏置参数，输出用指针变量定义的模型权值和偏置参数；/nCNN网络函数封装：采用向量指令集、汇编语言和C语言将CNN网络中卷积运算、池化运算、激活运算和全连接运算分别封装成运算核函数，所述各运算核函数的输入是所述用指针变量定义的模型权值和偏置，输出分别是卷积层函数、池化层函数、激活函数、全连接层函数；基于VSIPL标准的基本块和视图对象设计，将封装的卷积层函数、池化层函数、激活函数、全连接层函数，包括函数参数，进行编程接口设计，统一成具有通用神经网络...

【技术特征摘要】
1.一种支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，包括：
CNN网络模型加载：读取深度学习框架训练后模型文件，从中提取权值和偏置参数，输出用指针变量定义的模型权值和偏置参数；
CNN网络函数封装：采用向量指令集、汇编语言和C语言将CNN网络中卷积运算、池化运算、激活运算和全连接运算分别封装成运算核函数，所述各运算核函数的输入是所述用指针变量定义的模型权值和偏置，输出分别是卷积层函数、池化层函数、激活函数、全连接层函数；基于VSIPL标准的基本块和视图对象设计，将封装的卷积层函数、池化层函数、激活函数、全连接层函数，包括函数参数，进行编程接口设计，统一成具有通用神经网络编程接口的运算核函数；采用所述具有通用神经网络编程接口的运算核函数搭建CNN网络推理框架的预测函数；
进行并行化设计：基于多核处理器的多线程机制，将所述CNN网络推理框架的预测函数作为线程函数，创建多个任务或多个线程，设计线程同步与通信，基于负载均衡原则对输入的测试数据集进行数据划分，通过线程绑定函数把各任务或线程绑定到多核处理器的核号；
进行跨平台设计：根据要部署CNN网络推理框架的平台类型，编写相应的VSIPL静态库；将CNN网络推理框架部署在VxWorks、Linux、Windows、SylixOS或Reworks操作系统。


2.根据权利要求1所述的支持嵌入式平台多核并行的CNN网络推理框架设计方法，其特征在于，所述训练后模型文件是包含模型参数的二进制文件，由控制表头参数+数据组成；
其中，所述控制表头参数是整数，控制表头参数的第1个字是神经网络层数，第2、3、4个字表示第一层神经网络模型的权值矩阵维度，第5、6、7个字是第...

【专利技术属性】
技术研发人员：王嘎，杨洋，唐强，韩文俊，丁琳琳，
申请(专利权)人：中国电子科技集团公司第十四研究所，
类型：发明
国别省市：江苏;32