【技术实现步骤摘要】
神经网络加速器运行方法、架构及相关装置
本申请涉及神经网络领域，具体涉及一种神经网络加速器运行方法、架构及相关装置。
技术介绍
近些年来随着神经网络算法的研究不断深入，神经网络算法逐渐开始取代传统算法，开始应用到电子设备上面。虽然神经网络算法的准确率较高，但由于神经网络计算量巨大，功耗消耗大。而利用云端做神经网络计算，可以解决电子设备功耗问题。但其必须连接网络，可能会存在延时、断网、安全等问题。现有技术中，神经网络有3种映射方案，离线静态映射：在服务器端将神经网络模型映射为加速器硬件可以识别的操作，并将映射后的数据存储为加速硬件能够识别的专用格式，由加速硬件驱动程序解析并加载到硬件执行。线静态映射：移动端存储标准的网络模型。在执行前，将神经网络模型一次性映射为加速器硬件可以识别的操作，并由加速硬件驱动程序解析并加载到硬件执行。动态调度：在移动端存储标准的网络模型。在运行模型时，动态解析模型结构，并将单个算子映射为硬件可以处理的操作，由加速硬件执行。由于上述方案各自存在的缺点，使用任何一种方案都不能达到最优的结果。
【技术保护点】
1.一种神经网络加速器运行方法，其特征在于，应用于电子设备中的神经网络加速器运行架构，所述神经网络加速器运行架构包括映射库、映射工具、模型执行器、硬件加速器，所述方法包括：/n通过所述映射库加载标准模型文件，所述标准模型文件包括标准模型图文件和标准模型数据文件；/n获取并解析标准模型文件格式，并根据所述标准模型文件生成模型内部表示；/n调用所述映射工具根据所述模型内部表示将所述标准模型文件格式映射为硬件模型格式，所述硬件模型格式为所述硬件加速器可识别的模型格式；/n根据所述标准模型文件格式或所述硬件模型格式，通过所述模型执行器获取硬件执行流；/n通过所述硬件加速器执行所述硬件执行流。/n
【技术特征摘要】
1.一种神经网络加速器运行方法，其特征在于，应用于电子设备中的神经网络加速器运行架构，所述神经网络加速器运行架构包括映射库、映射工具、模型执行器、硬件加速器，所述方法包括：
通过所述映射库加载标准模型文件，所述标准模型文件包括标准模型图文件和标准模型数据文件；
获取并解析标准模型文件格式，并根据所述标准模型文件生成模型内部表示；
调用所述映射工具根据所述模型内部表示将所述标准模型文件格式映射为硬件模型格式，所述硬件模型格式为所述硬件加速器可识别的模型格式；
根据所述标准模型文件格式或所述硬件模型格式，通过所述模型执行器获取硬件执行流；
通过所述硬件加速器执行所述硬件执行流。
2.根据权利要求1所述的方法，其特征在于，所述模型执行器包括硬件模型格式解析器，所述根据所述标准模型文件格式或所述硬件模型格式，通过所述模型执行器获取硬件执行流，包括：
通过所述模型执行器判断所述神经网络模型的格式是否为所述硬件模型格式；
若是，通过所述硬件模型格式解析器读取所述硬件模型格式；
获取所述硬件执行流。
3.根据权利要求2所述的方法，其特征在于，所述模型执行器包括动态模型映射器，所述通过所述模型执行器判断所述神经网络模型的格式是否为所述硬件模型格式之后，还包括：
若否，确定所述神经网络模型的格式为所述标准模型文件格式；
通过所述动态模型映射器解析所述标准模型文件；
获取所述标准模型文件的算子；
将所述算子映射为所述硬件执行流。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过所述硬件加速器执行所述硬件执行流，包括：
调用所述硬件加速器接收所述硬件执行流；
根据所述硬件执行流驱动所述硬件加速器。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述通过所述硬件加速器执行所述硬件执行流之后，还包括：
反馈所述硬件执行流的执行结果；
判断所述执行结果是否完成；
若否，将所述执行结果返回并再次通过所述硬件加速器执行所述硬件执行流。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若是，确定是否为硬件模型格式；
若所述神经网络模型的格式为硬件模型格式，再次获取所述神经网络模型的算子。
7.根据权利要求1所述的方法，其特征在于，所述映射库包括优化接口，其中，所述优化接口用于根据用户选择不同的优化策略优化所述映射库。
8.一种神经网络加速器运行架构，其特征在于，应用于电子设备，所述电子设备包括所述神经网络加速器运行架构，所述神经网络加速器运行架构包括映射库、映射工具、模型执行器和硬件加速器，其中，
所述映射库，用于加载标准模型文件，所述标准模型文件包括标准模型图文件和标准模型数据文件...
【专利技术属性】
技术研发人员：周明君，方攀，陈岩，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。