神经网络模型的数据处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种神经网络模型的数据处理方法、装置、设备及存储介质，该方法包括：获取神经网络模型中的多个神经网络算子；根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子；将所述融合后的神经网络算子组合为计算指令；使用计算引擎对所述计算指令进行计算。本发明专利技术提供的一种神经网络模型的数据处理方法,加快了计算流程，解决了相关技术中无法快速实现数据流计算的问题，实现了使算法指令到达驱动程序之后把多个算子解析成一次数据流过程，多个数据流过程整体实现一个神经网络的数据流，使得数据流速度能够达到最高的效率。

Data processing method, device, equipment and storage medium of neural network model

【技术实现步骤摘要】
神经网络模型的数据处理方法、装置、设备及存储介质
本申请实施例涉及计算板卡
，例如涉及一种神经网络模型的数据处理方法、装置、设备及存储介质。
技术介绍
随着人工智能技术的发展，产生了许多可扩展的深度学习系统，深度学习系统可以设置为提供多种能够在中央处理单元(CentralProcessingUnit，CPU)或图形处理器(GraphicsProcessingUnit，GPU)等处理器上运行的神经网络模型。深度学习的框架种类繁多，并且框架版本迭代更新速度较快，融合技术需要根据不同框架的架构特点来进行设计。处理器在运行神经网络模型时，如运行Caffe网络模型时，每次对该神经网络模型中的多个计算节点分别进行编译、解析，按照该神经网络模型的结构形式以一定的形式执行多个计算节点的运算。当上述计算节点在不同的处理器上执行时，在不同的处理器之间进行频繁的切换，不同处理器之间的通讯次数较多且进行多次数据拷贝，降低了神经网络模型的运算速度。
技术实现思路
本申请提供一种神经网络模型的数据处理方法、装置、设备及存储介质，以实现提高数据流速度效率。在一实施例中，本申请实施例提供了一种神经网络模型的数据处理方法，包括：获取神经网络模型中的多个神经网络算子；根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子；将所述融合后的神经网络算子组合为计算指令；使用计算引擎对所述计算指令进行计算。可选的，在所述根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子之前，还包括：判断所述多个神经网络算子是否能够进行融合，响应于所述多个神经网络算子能够进行融合的判断结果，根据所述预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子。可选的，在所述判断所述多个神经网络算子是否能够进行融合之后，还包括：响应于所述多个神经网络算子不能进行融合的判断结果，继续获取新的神经网络算子。可选的，所述根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子，包括：依次按照卷积、激活函数、池化/上采样、捷径、激活函数、全局池化的顺序对所述多个神经网络算子排放，并对排放的神经网络算子进行融合得到融合后的神经网络算子。可选的，所述使用计算引擎对所述计算指令进行计算，包括：判断所述计算指令是否为唯一一个数据流操作，响应于所述计算指令是唯一一个数据流操作的判断结果，使用计算引擎对所述计算指令进行计算。可选的，在所述判断所述计算指令是否为唯一一个数据流操作之后，还包括：响应于所述计算指令不是唯一一个数据流操作的判断结果，根据所述融合后的神经网络算子重新组合计算指令。可选的，在所述使用计算引擎对所述计算指令进行计算之前，还包括：对所述计算指令进行解析。在一实施例中，本申请实施例还提供了一种神经网络模型的数据处理装置，包括：获取模块，设置为获取神经网络模型中的多个神经网络算子；融合模块，设置为根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子；组合模块，设置为将所述融合后的神经网络算子组合为计算指令；计算模块，设置为使用计算引擎对所述计算指令进行计算。在一实施例中，本申请实施例还提供了一种神经网络数据处理设备，包括一个或多个处理器；存储装置，设置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述方法。在一实施例中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，该程序指令被处理器执行时实现上述方法。本申请实施例公开了一种神经网络模型的数据处理方法、装置、设备及存储介质，该方法包括：获取神经网络模型中的多个神经网络算子；根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子；将所述融合后的神经网络算子组合为计算指令；使用计算引擎对所述计算指令进行计算。本专利技术提供的一种神经网络模型的数据处理方法,加快了计算流程，解决了相关技术中无法快速实现数据流计算的问题，实现了使算法指令到达驱动程序之后把多个算子解析成一次数据流过程，多个数据流过程整体实现一个神经网络的数据流，使得数据流速度能够达到最高的效率。附图说明图1为本申请实施例中提供的一种神经网络模型的数据处理方法的流程图；图2为本申请实施例中提供的一种神经网络模型的数据处理方法的流程图；图3是本申请实施例中提供的一种神经网络模型的数据处理装置的结构示意图；图4是本申请实施例中提供的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。下面结合附图和实施例对本申请进行说明。此处所描述的实施例仅仅用于解释本申请，而非对本申请的限定。为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将多个步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，多个步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。此外，术语“第一”、“第二”等可在本文中用于描述多种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，可以将第一计算引擎称为第二计算引擎，且类似地，可将第二计算引擎称为第一计算引擎。第一计算引擎和第二计算引擎两者都是计算引擎，但第一计算引擎和第二计算引擎不是同一计算引擎。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确限定。实施例一图1为本申请实施例提供的一种神经网络模型的数据处理方法的流程图，本实施例可适用于融合计算算子加快数据流架构的情况，包括步骤100至步骤130。步骤100、获取神经网络模型中的多个神经网络算子。在一实施例中，在神经网络模型中，一个神经网络模型中包括多个算法指令，一个算法指令中包括多个神经网络算子，运算流程包括多层结构的多个神经网络算子和多个神经网络算子之间的连接关系。在计算引擎处理神经网络模型的计算指令后，获取所有的神经网络算子的信息，包括运算符号、运算参数、多个算子之间的连接关系等等。步骤110、根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子。本实施例中本文档来自技高网...

【技术保护点】
1.一种神经网络模型的数据处理方法，其特征在于，包括：/n获取神经网络模型中的多个神经网络算子；/n根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子；/n将所述融合后的神经网络算子组合为计算指令；/n使用计算引擎对所述计算指令进行计算。/n

【技术特征摘要】
1.一种神经网络模型的数据处理方法，其特征在于，包括：
获取神经网络模型中的多个神经网络算子；
根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子；
将所述融合后的神经网络算子组合为计算指令；
使用计算引擎对所述计算指令进行计算。


2.根据权利要求1中所述的方法，其特征在于，在所述根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子之前，还包括：判断所述多个神经网络算子是否能够进行融合，响应于所述多个神经网络算子能够进行融合的判断结果，根据所述预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子。


3.根据权利要求2中所述的方法，其特征在于，在所述判断所述多个神经网络算子是否能够进行融合之后，还包括：响应于所述多个神经网络算子不能进行融合的判断结果，继续获取新的神经网络算子。


4.根据权利要求1中所述的方法，其特征在于，所述根据预设规则对所述多个神经网络算子进行融合得到融合后的神经网络算子，包括：依次按照卷积、激活函数、池化/上采样、捷径、激活函数、全局池化的顺序对所述多个神经网络算子排放，并对排放的神经网络算子进行融合得到融合后的神经网络算子。


5.根据权利要求1中所述的方法，其特征在于，所述使用计算引擎对所述计算指令进行计算，包括：判断所述计算指令是否为唯一一个数据流操作，响应于所述...

【专利技术属性】
技术研发人员：黄炯凯，蔡权雄，牛昕宇，
申请(专利权)人：深圳鲲云信息科技有限公司，
类型：发明
国别省市：广东;44