神经网络模型推理方法、装置、电子设备及可读介质制造方法及图纸

本发明专利技术提供了一种神经网络模型推理方法、装置、电子设备及可读介质，涉及神经网络的技术领域，其中方法包括获取待识别图片；采用流水线方法对待识别图片进行预处理；将预先训练好的神经网络模型加载到神经网络推理加速引擎中；采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。本发明专利技术采用流水线方法对图片预处理进行并行处理，充分利用了CPU资源，提高了推理性能，采用神经网络推理加速引擎推理加速引擎,提升了神经网络模型推理速度。

Neural network model reasoning method, device, electronic equipment and readable medium

【技术实现步骤摘要】
神经网络模型推理方法、装置、电子设备及可读介质
本专利技术涉及神经网络
，尤其是涉及一种神经网络模型推理方法、装置、电子设备及可读介质。
技术介绍
在家装设计领域中，目前采用ResNet-50在基于深度学习框架PyTorch对图片进行推理，随着推理图片数量的增加，推理时间也较长，平均每张图片的推理时间达到了18ms，推理效率低下。因此，亟需提升神经网络的推理性能。
技术实现思路
本专利技术的目的在于提供神经网络模型推理方法、装置、电子设备及可读介质，能够有效降低图片的推理时间，提高推理性能。第一方面，本专利技术实施例提供的一种神经网络模型推理方法，包括：获取待识别图片；采用流水线方法对待识别图片进行预处理；将预先训练好的神经网络模型加载到神经网络推理加速引擎中；采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。本实施例采用流水线方法对图片预处理进行预处理，充分利用了CPU资源，提高了推理性能，同时采用神经网络推理加速引擎，提升了神经网络模型推理速度；本实施例能够有效降低图片的推理时间，提高推理性能，有效节约服务器成本，有利于人工智能在家装领域进一步推广使用。在可选的实施方式中，采用流水线方法对待识别图片进行预处理的步骤包括：将对同一张待识别图片的预处理任务划分成多个处理阶段，为每个处理阶段创建相对应的进程，将创建的进程按预设顺序构建成流水线队列；根据构建的流水线队列并发处理待识别图片。在可选的实施方式中，所述神经网络模型为残差网络模型；所述流水线方法为pipeline方法，所述推理加速引擎为TensorRT。在可选的实施方式中，将预先训练好的神经网络模型加载到神经网络推荐加速引擎中的步骤包括：将残差网络模型转换为TensorRT支持的解析模型，得到解析后的残差网络模型；创建TensorRT引擎，并将解析后的残差网络模型加载到TensorRT引擎中，得到TensorRT推理加速引擎。第二方面，本专利技术实施例提供的一种神经网络模型推理装置，包括：获取模块，用于获取待识别图片；预处理模块，用于采用流水线方法对待识别图片进行预处理；加速模块，用于将预先训练好的神经网络模型加载到神经网络推理加速引擎中；推理模块，用于采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。在可选的实施方式中，预处理模块包括：构建模块，用于将对同一张待识别图片的预处理任务划分成多个处理阶段，为每个处理阶段创建相对应的进程，将创建的进程按预设顺序构建成流水线队列；并发处理模块，用于根据构建的流水线队列并发处理待识别图片。在可选的实施方式中，所述神经网络模型为残差网络模型；所述流水线方法为pipeline方法，所述推理加速引擎为TensorRT。在可选的实施方式中，加速模块包括：解析模块，将残差网络模型转换为TensorRT支持的解析模型，得到解析后的残差网络模型；创建模块，创建TensorRT引擎，并将解析后的残差网络模型加载到TensorRT引擎中，得到TensorRT推理加速引擎。第三方面，本专利技术实施例提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施方式任一项所述的方法的步骤。第四方面，本专利技术实施例提供的一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述实施方式任一所述方法。本专利技术提供的神经网络模型推理方法、装置、电子设备及可读介质，采用流水线方法对待识别图片的预处理阶段进行并发处理，从而充分利用CPU资源，提高数据处理阶段的性能，然后采用神经网络推理加速引擎对神经网络模型进行推理加速，在保证精准度的同时提高推理性能；本专利技术能够有效节约服务器成本，有利于人工智能在家装领域进一步推广使用。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的神经网络模型推理方法的流程图；图2为本专利技术实施例提供的神经网络模型推理方法的另一个流程图；图3为本专利技术实施例提供的ResNet-50网络结构原理图；图4为本专利技术实施例提供的神经网络模型推理方法的TensorRT重构ResNet-50网络结构原理图；图5为本专利技术实施例提供的神经网络模型推理装置的原理图；图6为本专利技术实施例提供的电子设备的原理图。图标：51-获取模块；52-预处理模块；53-加速模块；54-推理模块；600-电子设备；601-通信接口；602-处理器；603-存储器；604-总线。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。下面结合附图，对本专利技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。目前，神经网络广泛应用于各个领域，尤其是图像识别和语音识别领域。它能够从人群中识别特定人，帮助医生识别癌症，帮助农民提高产量。但是，随着应用的广泛和深入，它需要处理的图片量越来越大，需要识别的语音越来越多，随之而来的是，它需要越来越强大的硬件支撑，同时还需要耗费越来越多的时间进行运算处理。因此，如何实现高效推理，成为亟需解决的问题。基于此，本实施例提出一种神经网络模型推理方法、装置、电子设备及可读介质，下面通过实施例进行详细介绍。如图1所示，本专利技术实施例提供的一种神经网络模型推理方法，包括：步骤S110：获取待识别图片；步骤S120：采用流水线方法对待识别图片进行预处理；步骤S130：将预先训练好的神经网络模型加载到神经网络推理加速引擎中；步骤S140：采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。具体地，本实施例采用的流水线为pipeline方本文档来自技高网...

【技术保护点】
1.一种神经网络模型推理方法，其特征在于，包括：/n获取待识别图片；/n采用流水线方法对待识别图片进行预处理；/n将预先训练好的神经网络模型加载到神经网络推理加速引擎中；/n采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。/n

【技术特征摘要】
1.一种神经网络模型推理方法，其特征在于，包括：
获取待识别图片；
采用流水线方法对待识别图片进行预处理；
将预先训练好的神经网络模型加载到神经网络推理加速引擎中；
采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。


2.根据权利要求1所述的方法，其特征在于，采用流水线方法对待识别图片进行预处理的步骤包括：
将对同一张待识别图片的预处理任务划分成多个处理阶段，为每个处理阶段创建相对应的进程，将创建的进程按预设顺序构建成流水线队列；
根据构建的流水线队列并发处理待识别图片。


3.根据权利要求1所述的方法，其特征在于，所述神经网络模型为残差网络模型；所述流水线方法为pipeline方法，所述推理加速引擎为TensorRT。


4.根据权利要求3所述的方法，其特征在于，将预先训练好的神经网络模型加载到神经网络推理加速引擎中的步骤包括：
将残差网络模型转换为TensorRT支持的解析模型，得到解析后的残差网络模型；
创建TensorRT引擎，并将解析后的残差网络模型加载到TensorRT引擎中，得到TensorRT推理加速引擎。


5.一种神经网络模型推理装置，其特征在于，包括：
获取模块，用于获取待识别图片；
预处理模块，用于采用流水线方法对待识别图片进行预处理；
加速模块，用于将预先训练好...

【专利技术属性】
技术研发人员：杨嘉华，王胜，
申请(专利权)人：广东三维家信息科技有限公司，
类型：发明
国别省市：广东;44