本申请公开了一种神经网络软硬件协同检测方法、装置、设备及存储介质，涉及深度学习技术领域，包括：将第一目标图像输入预先训练的神经网络模型中进行前向运行，并计算神经网络当前网络层的输出分辨率；用计算得到的输出分辨率替换网络固件中存储的对应网络层的输出分辨率；在网络固件中存储的网络层输出分辨率全部替换完成后，重新配置网络固件中的寄存器命令字，并启动神经网络硬件以加速检测。本申请中输入神经网络的分辨率可变，既能确保当前分辨率下有检测对象存在，且由于送网络分辨率更加小，不缩放的图像更加清晰，还提升了网络性能，减少了带宽使用。减少了带宽使用。减少了带宽使用。
【技术实现步骤摘要】
一种神经网络软硬件协同检测方法、装置、设备及存储介质
[0001]本申请涉及深度学习
，尤其涉及一种神经网络软硬件协同检测方法、装置、设备及存储介质。
技术介绍
[0002]智能交通、智能家居的兴起，使得深度学习主要应用在图像识别方面，而随着大数据与高清摄像机的应用普及，安防大数据时代已经到来，海量高清及以上分辨率视频给安防技术带来了大数据，也就使得深度学习在安防领域必然会快速发展。
[0003]神经网络算法在嵌入式芯片端落地，需要使用神经网络编译器将服务器上训练好的算法模型编译成一个二进制固件，以方便计算机识别，通常嵌入式芯片端移植了linux操作系统，以方便通过读写文件方式来操作固件。
[0004]由于神经网络的前向计算过程由硬件实现，通过将卷积神经网络算法在带硬件智能加速的芯片端实现，可以加速产品落地，但在同一个算法分辨率下，每帧运行性能一致，送设备图像检测距离不会发生改变。
[0005]现有技术中，带硬件智能加速芯片的嵌入式设备，如海思、联咏和芯源等均未实现硬件加速器算法端支持可变分辨率输入的方案，对于人在走路或车辆移动过程中侦测到的画面，无法实现远距离检测人或车，也无法加速网络性能。
技术实现思路
[0006]本申请提供一种神经网络软硬件协同检测方法，以解决上述现有技术中，带神经网络硬件加速器芯片存在的只能使用同一个分辨率送网络检测，导致远距离目标检测性能低下、占用内存过大的问题。
[0007]为实现上述目的，本申请采用以下技术方案：
[0008]本申请的一种神经网络软硬件协同检测方法，包括以下步骤：
[0009]将第一目标图像输入预先训练的神经网络模型中进行前向运行，并计算神经网络当前网络层的输出分辨率；
[0010]用计算得到的输出分辨率替换网络固件中存储的对应网络层的输出分辨率，所述网络固件为对所述预先训练的神经网络模型进行编译得到的；
[0011]在所述网络固件中存储的网络层输出分辨率全部替换完成后，重新配置所述网络固件中的寄存器命令字，并启动神经网络硬件以加速检测。
[0012]作为优选，所述将第一目标图像输入预先训练的神经网络模型中进行前向运行，并计算神经网络当前网络层的输出分辨率之前包括：
[0013]采集当前待检测图像，并利用前景提取算法从所述当前待检测图像中提取出第一目标图像及所述第一目标图像的位置，若所述第一目标图像的分辨率大于预设的神经网络模型最大输入分辨率，则将所述第一目标图像的分辨率调整为所述最大输入分辨率。
[0014]作为优选，所述方法还包括：
[0015]获取下一帧待检测图像，并对其进行预处理得到第二目标图像及所述第二目标图像的位置；
[0016]计算所述第一目标图像位置与所述第二目标图像位置的交并比，若所述交并比小于预设阈值，则将所述第二目标图像输入所述预先训练的神经网络模型中。
[0017]作为优选，所述用计算得到的输出分辨率替换网络固件中存储的对应网络层的输出分辨率，所述网络固件为对所述预先训练的神经网络模型进行编译得到的，包括：
[0018]获取网络固件中存储的输出层网络名、编号以及其输出分辨率，所述网络固件为利用神经网络编译器对所述预先训练的神经网络模型进行编译得到的；
[0019]获取所述当前网络层的网络名与编号，并与所述输出层的网络名与编号进行比对，若一致，则将计算得到的输出分辨率赋值给所述输出层；
[0020]否则，逐层更新所述网络固件中存储的网络层输出分辨率。
[0021]作为优选，所述启动神经网络硬件以加速检测之后包括：
[0022]获取当前神经网络加速后的计算结果，并对所述计算结果进行图像后处理得到检测结果。
[0023]一种神经网络软硬件协同检测装置，包括：
[0024]运行模块，用于将第一目标图像输入预先训练的神经网络模型中进行前向运行，并计算神经网络当前网络层的输出分辨率；
[0025]替换模块，用于用计算得到的输出分辨率替换网络固件中存储的对应网络层的输出分辨率，所述网络固件为对所述预先训练的神经网络模型进行编译得到的；
[0026]配置模块，用于在所述网络固件中存储的网络层输出分辨率全部替换完成后，重新配置所述网络固件中的寄存器命令字，并启动神经网络硬件以加速检测。
[0027]作为优选，所述替换模块包括：
[0028]获取单元，用于获取网络固件中存储的输出层网络名、编号以及其输出分辨率，所述网络固件为利用神经网络编译器对所述预先训练的神经网络模型进行编译得到的；
[0029]比对单元，用于获取所述当前网络层的网络名与编号，并与所述输出层的网络名与编号进行比对，若一致，则将计算得到的输出分辨率赋值给所述输出层；
[0030]更新单元，用于否则，逐层更新所述网络固件中存储的网络层输出分辨率。
[0031]作为优选，所述装置还包括：
[0032]预处理模块，用于采集当前待检测图像，并利用前景提取算法从所述当前待检测图像中提取出第一目标图像及所述第一目标图像的位置，若所述第一目标图像的分辨率大于预设的神经网络模型最大输入分辨率，则将所述第一目标图像的分辨率调整为所述最大输入分辨率。
[0033]一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述中任一项所述的一种神经网络软硬件协同检测方法。
[0034]一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述中任一项所述的一种神经网络软硬件协同检测方法。
[0035]本申请具有如下有益效果：
[0036]本申请输入神经网络的分辨率可变，既能确保当前分辨率下有检测对象存在，由
于送网络分辨率更加小，不缩放的图像更加清晰，还提升了网络性能，减少带宽使用，并使得检测对象可以更加远，小目标只要满足网络训练分辨率都可以正常检测，采用这种软硬件协同检测方法，使得加速硬件发挥出最佳的性能与使用效果。
附图说明
[0037]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本申请实施例1实现一种神经网络软硬件协同检测方法的流程图；
[0039]图2是本申请实施例1中的网络固件内存布局图；
[0040]图3是本申请实施例3中实现一种神经网络软硬件协同检测装置的示意图；
[0041]图4是本申请实施例4中实现一种神经网络软硬件协同检测方法的电子设备示意图。
具体实施方式
[0042]下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络软硬件协同检测方法，其特征在于，包括以下步骤：将第一目标图像输入预先训练的神经网络模型中进行前向运行，并计算神经网络当前网络层的输出分辨率；用计算得到的输出分辨率替换网络固件中存储的对应网络层的输出分辨率，所述网络固件为对所述预先训练的神经网络模型进行编译得到的；在所述网络固件中存储的网络层输出分辨率全部替换完成后，重新配置所述网络固件中的寄存器命令字，并启动神经网络硬件以加速检测。2.根据权利要求1所述的一种神经网络软硬件协同检测方法，其特征在于，所述将第一目标图像输入预先训练的神经网络模型中进行前向运行，并计算神经网络当前网络层的输出分辨率之前包括：采集当前待检测图像，并利用前景提取算法从所述当前待检测图像中提取出第一目标图像及所述第一目标图像的位置，若所述第一目标图像的分辨率大于预设的神经网络模型最大输入分辨率，则将所述第一目标图像的分辨率调整为所述最大输入分辨率。3.根据权利要求1或2所述的一种神经网络软硬件协同检测方法，其特征在于，所述方法还包括：获取下一帧待检测图像，并对其进行预处理得到第二目标图像及所述第二目标图像的位置；计算所述第一目标图像位置与所述第二目标图像位置的交并比，若所述交并比小于预设阈值，则将所述第二目标图像输入所述预先训练的神经网络模型中。4.根据权利要求1所述的一种神经网络软硬件协同检测方法，其特征在于，所述用计算得到的输出分辨率替换网络固件中存储的对应网络层的输出分辨率，所述网络固件为对所述预先训练的神经网络模型进行编译得到的，包括：获取网络固件中存储的输出层网络名、编号以及其输出分辨率，所述网络固件为利用神经网络编译器对所述预先训练的神经网络模型进行编译得到的；获取所述当前网络层的网络名与编号，并与所述输出层的网络名与编号进行比对，若一致，则将计算得到的输出分辨率赋值给所述输出层；否则，逐层更新所述网络固件中存储的网络层输出分辨率。5.根据权利要求1所述的一种神经网络软硬件协同检测方法，其特征在于，所述启动...
【专利技术属性】
技术研发人员：王军，朱旭东，吴春选，
申请(专利权)人：杭州雄迈集成电路技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。