多层神经网络模型的训练和应用方法、装置及存储介质制造方法及图纸

本公开提供一种多层神经网络模型的训练和应用方法、装置及存储介质。本公开利用网络模型中的多层的输出特征图进行目标识别，来提高目标识别的精度。

【技术实现步骤摘要】
多层神经网络模型的训练和应用方法、装置及存储介质
本公开涉及一种针对多层神经网络的建模领域，尤其涉及一种利用多层神经网络模型进行的多任务应用。
技术介绍
近年来，基于建模的多层神经网络模型已被广泛地应用在计算机业务中，诸如人脸检测、车辆检测等。在这些对目标(人脸、车辆)的检测业务中，确定目标在图像中的位置对于后续针对目标的属性识别、目标的特征点识别等目标识别业务是十分重要的。在传统的方法中，需要针对不同的业务分别训练网络模型，例如，需要针对人脸检测和人脸识别分别训练网络模型，并且人脸检测网络模型的输出要进行重新匹配后才能作为人脸识别网络模型的输入，这些都会对网络模型的简化以及业务精度造成负面影响。对此，业界提出了一种可执行多任务的网络模型，该多任务的网络模型可同时执行多种任务，从而使要使用的可学习参数的数量更少、以更小的计算量和更高的精度实现多任务。图1(a)示出了一种基于深度学习的可执行多任务的网络模型，以人体检测为例，如图1(b)的流程图所示，当原始图像输入到该网络模型中时，图像以特征图的形式在该网络模型中进行前向传播，提取出第N层本文档来自技高网...

【技术保护点】
1.一种多层神经网络模型的应用方法，其特征在于，所述应用方法包括：/n基于向多层神经网络模型输入的图像，提取所述网络模型中的至少两层的输出特征图；/n根据预先确定的候选区域框，获得提取的各输出特征图中对应同一目标的子区域特征图；/n利用获得的多个子区域特征图进行目标识别。/n

【技术特征摘要】
1.一种多层神经网络模型的应用方法，其特征在于，所述应用方法包括：
基于向多层神经网络模型输入的图像，提取所述网络模型中的至少两层的输出特征图；
根据预先确定的候选区域框，获得提取的各输出特征图中对应同一目标的子区域特征图；
利用获得的多个子区域特征图进行目标识别。


2.根据权利要求1所述的应用方法，其中，利用获得的多个子区域特征图进行目标识别，具体包括：
将获得的多个子区域特征图进行融合，利用融合后的子区域特征图进行目标识别。


3.根据权利要求2所述的应用方法，其中，将获得的多个子区域特征图进行融合，具体包括：
将获得的多个子区域特征图的尺寸进行调整，使调整后的子区域特征图的尺寸相同；
将尺寸调整后的多个子区域特征图以串接的方式融合成一个子区域特征图；或者
在不同层的子区域特征图的通道数相同时，按照特征图逐位相加的方式将尺寸调整后的多个子区域特征图融合成一个子区域特征图。


4.根据权利要求2所述的应用方法，其中，所述多层神经网络模型是能够执行目标检测任务和目标识别任务的网络模型；
所述应用方法还包括：
利用融合后的子区域特征图进行目标检测。


5.根据权利要求1所述的应用方法，其中，提取输出特征图的至少两层是网络模型的中间层。


6.一种多层神经网络模型的训练方法，其特征在于，所述网络模型包括第一子网络和第二子网络，所述第一子网络和第二子网络分别包括至少一层，且第一子网络在网络模型中的层级高于第二子网络；所述网络模型还包括进行目标检测的第三子网络和进行目标识别的第四子网络；
所述训练方法包括：
将第二子网络的输出特征图输入到所述第三子网络，根据第三子网络的目标检测结果和预先确定的检测真值来训练所述第一子网络、第二子网络和第三子网络；
将所述第一子网络的输出特征图输入到所述第四子网络，根据第四子网络的目标识别结果和预先确定的识别真值来训练所述第四子网络。


7.根据权利要求6所述的训练方法，其中，所述第一子网络包括第一部分和第二部分，其中，第一部分在网络模型中的层级高于第二部分；所述第四子网络包括特征点检测子网络和属性检测子网络；
将第一子网络中第一部分的输出特征图输入到特征点检测子网络中，根据特征点检测子网络的特征点检测结果和预先确定的特征点真值来训练所述特征点检测子网络；
将第一子网络中第二部分的输出特征图输入到属性检测子网络中，根据属性检测子网络的属性检测结果和预先确定的属性真值来训练所述属性检测子网络。


8.一种多层神经网络模型的应用方法，其特征在于，所述网络模型包括第一子网络和第二子网络，所述第一子网络和第二子网络分别包括至少一层，且第一子网络在网络模型中的层级高于第二子网络；所述网络模型还包括进行目标检测的第三子网络和进行目标识别的第四子网络；
所述应用方法包括：
将第二子网络的输出特征图输入至第三子网络，以使第三子网络基于接收到的特征图进行目标检测任务；
将第一子网络输出的输出特征图输入至第四子网络，以使第四子网络基于接收到的特征图进行目标识别任务。


9.根据权利要求8所述的应用方法，其中，所述第一子网络包括第一部分和第二部分，其中，第一部分在网络模型中的层级高于第二部分；所述第四子网络包括特征点检测子网络和属性检测子网络；
将第一子网络中第一部分的输出特征图输入至特征点检测子网络，以使特征点检测子网络基于接收到的特征图进行目标的特征点检测；
将第一子网络中第二部分的输出特征图输入至属性检测子网络，以使属性检测子网络基于接收到的特征图进行目标的属性检测。


10.一种多层神经网络模型的应用方法，其特征在于，
为待识别的图像中的目标确定多个候选区域框；
基于确定的多个候选区域框中的、针对同一目标的至少两个候选区域框，提取出对应的子区域特征图；
利用提取的子区域特征图进行目标识别；
将进行目标识别的识别结果进行融合，并将融合后的识别结果作为最终的识别结果。


11.根据权利要求10所述的应用方法，其中，所述应用方法还包括：
对确定的候选区域框进行分组，其中，同一组中的多个候选区域框对应相同的目标；
基于确定的所述多个候选区域框提取出对应的子区域特征图，并利用提取的子区域特征图进行目标识别；
根据分组，将基于同一组内的候选区域框提取出的子区域特征图进行目标识别的识别结果进行融合，并将融合后的识别结果作为最终的识别结果。


12.根据权利要求10所述的应用方法，其中，在所述目标识别为特征点检测、目标识别的识别结果为特征点的坐标值时，利用对同一特征点的坐标值取平均的方式进行融合；或者，
在所述目标识别为特征点检测、目标识别的识别结果为特征图的像素值时，在特征图的通道数相同的情况下，利用特征图逐位相加的方式进行融合。


13.根据权利要求10所述的应用方法，其中，在所述目标识别为属性检测、目标识别的识别结果为提取的多个子区域特征图的属性预测结果时，利用多个属性预测结果取平均的方式进行融合。


14.一种多层神经网络模型的应用装置，其特征在于，所述应用装置包括：
特征图提取单元，其被构造为基于向多层神经网络模型输入的图像，提取所述网络模型中的至少两层的输出特征图；
子区域特征图获取单元，其被构造为根据预先确定的候选区域框，获得提取的各输出特征图中对应同一目标的子区域特征图；
目标识别单元，其被构造为利用获得的多个子区域特征图进行目标识别。


...

【专利技术属性】
技术研发人员：李岩，黄耀海，赵东悦，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP