训练方法、图像特征提取方法、图像识别方法及装置制造方法及图纸

本公开涉及神经网络的训练方法、图像特征提取方法、图像识别方法及装置、电子设备和存储介质，所述神经网络的训练方法包括：将车辆样本图像输入车辆识别网络，得到车辆样本特征以及车辆分类结果；将车牌样本图像输入车牌识别网络，得到车牌样本特征以及车牌分类结果；根据车辆样本特征、车辆分类结果以及车牌分类结果中的至少一种，确定车辆训练损失；根据车牌样本特征、车牌分类结果以及车辆分类结果中的至少一种，确定车牌训练损失；根据车辆训练损失以及车牌训练损失，优化车辆识别网络以及车牌识别网络。本公开实施例可实现提高训练后的车辆识别网络及车牌识别网络提取特征的精度。

【技术实现步骤摘要】
训练方法、图像特征提取方法、图像识别方法及装置
本公开涉及计算机
，尤其涉及神经网络的训练方法、图像特征提取方法、图像识别方法及装置、电子设备和存储介质。
技术介绍
车辆重识别是智能交通、高速缉逃等领域的一项重要技术。车辆重识别指的是判断不同摄像头拍摄下的视频或图像中的车辆，是否为同一辆车。因为不同摄像头拍摄的角度、光线、分辨率等因素，以及车速不固定产生的运动模糊等原因，通过识别车牌字符来对车辆进行识别的方式，存在识别准确率低等问题。
技术实现思路
本公开提出了神经网络的训练、图像特征提取及图像识别的技术方案。根据本公开的一方面，提供了一种神经网络的训练方法，所述神经网络包括车辆识别网络以及车牌识别网络，所述方法包括：将车辆样本图像输入所述车辆识别网络，得到车辆样本特征以及车辆分类结果；将车牌样本图像输入所述车牌识别网络，得到车牌样本特征以及车牌分类结果，其中，所述车牌样本图像为所述车辆样本图像中车牌所在区域的图像；根据所述车辆样本特征、所述车辆分类结果以及所述车牌分类结果中的至少一种，确定车辆训练损失；根据所述车牌样本特征、所述车牌分类结果以及所述车辆分类结果中的至少一种，确定车牌训练损失；根据所述车辆训练损失以及所述车牌训练损失，优化所述车辆识别网络以及所述车牌识别网络。在一种可能的实现方式中，所述车辆训练损失包括以下至少一种：基于所述车辆样本特征确定的车辆度量损失，基于所述车辆分类结果与所述车牌分类结果确定的蒸馏损失，以及基于所述车辆分类结果确定的车辆分类损失；所述车牌训练损失包括以下至少一种：基于所述车牌样本特征确定的车牌度量损失，所述基于所述车辆分类结果与所述车牌分类结果确定的蒸馏损失，以及基于所述车牌分类结果确定的车牌分类损失。在一种可能的实现方式中，根据所述车辆样本特征、所述车辆分类结果以及所述车牌分类结果中的至少一种，确定车辆训练损失，包括：根据所述车辆分类结果与所述车牌分类结果之间的相对熵，确定所述蒸馏损失；和/或，根据所述车辆分类结果与所述车辆样本图像的车辆分类标签之间的差异，确定所述车辆分类损失；和/或，根据所述车辆样本特征与所述车辆样本图像的车辆相似标签之间的差异，确定所述车辆度量损失；其中，所述车辆分类标签用于指示所述车辆样本图像中车辆的类别，所述车辆相似标签用于指示与所述车辆样本图像相似度最高的样本图像的特征以及与所述车辆样本图像相似度最低的样本图像的特征。在一种可能的实现方式中，根据所述车牌样本特征、所述车牌分类结果以及所述车辆分类结果中的至少一种，确定车牌训练损失，包括：根据所述车辆分类结果与所述车牌分类结果之间的相对熵，确定所述蒸馏损失；和/或，根据所述车牌分类结果与所述车牌样本图像的车牌分类标签之间的差异，确定所述车牌分类损失；和/或，根据所述车牌样本特征与所述车牌样本图像的车牌相似标签之间的差异，确定所述车牌度量损失；其中，所述车牌分类标签用于指示所述车牌样本图像中车牌的类别，所述车牌相似标签用于指示与所述车牌样本图像相似度最高的样本图像的特征以及与所述车牌样本图像相似度最低的样本图像的特征。在一种可能的实现方式中，所述车辆样本图像包括针对同一车辆的多个车辆图像；所述车牌样本图像是所述车辆样本图像中车牌所在区域的图像。根据本公开的一方面，提供了一种图像特征提取方法，所述方法包括：获取待识别的车辆图像；将所述待识别的车辆图像输入神经网络，通过所述神经网络提取出所述车辆图像的车辆特征和/或车牌特征；其中，所述神经网络通过如上任一项神经网络的训练方法训练得到。根据本公开的一方面，提供了一种图像识别方法，所述方法包括：获取待识别的车辆图像，所述车辆图像包含车牌区域的车牌图像；根据从所述车辆图像中提取的车辆特征和/或车牌特征，确定所述车辆图像的识别结果；其中，所述车辆特征通过如上任一项神经网络的训练方法训练得到的车辆识别网络从所述车辆图像中提取；所述车牌特征通过如上任一项神经网络的训练方法训练得到的车牌识别网络从所述车辆图像中提取。在一种可能的实现方式中，根据从所述车辆图像中提取的车辆特征和/或车牌特征，确定所述车辆图像的识别结果，包括：将所述车辆特征与所述车牌特征进行融合，得到融合特征；根据所述融合特征，确定所述车辆图像的识别结果。在一种可能的实现方式中，根据所述融合特征，确定所述车辆图像的识别结果，包括：确定目标库中是否存在与所述融合特征对应的第一匹配特征；在所述目标库中存在与所述融合特征对应的第一匹配特征情况下，将与所述第一匹配特征对应的车辆标识，确定为所述识别结果。在一种可能的实现方式中，根据从所述车辆图像中提取的车辆特征和/或车牌特征，确定所述车辆图像的识别结果，还包括：在车牌库中存在与所述车牌特征对应的第二匹配特征的情况下，将与所述第二匹配特征对应的车牌标识，确定为所述识别结果；和/或，在车辆库中存在与所述车辆特征对应的第三匹配特征的情况下，将与所述第三匹配特征对应的车辆标识，确定为所述识别结果。根据本公开的一方面，提供了一种神经网络的训练装置，所述神经网络包括车辆识别网络以及车牌识别网络，所述装置包括：第一处理模块，用于将车辆样本图像输入所述车辆识别网络，得到车辆样本特征以及车辆分类结果；第二处理模块，用于将车牌样本图像输入所述车牌识别网络，得到车牌样本特征以及车牌分类结果，其中，所述车牌样本图像为所述车辆样本图像中车牌所在区域的图像；车辆训练损失确定模块，用于根据所述车辆样本特征、所述车辆分类结果以及所述车牌分类结果中的至少一种，确定车辆训练损失；车牌训练损失确定模块，用于根据所述车牌样本特征、所述车牌分类结果以及所述车辆分类结果中的至少一种，确定车牌训练损失；优化模块，用于根据所述车辆训练损失以及所述车牌训练损失，优化所述车辆识别网络以及所述车牌识别网络。在一种可能的实现方式中，所述车辆训练损失包括以下至少一种：基于所述车辆样本特征确定的车辆度量损失，基于所述车辆分类结果与所述车牌分类结果确定的蒸馏损失，以及基于所述车辆分类结果确定的车辆分类损失；所述车牌训练损失包括以下至少一种：基于所述车牌样本特征确定的车牌度量损失，所述基于所述车辆分类结果与所述车牌分类结果确定的蒸馏损失，以及基于所述车牌分类结果确定的车牌分类损失。在一种可能的实现方式中，车辆训练损失确定模块，包括：蒸馏损失确定子模块，用于根据所述车辆分类结果与所述车牌分类结果之间的相对熵，确定所述蒸馏损失；和/或，车辆分类损失确定子模块，用于根据所述车辆分类结果与所述车辆样本图像的车辆分类标签之间的差异，确定所述车辆分类损失；和/或，车辆度量损失确定子模块，用于根据所述车辆样本特征与所述车辆样本图像的车辆相似标签之间的差异，确定所述车辆度量损失；其中，所述车辆分类标签用于指示所述车辆样本图像中车辆的类别，所述车辆相似标签用于指示与所述车辆样本图像相似度最高的样本图像的特征以及与所述车辆样本图像相似度最低的样本图像的特征。在一种可能的实现方式中，车牌损失确定模块，包括：所述蒸馏损失确定子模块，用于根据所述车辆分类本文档来自技高网...

【技术保护点】
1.一种神经网络的训练方法，所述神经网络包括车辆识别网络以及车牌识别网络，其特征在于，所述方法包括：/n将车辆样本图像输入所述车辆识别网络，得到车辆样本特征以及车辆分类结果；/n将车牌样本图像输入所述车牌识别网络，得到车牌样本特征以及车牌分类结果，其中，所述车牌样本图像为所述车辆样本图像中车牌所在区域的图像；/n根据所述车辆样本特征、所述车辆分类结果以及所述车牌分类结果中的至少一种，确定车辆训练损失；/n根据所述车牌样本特征、所述车牌分类结果以及所述车辆分类结果中的至少一种，确定车牌训练损失；/n根据所述车辆训练损失以及所述车牌训练损失，优化所述车辆识别网络以及所述车牌识别网络。/n

【技术特征摘要】
1.一种神经网络的训练方法，所述神经网络包括车辆识别网络以及车牌识别网络，其特征在于，所述方法包括：
将车辆样本图像输入所述车辆识别网络，得到车辆样本特征以及车辆分类结果；
将车牌样本图像输入所述车牌识别网络，得到车牌样本特征以及车牌分类结果，其中，所述车牌样本图像为所述车辆样本图像中车牌所在区域的图像；
根据所述车辆样本特征、所述车辆分类结果以及所述车牌分类结果中的至少一种，确定车辆训练损失；
根据所述车牌样本特征、所述车牌分类结果以及所述车辆分类结果中的至少一种，确定车牌训练损失；
根据所述车辆训练损失以及所述车牌训练损失，优化所述车辆识别网络以及所述车牌识别网络。


2.根据权利要求1所述的方法，其特征在于，所述车辆训练损失包括以下至少一种：基于所述车辆样本特征确定的车辆度量损失，基于所述车辆分类结果与所述车牌分类结果确定的蒸馏损失，以及基于所述车辆分类结果确定的车辆分类损失；
所述车牌训练损失包括以下至少一种：基于所述车牌样本特征确定的车牌度量损失，所述基于所述车辆分类结果与所述车牌分类结果确定的蒸馏损失，以及基于所述车牌分类结果确定的车牌分类损失。


3.根据权利要求1或2所述的方法，其特征在于，根据所述车辆样本特征、所述车辆分类结果以及所述车牌分类结果中的至少一种，确定车辆训练损失，包括：
根据所述车辆分类结果与所述车牌分类结果之间的相对熵，确定所述蒸馏损失；和/或，
根据所述车辆分类结果与所述车辆样本图像的车辆分类标签之间的差异，确定所述车辆分类损失；和/或，
根据所述车辆样本特征与所述车辆样本图像的车辆相似标签之间的差异，确定所述车辆度量损失；
其中，所述车辆分类标签用于指示所述车辆样本图像中车辆的类别，所述车辆相似标签用于指示与所述车辆样本图像相似度最高的样本图像的特征以及与所述车辆样本图像相似度最低的样本图像的特征。


4.根据权利要求1-3任一项所述的方法，其特征在于，根据所述车牌样本特征、所述车牌分类结果以及所述车辆分类结果中的至少一种，确定车牌训练损失，包括：
根据所述车辆分类结果与所述车牌分类结果之间的相对熵，确定所述蒸馏损失；和/或，
根据所述车牌分类结果与所述车牌样本图像的车牌分类标签之间的差异，确定所述车牌分类损失；和/或，
根据所述车牌样本特征与所述车牌样本图像的车牌相似标签之间的差异，确定所述车牌度量损失；
其中，所述车牌分类标签用于指示所述车牌样本图像中车牌的类别，所述车牌相似标签用于指示与所述车牌样本图像相似度最高的样本图像的特征以及与所述车牌样本图像相似度最低的样本图像的特征。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述车辆样本图像包括针对同一车辆的多个车辆图像；所述车牌样本图像是所述车辆样本图像中车牌所在区域的图像。


6.一种图像特征提取方法，其特征在于，所述方法包括：
获取待识别的车辆图像；
将所述待识别的车辆图像输入神经网络，通过所述神经网络提取出所述车辆图像的车辆特征和/或车牌特征；其中，所述神经网络通过所述权利要求1-5任一项所述的方法训练得到。


7.一种图像识别方法，其特征在于，所述方法包括：
获取待识别的车辆图像，所述车辆图像包含车牌区域的车牌图像；
根据从所述车辆图像中提取的车辆特征和/或车牌特征，确定所述车辆图像的识别结果；
其中，所述车辆特征通过所...

【专利技术属性】
技术研发人员：杨钰鑫，何智群，朱铖恺，武伟，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33