对象识别及对象识别网络的训练方法和装置、电子设备制造方法及图纸

本发明专利技术实施例公开了一种对象识别及对象识别网络的训练方法和装置、电子设备，其中，训练方法包括：利用对象识别网络，分别对多个角度的对象图像进行特征提取，对每个对象对应的多个角度的对象图像的特征进行融合，得到融合特征，基于融合特征进行对象识别，得到融合特征对应的多个角度的对象图像的对象识别结果；基于至少一个对象的对象识别结果与标注信息之间的差异，对对象识别网络进行训练。本发明专利技术实施例可以利用至少一个对象中每个对象对应的多个角度的对象图像对对象识别网络进行训练，从而提高对象识别的准确性和识别效率。

Training method and device for object recognition and object recognition network, and electronic equipment

The embodiment of the invention discloses a training method and device of an object recognition and object recognition network, and an electronic device. The training method includes: using the object recognition network, the object images of multiple angles are separately extracted, and the features of the object images of multiple angles corresponding to each object are fused. The fusion features are obtained, and the object recognition results of multi-angle object images corresponding to the fusion features are obtained. The object recognition network is trained based on the difference between the object recognition results of at least one object and the annotation information. The embodiment of the invention can train the object recognition network by using the object images of multiple angles corresponding to each object in at least one object, thereby improving the accuracy and recognition efficiency of the object recognition.

【技术实现步骤摘要】
对象识别及对象识别网络的训练方法和装置、电子设备
本专利技术涉及人工智能技术，尤其是一种对象识别及对象识别网络的训练方法和装置、电子设备。
技术介绍
近几年，深度学习在计算机视觉领域的各个任务上都被广泛应用。脸识别作为很有市场价值的计算机视觉任务，一直是计算视觉领域研究的热门方向，近些年被广泛应用到互联网金融、安防、公安、民航、海关等多个行业。在进入深度学习的时代之后，神经网络在各种对象识别(例如，人脸识别)上取得了重大的突破。
技术实现思路
本专利技术实施例提供一种对象识别技术方案。根据本专利技术实施例的一个方面，提供的一种对象识别网络的训练方法，包括：利用对象识别网络，分别对多个角度的对象图像进行特征提取；利用所述对象识别网络，对每个对象对应的多个角度的对象图像的特征进行融合，得到融合特征；利用所述对象识别网络，基于所述融合特征进行对象识别，得到所述融合特征对应的多个角度的对象图像的对象识别结果；基于至少一个对象的对象识别结果与标注信息之间的差异，对所述对象识别网络进行训练。可选地，在上述各实施例的训练方法中，还包括：分别针对所述至少一个对象中的每个对象，获取每个对象对应的所述多个角度的对象图像。可选地，在上述各实施例的训练方法中，所述获取每个对象对应的所述多个角度的对象图像，包括：分别基于所述每个对象的正面图像，生成每个对象的至少一个其他角度的对象图像，所述每个对象对应的多个角度的对象图像包括所述正面图像和所述至少一个其他角度的对象图像。可选地，在上述各实施例的训练方法中，所述基于所述每个对象的正面图像，生成每个对象的至少一个其他角度的对象图像，包括：分别以每个对象作为目标对象，对目标对象的正面图像进行对象关键点检测；基于检测到的正面图像的对象关键点，通过三维对象模型对所述目标对象进行旋转，生成所述目标对象的至少一个其他角度的对象图像。可选地，在上述各实施例的训练方法中，所述基于检测到的正面图像的对象关键点，通过三维对象模型对所述目标对象进行旋转，生成所述目标对象的至少一个其他角度的对象图像，包括：基于预先设置的二维对象关键点和三维对象模型上的三维对象关键点之间的对应关系，将所述目标对象的正面图像渲染为正面三维对象；利用旋转矩阵分别将所述三维对象旋转至少一个角度，获得至少一个角度的三维对象；利用三维到二维的映射矩阵，将所述至少一个角度的三维对象分别映射为二维的所述至少一个其他角度的对象图像。可选地，在上述各实施例的训练方法中，每个对象对应的多个角度的对象图像中对象与所述多个角度的对象图像中正面图像中对象之间的平面夹角包括：0°～±90°。可选地，在上述各实施例的训练方法中，每个对象对应的多个角度的对象图像中，各角度的对象图像的数量相同。可选地，在上述各实施例的训练方法中，所述对每个对象对应的多个角度的对象图像的特征进行融合，包括：分别获取所述每个对象对应的多个角度的对象图像的特征中，各角度的对象图像的特征与其注意力权重的乘积；将基于所述每个对象对应的多个角度的对象图像的特征获得的乘积进行拼接，得到所述融合特征。可选地，在上述各实施例的训练方法中，所述对每个对象对应的多个角度的对象图像的特征进行融合之前，还包括：获取每个对象对应的多个角度的对象图像的特征的注意力权重。可选地，在上述各实施例的训练方法中，所述每个对象对应的多个角度的对象图像中，正面图像的特征的注意力权重大于其他角度的对象图像的特征的注意力权重。可选地，在上述各实施例的训练方法中，每个对象对应的多个角度的角度数量为M，其中，M的取值为大于1的整数；获取一个对象对应的多个角度的对象图像的特征的注意力权重，包括：将所述一个对象对应的M个角度的对象图像的特征在通道维度上进行拼接，得到拼接特征；分别将所述拼接特征中各种角度的特征的通道数降低为原通道数的1/M；获取所述拼接特征的注意力权重得分图；其中，所述注意力权重得分图的通道数为M，每个通道的注意力权重得分图分别表示该通道对应角度的特征的重要程度概率的得分；分别将每个通道的注意力权重得分图恢复为对应角度的特征的原通道数。可选地，在上述各实施例的训练方法中，每个对象对应的多个角度的角度数量为M，其中，M的取值为大于1的整数；获取一个对象对应的多个角度的对象图像的特征的注意力权重，包括：分别将所述一个对象对应的M个角度的对象图像的特征的通道数降低为原通道数的1/M；将通道数降低为原通道数的1/M的M个角度的对象图像的特征在通道维度上进行拼接，得到拼接特征；分别将所述拼接特征中各种角度的特征的通道数降低为原通道数的1/M；获取所述拼接特征的注意力权重得分图；其中，所述注意力权重得分图的通道数为M，每个通道的注意力权重得分图分别表示该通道对应角度的特征的重要程度概率的得分；分别将每个通道的注意力权重得分图恢复为对应角度的特征的原通道数。可选地，在上述各实施例的训练方法中，所述对象识别结果包括：分类结果信息；所述标注信息包括：所述每个对象对应的多个角度的对象图像中至少一个角度的对象图像标注的类别信息。可选地，在上述各实施例的训练方法中，所述对象包括：人脸；所述对象图像包括：人脸图像。根据本专利技术实施例的另一个方面，提供的一种对象识别方法，包括：利用对象识别网络，对对象图像进行对象识别，得到所述对象图像的对象识别结果；其中，所述对象识别网络基于本专利技术上述任一实施例所述的训练方法训练得到。根据本专利技术实施例的又一个方面，提供的一种对象识别网络的训练装置，包括：对象识别网络，用于分别对多个角度的对象图像进行特征提取；对每个对象对应的多个角度的对象图像的特征进行融合，得到融合特征；以及基于所述融合特征进行对象识别，得到所述融合特征对应的多个角度的对象图像的对象识别结果；训练模块，用于基于至少一个对象的对象识别结果与标注信息之间的差异，对所述对象识别网络进行训练。可选地，在上述各实施例的训练装置中，还包括：获取模块，用于分别针对所述至少一个对象中的每个对象，获取每个对象对应的所述多个角度的对象图像。可选地，在上述各实施例的训练装置中，所述获取模块具体用于：分别基于所述每个对象的正面图像，生成每个对象的至少一个其他角度的对象图像，所述每个对象对应的多个角度的对象图像包括所述正面图像和所述至少一个其他角度的对象图像。可选地，在上述各实施例的训练装置中，所述获取模块包括：关键点检测单元，用于分别以每个对象作为目标对象，对目标对象的正面图像进行对象关键点检测；生成单元，用于基于检测到的正面图像的对象关键点，通过三维对象模型对所述目标对象进行旋转，生成所述目标对象的至少一个其他角度的对象图像。可选地，在上述各实施例的训练装置中，所述生成单元具体用于：基于预先设置的二维对象关键点和三维对象模型上的三维对象关键点之间的对应关系，将所述目标对象的正面图像渲染为正面三维对象；利用旋转矩阵分别将所述三维对象旋转至少一个角度，获得至少一个角度的三维对象；利用三维到二维的映射矩阵，将所述至少一个角度的三维对象分别映射为二维的所述至少一个其他角度的对象图像。可选地，在上述各实施例的训练装置中，每个对象对应的多个角度的对象图像中对象与所述多个角度的对象图像中正面图像中对象之间的平面夹角包括：0°～±90°。可选地，在上述各实施例的训练装置中，每本文档来自技高网...

【技术保护点】
1.一种对象识别网络的训练方法，其特征在于，包括：利用对象识别网络，分别对多个角度的对象图像进行特征提取；利用所述对象识别网络，对每个对象对应的多个角度的对象图像的特征进行融合，得到融合特征；利用所述对象识别网络，基于所述融合特征进行对象识别，得到所述融合特征对应的多个角度的对象图像的对象识别结果；基于至少一个对象的对象识别结果与标注信息之间的差异，对所述对象识别网络进行训练。

【技术特征摘要】
1.一种对象识别网络的训练方法，其特征在于，包括：利用对象识别网络，分别对多个角度的对象图像进行特征提取；利用所述对象识别网络，对每个对象对应的多个角度的对象图像的特征进行融合，得到融合特征；利用所述对象识别网络，基于所述融合特征进行对象识别，得到所述融合特征对应的多个角度的对象图像的对象识别结果；基于至少一个对象的对象识别结果与标注信息之间的差异，对所述对象识别网络进行训练。2.根据权利要求1所述的方法，其特征在于，还包括：分别针对所述至少一个对象中的每个对象，获取每个对象对应的所述多个角度的对象图像。3.根据权利要求2所述的方法，其特征在于，所述获取每个对象对应的所述多个角度的对象图像，包括：分别基于所述每个对象的正面图像，生成每个对象的至少一个其他角度的对象图像，所述每个对象对应的多个角度的对象图像包括所述正面图像和所述至少一个其他角度的对象图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述每个对象的正面图像，生成每个对象的至少一个其他角度的对象图像，包括：分别以每个对象作为目标对象，对目标对象的正面图像进行对象关键点检测；基于检测到的正面图像的对象关键点，通过三维对象模型对所述目标对象进行旋转，生成所述目标对象的至少一个其他角度的对象图像。5.一种对象识别方法，其特征在于，包括：利用对象识别网络，对对象图像进行人脸识别，得到所述对象图像的对象识别结果；其中，所述对象识别网络基...

【专利技术属性】
技术研发人员：王飞，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11