用于训练对象检测模型的方法及设备技术

本发明专利技术提供一种对象检测训练方法及对象检测训练设备。所述对象检测训练设备基于对象检测模型依据输入图像确定对象的姿态及尺寸以及各种视点处的限界框，并且基于损失来训练所述对象检测模型。

Method and equipment for training object detection model

【技术实现步骤摘要】
用于训练对象检测模型的方法及设备[相关申请的交叉参考]本申请主张2018年8月21日在韩国知识产权局提出申请的韩国专利申请第10-2018-0097170号的权利，所述韩国专利申请的全部公开内容出于所有目的并入本文供参考。
以下说明涉及一种训练对象检测模型的技术。
技术介绍
近来，为了解决将输入模式分类为预定群组的问题，正在积极地进行关于尝试将人类的有效模式识别方法应用到实际计算机的研究。所述研究包括对人工神经网络(artificialneuralnetwork，ANN)的研究，所述人工神经网络是通过由数学表达式对人类生物神经元的特性进行建模而获得的。为了解决上述问题，ANN采用模拟人类学习能力的算法。ANN使用所述算法生成输入模式与输出模式之间的映射，这表明ANN具有学习能力。此外，ANN具有基于训练结果来关于尚未用于训练的输入模式生成相对正确的输出的泛化能力。例如，自主车辆可以使用ANN来检测自主车辆前方的对象。
技术实现思路
提供本概述是为了以简化形式来介绍一系列概念，以下会在具体实施方式中进一步阐述所述概念。本概述并非旨在辨识所主张的主题的关键特征或基本特征，也不旨在用于帮助确定所主张主题的范围。在本文提供的一些实施例中，提供一种对象检测训练方法。在一些实施例中，所述方法包括：使用对象检测模型基于从输入图像提取的特征来估计对象的姿态及尺寸；依据所述姿态及所述尺寸计算三维(three-dimensional，3D)限界框；通过将所述3D限界框投影到第一投影图像来确定与所述对象对应的第一输出限界框；通过将所述3D限界框投影到第二投影图像来确定与所述对象对应的第二输出限界框；以及基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来训练所述对象检测模型，所述训练包括对所述第一输出限界框与所述第二输出限界框的融合运算。在所述方法的一些实施例中，确定所述第一输出限界框包括通过将所述3D限界框投影到鸟瞰图投影图像来确定与所述对象对应的鸟瞰图限界框。在所述方法的一些实施例中，确定所述第二输出限界框包括通过将所述3D限界框投影到透视投影图像来确定与所述对象对应的透视限界框。在所述方法的一些实施例中，所述估计所述对象的所述姿态及所述尺寸包括从i)与从所述输入图像检测到的所述对象对应的二维(two-dimensional，2D)限界框及ii)与所述2D限界框对应的裁剪图像提取特征。在所述方法的一些实施例中，训练所述对象检测模型包括：基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来计算损失；以及基于所述损失来训练所述对象检测模型，所述训练包括更新神经网络中的权重。在所述方法的一些实施例中，计算所述损失包括：基于所述第一输出限界框与第一参考限界框之间的交叠程度来计算第一损失；以及基于所述第二输出限界框与第二参考限界框之间的交叠程度来计算第二损失。在所述方法的一些实施例中，计算所述损失包括：基于指示所述对象的前面的前面框来确定目标框；以及基于所述目标框与参考框之间的交叠程度来计算透视限界框的损失。在所述方法的一些实施例中，估计所述对象的所述姿态及所述尺寸包括：基于从所述输入图像提取的所述特征来估计位置偏移；依据所述姿态及所述尺寸来估计初始位置；通过对所估计的所述初始位置应用所述位置偏移来确定输出位置；且计算所述损失是基于所确定的所述输出位置而进行。在所述方法的一些实施例中，估计所述姿态及所述尺寸包括基于从所述输入图像提取的所述特征来估计所估计的所述姿态及所估计的所述尺寸中的每一者的置信级。在所述方法的一些实施例中，估计所述对象的所述尺寸包括估计所述对象的宽度、长度及高度。还提供一种额外的对象检测训练方法，包括：使用对象检测模型基于从输入图像及深度图像提取的特征来估计对象的姿态；使用所述对象检测模型基于从所述输入图像及所述深度图像提取的所述特征来估计与所述对象对应的三维(3D)限界框；通过将所述3D限界框投影到投影图像来确定与所述对象对应的输出限界框；以及基于所述姿态、所述3D限界框及所述输出限界框来训练所述对象检测模型，所述训练包括对所述3D限界框与所述输出限界框的融合运算。确定所述输出限界框包括通过将所述3D限界框投影到透视投影图像来确定与所述对象对应的透视限界框。在所述额外的对象检测方法的一些实施例中，从所述输入图像及所述深度图像提取所述特征是基于由区域建议网络(regionproposalnetwork，RPN)计算的区域而进行。在所述额外的对象检测方法的一些实施例中，训练所述对象检测模型包括：基于所述姿态、所述3D限界框及所述输出限界框来计算损失；以及基于所述损失来训练所述对象检测模型，所述训练包括更新神经网络中的权重。在所述额外的对象检测方法的一些实施例中，计算所述损失包括基于所述输出限界框与参考限界框之间的交叠程度来计算所述输出限界框的损失。在所述额外的对象检测方法的一些实施例中，计算所述损失包括：依据与所述对象对应的透视限界框基于指示所述对象的前面的前面框来确定目标框；以及基于所述目标框与参考框之间的交叠程度来计算所述透视限界框的损失。在所述额外的对象检测方法的一些实施例中，估计所述姿态及所述3D限界框包括估计至少部分地界定所述3D限界框的点的位置。在所述额外的对象检测方法的一些实施例中，估计所述姿态及所述3D限界框是基于与鸟瞰图对应的深度图像而进行。在所述额外的对象检测方法的一些实施例中，对所述第一输出限界框与所述第二输出限界框的所述融合运算包括通过辨识通过裁剪所述第一输出限界框而获得及通过裁剪所述第二输出限界框而获得的特征来提取特征。本文还提供一种对象检测训练设备，包括：存储器，被配置成存储对象检测模型；以及处理器，被配置成：使用所述对象检测模型基于从输入图像提取的特征来估计对象的姿态及尺寸，依据所述姿态及所述尺寸来计算三维(3D)限界框，通过将所述3D限界框投影到第一投影图像来确定与所述对象对应的第一输出限界框，通过将所述3D限界框投影到第二投影图像来确定与所述对象对应的第二输出限界框，以及基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框且进一步基于对所述第一输出限界框与所述第二输出限界框的融合运算来训练所述对象检测模型。在一个一般方面中，一种对象检测训练方法包括：使用对象检测模型基于从输入图像提取的特征来估计对象的姿态及尺寸，通过将依据所述姿态及所述尺寸计算的三维(3D)限界框投影到第一投影图像来确定与所述对象对应的第一输出限界框，通过将所计算的所述3D限界框投影到第二投影图像来确定与所述对象对应的第二输出限界框，且基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来训练所述对象检测模型。确定所述第一输出限界框可包括通过将所计算的所述3D限界框投影到鸟瞰图投影图像来确定与所述对象对应的鸟瞰图限界框。确定所述第二输出限界框可包括通过将所计算的所述3D限界框投影到透视投影图本文档来自技高网...

【技术保护点】
1.一种对象检测训练方法，包括：/n使用对象检测模型基于从输入图像提取的特征来估计对象的姿态及尺寸；/n依据所述姿态及所述尺寸计算三维限界框；/n通过将所述三维限界框投影到第一投影图像来确定与所述对象对应的第一输出限界框；/n通过将所述三维限界框投影到第二投影图像来确定与所述对象对应的第二输出限界框；以及/n基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来训练所述对象检测模型，所述训练包括对所述第一输出限界框与所述第二输出限界框的融合运算。/n

【技术特征摘要】
20180821 KR 10-2018-00971701.一种对象检测训练方法，包括：
使用对象检测模型基于从输入图像提取的特征来估计对象的姿态及尺寸；
依据所述姿态及所述尺寸计算三维限界框；
通过将所述三维限界框投影到第一投影图像来确定与所述对象对应的第一输出限界框；
通过将所述三维限界框投影到第二投影图像来确定与所述对象对应的第二输出限界框；以及
基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来训练所述对象检测模型，所述训练包括对所述第一输出限界框与所述第二输出限界框的融合运算。


2.根据权利要求1所述的对象检测训练方法，其中确定所述第一输出限界框包括通过将所述三维限界框投影到鸟瞰图投影图像来确定与所述对象对应的鸟瞰图限界框。


3.根据权利要求1所述的对象检测训练方法，其中确定所述第二输出限界框包括通过将所述三维限界框投影到透视投影图像来确定与所述对象对应的透视限界框。


4.根据权利要求1所述的对象检测训练方法，其中估计所述对象的所述姿态及所述尺寸包括从i)与从所述输入图像检测到的所述对象对应的二维限界框及ii)与所述二维限界框对应的裁剪图像提取特征。


5.根据权利要求1所述的对象检测训练方法，其中训练所述对象检测模型包括：
基于所述姿态、所述尺寸、所述第一输出限界框及所述第二输出限界框来计算损失；以及
基于所述损失来训练所述对象检测模型，所述训练包括更新神经网络中的权重。


6.根据权利要求5所述的对象检测训练方法，其中计算所述损失包括：
基于所述第一输出限界框与第一参考限界框之间的交叠程度来计算第一损失；以及
基于所述第二输出限界框与第二参考限界框之间的交叠程度来计算第二损失。


7.根据权利要求5所述的对象检测训练方法，其中计算所述损失包括：
基于指示所述对象的前面的前面框来确定目标框；
以及
基于所述目标框与参考框之间的交叠程度来计算透视限界框的损失。


8.根据权利要求5所述的对象检测训练方法，其中
估计所述对象的所述姿态及所述尺寸包括：
基于从所述输入图像提取的所述特征来估计位置偏移；
依据所述姿态及所述尺寸来估计初始位置；
通过对所估计的所述初始位置应用所述位置偏移来确定输出位置；且
计算所述损失是基于所确定的所述输出位置而进行。


9.根据权利要求1所述的对象检测训练方法，其中估计所述姿态及所述尺寸包括基于从所述输入图像提取的所述特征来估计所估计的所述姿态及所估计的所述尺寸中的每一者的置信级。


10.根据权利要求1所述的对象检测训练方法，其中估计所述对象的所述尺寸包括估计所述对象的宽度、长度及高度。...

【专利技术属性】
技术研发人员：崔熙旼，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR