偏移补偿模型训练方法、图像中目标对象位置确定方法技术

本公开实施例公开了一种偏移补偿模型训练方法、图像中目标对象位置确定方法，其中，方法包括：获取样本图像集；之后基于样本图像集，利用待训练的偏移补偿模型，得到样本图像中所述目标对象的去畸变偏移补偿预测信息；基于预设的第一损失函数，确定去畸变偏移补偿预测信息和样本图像中标注的去畸变偏移补偿标注信息之间的第一损失值；基于第一损失值，调整待训练的偏移补偿模型的参数直至偏移补偿模型符合预设的训练结束条件，将调整参数后的偏移补偿模型确定为目标偏移补偿模型。由此，降低了待训练的偏移补偿模型学习的难度，提高了待训练的偏移补偿模型的收敛效果，进而提高了目标偏移补偿模型输出的去畸变偏移补偿信息的准确性。准确性。准确性。

【技术实现步骤摘要】
偏移补偿模型训练方法、图像中目标对象位置确定方法


[0001]本公开涉及人工智能技术，尤其涉及一种偏移补偿模型训练方法和装置、图像中目标对象位置确定方法和装置、存储介质以及电子设备。

技术介绍

[0002]在辅助驾驶或自动驾驶应用中，通常需要利用相机来检测车辆周围目标对象的位置。但是由于相机的摄像头存在畸变，其会致使图像发生畸变或其他非线性误差，进而导致无法准确获得目标对象在相机坐标系中的空间位置。因此需要通过使用偏移补偿信息对目标对象在相机坐标系中的空间位置进行补偿，以消除由于摄像头畸变对目标对象在相机坐标系中的空间位置的影响。
[0003]在现有技术中，通常利用神经网络获得目标对象的偏移补偿信息。然而不同的相机的摄像头具有不同的畸变，从而使得利于不同相机采集的图像也存在不同的畸变，这就导致使用多个相机采集的图像训练用于获得偏移补偿信息的神经网络时，神经网络的收敛较差，致使最终训练得到的神经网络输出的偏移补偿信息不准确。

技术实现思路

[0004]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种偏移补偿模型训练方法和装置、目标对象位置确定方法和装置、存储介质以及电子设备。
[0005]根据本公开实施例的一个方面，提供了一种偏移补偿模型的训练方法，所述偏移补偿模型用于对图像中的目标对象的位置进行校正，所述方法包括：获取样本图像集，其中，所述样本图像集中的样本图像包含目标对象，所述样本图像具有所述目标对象的去畸变偏移补偿标注信息，所述去畸变偏移补偿标注信息为所述目标对象的位置信息去畸变后的偏移补偿信息；基于所述样本图像集，利用待训练的偏移补偿模型，得到所述样本图像中所述目标对象的去畸变偏移补偿预测信息；基于预设的第一损失函数，确定所述去畸变偏移补偿预测信息和所述去畸变偏移补偿标注信息之间的第一损失值；基于所述第一损失值，调整所述待训练的偏移补偿模型的参数；响应于调整参数后的所述偏移补偿模型符合预设的训练结束条件，将调整参数后的偏移补偿模型确定为目标偏移补偿模型。
[0006]根据本公开实施例的另一个方面，提供了一种图像中目标对象位置确定方法，包括：获取待检测图像和所述待检测图像中包含的目标对象的第二深度信息；基于所述待检测图像，利用目标偏移补偿模型，得到所述目标对象的去畸变偏移补偿信息，其中，所述目标偏移补偿模型由权利要求1至权利要求5中任一项所述偏移补偿模型的训练方法获得，所述去畸变偏移补偿信息为所述目标对象的位置去畸变后的偏移补偿信息；根据所述目标对象的第二初始位置信息和第二内参信息，确定所述目标对象的第二去畸变位置信息，其中，所述第二内参信息为采集所述待检测图像的相机的内参信息，所述第二初始位置信息为所述待检测图像中的所述目标对象在图像坐标系中的位置信息；基于所述第二内参信息、所述目标对象的第二去畸变位置信息、所述去畸变偏移补偿信息和所述第二深度信息，确定
所述目标对象在相机坐标系中的第二位置信息。
[0007]根据本公开实施例的另一个方面，提供了一种偏移补偿模型的训练装置，所述偏移补偿模型用于对图像中的目标对象的位置进行校正，包括：样本图像获取模块，用于获取样本图像集，其中，所述样本图像集中的样本图像包含目标对象，所述样本图像具有所述目标对象的去畸变偏移补偿标注信息，所述去畸变偏移补偿标注信息为所述目标对象的位置信息去畸变后的偏移补偿信息；第一预测模块，用于基于所述样本图像集，利用待训练的偏移补偿模型，得到所述样本图像中所述目标对象的去畸变偏移补偿预测信息；第一损失确定模块，用于基于预设的第一损失函数，确定所述去畸变偏移补偿预测信息和所述去畸变偏移补偿标注信息之间的第一损失值；参数调整模块，用于基于所述第一损失值，调整所述待训练的偏移补偿模型的参数；模型确定模块，用于响应于调整参数后的所述偏移补偿模型符合预设的训练结束条件，将调整参数后的偏移补偿模型确定为目标偏移补偿模型。
[0008]根据本公开实施例的另一个方面，提供了一种图像中目标对象位置确定装置，包括：待检测图像获取模块，用于获取待检测图像和所述待检测图像中包含的目标对象的第二深度信息；第二预测模块，用于基于所述待检测图像，利用目标偏移补偿模型，得到所述目标对象的去畸变偏移补偿信息，其中，所述目标偏移补偿模型由上述所述偏移补偿模型的训练方法获得，所述去畸变偏移补偿信息为所述目标对象的位置去畸变后的偏移补偿信息；去畸变模块，用于根据所述目标对象的第二初始位置信息和第二内参信息，确定所述目标对象的第二去畸变位置信息，其中，所述第二内参信息为采集所述待检测图像的相机的内参信息，所述第二初始位置信息为所述待检测图像中的所述目标对象在图像坐标系中的位置信息；位置确定模块，用于基于所述第二内参信息、所述目标对象的第二去畸变位置信息、所述去畸变偏移补偿信息和所述第二深度信息，确定所述目标对象在相机坐标系中的第二位置信息。
[0009]根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述所述的方法。
[0010]根据本公开实施例的在一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述所述的方法。
[0011]基于本公开上述实施例提供的偏移补偿模型训练方法和装置、图像中目标对象位置确定方法和装置、存储介质以及电子设备，包括获取样本图像集；之后基于样本图像集，利用待训练的偏移补偿模型，得到样本图像中所述目标对象的去畸变偏移补偿预测信息；基于预设的第一损失函数，确定去畸变偏移补偿预测信息和样本图像中标注的去畸变偏移补偿标注信息之间的第一损失值；基于第一损失值，调整待训练的偏移补偿模型的参数直至偏移补偿模型符合预设的训练结束条件，将调整参数后的偏移补偿模型确定为目标偏移补偿模型。由此可知，本公开实施例中采用目标对象的去畸变偏移补偿标注信息作为样本图像训练待训练的偏移补偿模型，降低了待训练的偏移补偿模型学习的难度，提高了待训练的偏移补偿模型的收敛效果，进而提高了目标偏移补偿模型输出的去畸变偏移补偿信息的准确性。
[0012]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0013]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0014]图1是本公开提供的偏移补偿模型的训练方法的一个示例性的应用场景；
[0015]图2是本公开一示例性实施例提供的偏移补偿模型的训练方法的流程示意图；
[0016]图3是本公开一示例性实施例提供的步骤210的流程示意图；
[0017]图4是本公开一示例性实施例提供的步骤212的流程示意图；
[0018本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种偏移补偿模型的训练方法，所述偏移补偿模型用于对图像中的目标对象的位置进行校正，所述方法包括：获取样本图像集，其中，所述样本图像集中的样本图像包含目标对象，所述样本图像具有所述目标对象的去畸变偏移补偿标注信息，所述去畸变偏移补偿标注信息为所述目标对象的位置信息去畸变后的偏移补偿信息；基于所述样本图像集，利用待训练的偏移补偿模型，得到所述样本图像中所述目标对象的去畸变偏移补偿预测信息；基于预设的第一损失函数，确定所述去畸变偏移补偿预测信息和所述去畸变偏移补偿标注信息之间的第一损失值；基于所述第一损失值，调整所述待训练的偏移补偿模型的参数；响应于调整参数后的所述偏移补偿模型符合预设的训练结束条件，将调整参数后的偏移补偿模型确定为目标偏移补偿模型。2.根据权利要求1所述的方法，其中，所述获取样本图像集，包括：获取原始样本图像集，其中，所述原始样本图像集中的原始样本图像包含所述目标对象；针对所述原始样本图像集中的每个原始样本图像，确定所述原始样本图像中的所述目标对象的第一去畸变位置信息和空间位置信息，其中，所述第一去畸变位置信息为在图像坐标系中所述原始样本图像中的目标对象去畸变后的位置信息；所述空间位置信息包括所述目标对象在相机坐标下的第一位置信息和第一深度信息；根据所述第一去畸变位置信息、所述空间位置信息以及第一内参信息，确定所述目标对象的去畸变偏移补偿标注信息，其中，所述第一内参信息为采集所述原始样本图像的相机的内参信息；基于所述去畸变偏移补偿标注信息对所述原始样本图像进行标注，得到标注样本图像；基于所述原始样本图像集中的每个所述原始样本图像对应的所述标注样本图像，得到所述样本图像集。3.根据权利要求2所述的方法，其中，所述定所述原始样本图像中的所述目标对象的第一去畸变位置信息，包括：获取所述目标对象的第一初始位置信息，其中，所述第一初始位置信息为所述原始样本图像中的所述目标对象去畸变前的位置信息；根据所述目标对象的第一初始位置信息和所述第一内参信息，确定所述目标对象的第一去畸变位置信息。4.根据权利要求3所述的方法，其中，所述根据所述目标对象的第一初始位置信息和所述第一内参信息，确定所述目标对象的第一去畸变位置信息，包括：根据所述目标对象的第一初始位置信息和所述第一内参信息，基于第一预设方法对所述目标对象的第一初始位置信息进行去畸变处理和归一化处理，得到所述目标对象的第一信息，其中，所述第一信息为所述目标对象的第一初始位置信息去畸变后的归一化像素位置信息；根据所述目标对象的所述第一信息和所述第一内参信息，基于第二预设方法对所述目
标对象的所述第一信息进行加畸变处理，得到所述目标对象的第二信息，其中，所述第二信息为所述原始样本图像中的所述目标对象加畸变位置信息；响应于所述目标对象的所述第二信息与所述第一初始位置信息之间的误差小于或等于预设误差阈值，根据所述第一信息和所述第一内参信息，确定所述目标对象的第一去畸变位置信息；或者，响应于所述目标对象的所述第二信息与所述第一初始位置信息之间的误差大于预设误差阈值，以所述第二信息作为所述目标对象的第一初始位置信息，执行所述根据所述目标对象的第一初始位置信息和所述第一内参信息，基于第一预设方法对所述目标对象的第一初始位置信息进行去畸变处理和归一化处理的操作。5.根据权利要求4所述的方法，所述样本图像还标注有所述目标对象的初始位置标注信息和深度标注信息；所述基于所述样本图像集，利用待训练的偏移补偿模型，得到所述样本图像中所述目标对象的去畸变偏移补偿预测信息之后，还包括：基于所述样本图像集，利用所述待训练的偏移补偿模型，得到所述样本图像中所述目标对象的初始位置预测信息和深度预测信息；基于预设的第二损失函数，确定所述初始位置预测信息与所述初始位置标注信息之间的第二损失值，以及所述深度预测信息与所述深度标注信息之间的第三损失值；所述基于所述第一损失值，调整所述待训练的偏移补偿模型的参数，包括：基于所述第一损失值、所述第二损失值和所述第三损失值，调整所述待训练的偏移补偿模型的参数。6.一种图像中目标对象位置确定方法，包括：获取待检测图像和所述待检测图像中包含的目标对象的第二深度信息；基于所述待检测图像，利用目标偏移补偿模型，得到所述目标...

【专利技术属性】
技术研发人员：王鑫，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：