本公开实施例公开了一种空间几何信息估计模型的训练方法及装置、一种空间几何信息估计方法及装置、计算机可读存储介质、电子设备，其中，该模型的训练方法包括：对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据；基于特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息；基于预测空间几何信息、预设的标注空间几何信息和预设的有监督的空间几何损失函数，确定空间几何损失值；基于空间几何损失值，调整待训练模型的参数，直至满足预设训练结束条件，得到空间几何信息估计模型。本公开实施例充分利用了多帧图像之间的视差来进行空间几何信息预测，其预测准确性和泛化能力大大提高，预测效率大大提升。预测效率大大提升。预测效率大大提升。
【技术实现步骤摘要】
空间几何信息估计模型的训练方法及装置
[0001]本公开涉及计算机
，尤其是一种空间几何信息估计模型的训练方法及装置、一种空间几何信息估计方法及装置、计算机可读存储介质、电子设备。
技术介绍
[0002]路平面视差估计是应用在辅助驾驶和自动驾驶场景中来帮助车辆感知路面3D信息的技术。在辅助驾驶和自动驾驶应用中，路平面视差估计能通过摄像头提供的单帧或者相邻两帧图像并结合3D几何信息来获得路面的3D感知信息(包括物体的高度和深度信息)。为了获得路面的3D感知信息，目前常用的方法主要包括以下三种：
[0003]1、通过深度估计和提前标定好的地平面方程信息，将深度信息转化为3D点云并且通过地平面方程与点云的公式来恢复地面的3D感知信息(地面上物体深度及高度信息)；
[0004]2、通过单目多帧图像序列的地平面方程及帧间姿态耦合的信息来得到空间几何信息(通常用gamma表示，即物体的深度值与高度值之比)，再通过地平面方程信息解析gamma，得到图像中物体的深度和高度信息。
[0005]3、通过利用单目单帧图像和标注的实际gamma，以有监督的方式训练神经网络模型，使用神经网络模型来预测gamma，再通过平面方程解析gamma得到图像中物体的深度和高度信息。
技术实现思路
[0006]本公开的实施例提供了一种空间几何信息估计模型的训练方法及装置、一种空间几何信息估计方法及装置、计算机可读存储介质、电子设备。
[0007]本公开的实施例提供了一种空间几何信息估计模型的训练方法，该方法包括：对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据，其中，第二样本图像位于第一样本图像之后；基于特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息；基于预测空间几何信息、预设的标注空间几何信息和预设的有监督的空间几何损失函数，确定空间几何损失值；基于空间几何损失值，调整待训练模型的参数，直至满足预设训练结束条件，得到空间几何信息估计模型。
[0008]根据本公开实施例的另一个方面，提供了一种空间几何信息估计方法，该方法包括：对图像序列中的第一图像和第二图像进行特征提取，得到特征数据，其中，第二图像位于第一图像之后；基于特征数据，由空间几何信息估计模型进行空间几何信息预测，生成第二图像中各像素分别对应的空间几何信息。
[0009]根据本公开实施例的另一个方面，提供了一种空间几何信息估计模型的训练装置，该装置包括：第一提取模块，用于对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据，其中，第二样本图像位于第一样本图像之后；第一生成模块，用于基于特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息；第一确定模块，用于基于预测空间几何信息、预设的标注空间几何信息和预设的有监督的空间几何
损失函数，确定空间几何损失值；训练模块，用于基于空间几何损失值，调整待训练模型的参数，直至满足预设训练结束条件，得到空间几何信息估计模型。
[0010]根据本公开实施例的另一个方面，提供了一种空间几何信息估计装置，该装置包括：第三提取模块，用于对图像序列中的第一图像和第二图像进行特征提取，得到特征数据，其中，第二图像位于第一图像之后；第一预测模块，用于基于特征数据，由空间几何信息估计模型进行空间几何信息预测，生成第二图像中各像素分别对应的空间几何信息。
[0011]根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述空间几何信息估计模型的训练方法。
[0012]根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述空间几何信息估计模型的训练方法。
[0013]基于本公开上述实施例提供的空间几何信息估计模型的训练方法及装置、一种空间几何信息估计方法及装置、计算机可读存储介质、电子设备，通过对样本图像序列中的第一样本图像和第二样本图像进行特征提取，再基于提取的特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息，然后基于预测空间几何信息和有监督的空间几何损失函数，训练待训练模型，得到空间几何信息估计模型。实现了基于单目多帧图像以有监督训练的方式训练空间几何信息估计模型，训练后的空间几何信息估计模型，可以对单目相机拍摄的图像序列进行空间几何信息预测，相比于目前的对单目单帧图像进行空间几何信息预测，本公开实施例充分利用了多帧图像之间的视差来进行空间几何信息预测，其预测准确性和泛化能力大大提高。并且本公开实施例在进行空间几何信息预测时，无需利用地面方程、帧间姿态等信息，其预测效率大大提升。
[0014]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0015]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0016]图1是本公开所适用的系统图。
[0017]图2是本公开一示例性实施例提供的空间几何信息估计模型的训练方法的流程示意图。
[0018]图3是本公开另一示例性实施例提供的空间几何信息估计模型的训练方法的流程示意图。
[0019]图4是本公开另一示例性实施例提供的空间几何信息估计模型的训练方法的流程示意图。
[0020]图5是本公开另一示例性实施例提供的空间几何信息估计模型的训练方法的流程示意图。
[0021]图6是本公开一示例性实施例提供的空间几何信息估计方法的流程示意图。
[0022]图7是本公开另一示例性实施例提供的空间几何信息估计方法的流程示意图。
[0023]图8是本公开一示例性实施例提供的空间几何信息估计模型的训练装置的结构示意图。
[0024]图9是本公开另一示例性实施例提供的空间几何信息估计模型的训练装置的结构示意图。
[0025]图10是本公开一示例性实施例提供的空间几何信息估计装置的结构示意图。
[0026]图11是本公开另一示例性实施例提供的空间几何信息估计装置的结构示意图。
[0027]图12是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
[0028]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0029]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0030]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种空间几何信息估计模型的训练方法，包括：对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据，其中，所述第二样本图像位于所述第一样本图像之后；基于所述特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息；基于所述预测空间几何信息、预设的标注空间几何信息和预设的有监督的空间几何损失函数，确定空间几何损失值；基于所述空间几何损失值，调整所述待训练模型的参数，直至满足预设训练结束条件，得到空间几何信息估计模型。2.根据权利要求1所述的方法，其中，所述方法还包括：基于所述特征数据，由所述待训练模型进行运动流预测，生成表示运动物体在所述第一样本图像和所述第二样本图像内的运动状态的运动流数据；基于所述运动流数据和预设的无监督的光流损失函数，确定光流损失值；所述基于所述空间几何损失值，调整所述待训练模型的参数，包括：基于所述空间几何损失值和所述光流损失值，调整所述待训练模型的参数。3.根据权利要求2所述的方法，其中，所述基于所述运动流数据和预设的无监督的光流损失函数，确定光流损失值，包括：基于所述预测空间几何信息，生成表示所述第一样本图像和所述第二样本图像之间的视差流数据；将所述视差流数据和所述运动流数据进行融合，得到融合流数据；基于所述融合流数据和预设的无监督的光流损失函数，确定光流损失值。4.根据权利要求1所述的方法，其中，在所述对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据之前，所述方法还包括：从预设的初始图像序列中提取第一初始样本图像和第二初始样本图像；确定所述第二初始样本图像相对于所述第一初始样本图像的旋转矩阵和平移矩阵；获取所述第二初始样本图像对应的预先标定的地面法向量、用于拍摄所述图像序列的相机的高度和所述相机的内参；基于所述地面法向量、所述内参、所述高度、所述旋转矩阵和所述平移矩阵，确定单应性矩阵；利用所述单应性矩阵，对所述第一初始样本图像和所述第二初始样本图像进行地面对齐处理，得到所述第一样本图像和所述...
【专利技术属性】
技术研发人员：谢佳锋，隋伟，陈腾，任伟强，张骞，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。