场景重建方法、装置、存储介质及电子设备制造方法及图纸

公开了一种场景重建方法、装置、存储介质及电子设备，其中，方法包括：对设置于可移动设备的相机采集的第一图像序列进行后景分割，得到第二图像序列；利用第二图像序列，进行点云的稀疏重建，得到第一重建点云和相机的第一相机位姿序列；对第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列；利用第一重建点云、第一相机位姿序列和第三图像序列，进行点云的稠密重建，得到第二重建点云；利用第一相机位姿序列和第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云；基于第二重建点云和第三重建点云，确定第一图像序列对应的场景重建结果。本公开可以降低场景重建的实现成本。本。本。

【技术实现步骤摘要】
场景重建方法、装置、存储介质及电子设备


[0001]本公开涉及驾驶技术，尤其是一种场景重建方法、装置、存储介质及电子设备。

技术介绍

[0002]一些情况下需要进行场景重建，例如需要针对无人驾驶室外场景进行场景重建。场景重建结果对于场景再现和数据标注具有非常重要的价值。目前，为了实现场景重建，往往需要依赖于激光雷达。

技术实现思路

[0003]目前的场景重建需要依赖于激光雷达，实现成本较高。
[0004]为了解决上述技术问题，本公开提供了一种场景重建方法、装置、介质及电子设备，以降低场景重建的实现成本。
[0005]根据本公开实施例的一个方面，提供了一种场景重建方法，包括：
[0006]对设置于可移动设备的相机采集的第一图像序列进行后景分割，得到第二图像序列；
[0007]利用所述第二图像序列，进行点云的稀疏重建，得到第一重建点云和所述相机的第一相机位姿序列；
[0008]对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列；
[0009]利用所述第一重建点云、所述第一相机位姿序列和所述第三图像序列，进行点云的稠密重建，得到第二重建点云；
[0010]利用所述第一相机位姿序列和所述第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云；
[0011]基于所述第二重建点云和所述第三重建点云，确定所述第一图像序列对应的场景重建结果。
[0012]根据本公开实施例的另一个方面，提供了一种场景重建装置，包括：
[0013]第一分割模块，用于对设置于可移动设备的相机采集的第一图像序列进行后景分割，得到第二图像序列；
[0014]第一重建模块，用于利用所述第一分割模块得到的所述第二图像序列，进行点云的稀疏重建，得到第一重建点云和第一相机位姿序列；
[0015]第二分割模块，用于对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列；
[0016]第二重建模块，用于利用所述第一重建模块得到的所述第一重建点云和所述第一相机位姿序列，以及所述第二分割模块得到的所述第三图像序列，进行点云的稠密重建，得到第二重建点云；
[0017]第三重建模块，用于利用所述第一重建模块得到的所述第一相机位姿序列和所述
第二分割模块得到的所述第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云；
[0018]确定模块，用于基于所述第二重建模块得到的所述第二重建点云和所述第三重建模块得到的所述第三重建点云，确定所述第一图像序列对应的场景重建结果。
[0019]根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述场景重建方法。
[0020]根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
[0021]处理器；
[0022]用于存储所述处理器可执行指令的存储器；
[0023]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述场景重建方法。
[0024]根据本公开实施例的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行上述场景重建方法。
[0025]基于本公开上述实施例提供的场景重建方法、装置、介质及电子设备，本公开的实施例中，可以对相机采集的多视角图像(即第一图像序列)进行后景分割，并利用经后景分割得到的第二图像序列，进行点云的稀疏重建，以得到第一重建点云和第一相机位姿序列。另外，还可以对多视角图像进行动静态分割，以得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，第三图像序列可以与第一重建点云和第一相机位姿序列一并用于点云的稠密重建，以得到能够有效地表征静态场景的第二重建点云，第四图像序列可以与第一相机位姿序列一并用于点云的稀疏重建和稠密重建，以得到能够有效地表征动态场景的第三重建点云，结合第二重建点云和第三重建点云，即可确定第一图像序列对应的场景重建结果。可见，本公开的实施例中是通过对相机采集的多视角图像的一系列处理，实现场景重建，相比于激光雷达，相机的价格非常低廉，因此能够降低场景重建的实现成本。另外，本公开的实施例中对静态场景和动态场景采取分而治之的策略，即将静态场景和动态场景分别进行重建，这样有利于降低重建难度，提升重建速度。
附图说明
[0026]图1
‑
1是静态场景的运动模型的示意图。
[0027]图1
‑
2是动态场景的运动模型的示意图。
[0028]图2是本公开一示例性实施例提供的场景重建方法的流程示意图。
[0029]图3是本公开一示例性实施例提供的动静态分割方式的流程示意图之一。
[0030]图4是本公开一示例性实施例提供的动静态分割方式的流程示意图之二。
[0031]图5
‑
1是本公开一示例性实施例提供的动静态分割方式的流程示意图之三。
[0032]图5
‑
2是本公开一示例性实施例提供的动静态分割方式的流程示意图之四。
[0033]图6是本公开一示例性实施例提供的动态场景的重建方式的流程示意图。
[0034]图7
‑
1是本公开一示例性实施例提供的对象位姿序列的修正方式的流程示意图。
[0035]图7
‑
2是本公开另一示例性实施例提供的对象位姿序列的修正方式的流程示意图。
[0036]图8是本公开一示例性实施例提供的动态场景的稠密重建方式的流程示意图。
[0037]图9是本公开一示例性实施例提供的静态场景的稠密重建方式的流程示意图。
[0038]图10是本公开另一示例性实施例提供的静态场景的稠密重建方式的流程示意图。
[0039]图11是本公开再一示例性实施例提供的静态场景的稠密重建方式的流程示意图。
[0040]图12是本公开另一示例性实施例提供的场景重建方法的流程示意图。
[0041]图13是本公开一示例性实施例提供的场景重建装置的结构示意图。
[0042]图14是本公开另一示例性实施例提供的场景重建装置的结构示意图。
[0043]图15
‑
1是本公开再一示例性实施例提供的场景重建装置的结构示意图。
[0044]图15
‑
2是本公开又一示例性实施例提供的场景重建装置的结构示意图。
[0045]图16是本公开又一示例性实施例提供的场景重建装置的结构示意图。
[0046]图17是本公开又一示例性实施例提供的场景重建装置的结构示意图。
[0047]图18是本公开又一示例性实施例提供的场景重建装置的结构示意图。
[0048]图19是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式...

【技术保护点】

【技术特征摘要】
1.一种场景重建方法，包括：对设置于可移动设备的相机采集的第一图像序列进行后景分割，得到第二图像序列；利用所述第二图像序列，进行点云的稀疏重建，得到第一重建点云和所述相机的第一相机位姿序列；对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列；利用所述第一重建点云、所述第一相机位姿序列和所述第三图像序列，进行点云的稠密重建，得到第二重建点云；利用所述第一相机位姿序列和所述第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云；基于所述第二重建点云和所述第三重建点云，确定所述第一图像序列对应的场景重建结果。2.根据权利要求1所述的方法，其中，所述方法还包括：通过光流预测模型，对所述第一图像序列进行光流预测，得到光流预测结果；通过深度预测模型，对所述第一图像序列进行深度预测，得到深度预测结果；所述对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，包括：基于所述光流预测结果、所述深度预测结果和所述第一相机位姿序列，对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列。3.根据权利要求2所述的方法，其中，所述基于所述光流预测结果、所述深度预测结果和所述第一相机位姿序列，对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，包括：基于所述光流预测结果，确定所述第一图像序列中前后帧图像之间的第一像素位置对应关系；基于所述深度预测结果和所述第一相机位姿序列，确定所述第一图像序列中前后帧图像之间的第二像素位置对应关系；基于所述第一像素位置对应关系和所述第二像素位置对应关系，对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列。4.根据权利要求3所述的方法，其中，所述基于所述第一像素位置对应关系和所述第二像素位置对应关系，对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，包括：针对所述第一图像序列中的第一目标图像中的第一目标像素点，按照所述第一像素位置对应关系，从第二目标图像中，确定与所述第一目标像素点的像素位置对应的第一目标像素位置；其中，所述第二目标图像为所述第一图像序列中所述第一目标图像的后一帧图像；按照所述第二像素点对应关系，从所述第二目标图像中，确定与所述第一目标像素点的像素位置对应的第二目标像素位置；
基于所述第一目标像素位置与所述第二目标像素位置之间的位置误差，确定所述第一目标像素点的像素点属性；其中，任一像素点的像素点属性用于表征该像素点是否属于动态对象；基于所述第一目标像素点的像素点属性，对所述第一目标图像进行动静态分割，得到静态场景对应的第一分割图像和动态场景对应的第二分割图像；基于所述第一分割图像，确定所述第三图像序列；基于所述第二分割图像，确定所述第四图像序列。5.根据权利要求3所述的方法，其中，所述方法还包括：通过实例分割模型，对所述第一图像序列进行实例分割，得到实例分割结果；所述基于所述第一像素位置对应关系和所述第二像素位置对应关系，对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，包括：针对所述第一图像序列中的第一目标图像，基于所述实例分割结果，确定所述第一目标图像中的每个实例各自的实例区域；基于所述第一像素位置对应关系和所述第二像素位置对应关系，确定所述第一目标图像中的每个像素点各自的像素点属性；其中，任一像素点的像素点属性用于表征该像素点是否属于动态对象；针对所述第一目标图像中的每个实例区域，对该实例区域中每个像素点各自的像素点属性进行统计，得到统计结果；基于所述第一目标图像中的每个实例区域各自对应的统计结果，对所述第一目标图像进行动静态分割，得到静态场景对应的第三分割图像和动态场景对应的第四分割图像；基于所述第三分割图像，确定所述第三图像序列；基于所述第四分割图像，确定所述第四图像序列。6.根据权利要求5所述的方法，其中，所述基于所述第一目标图像中的每个实例区域各自对应的统计结果，对所述第一目标图像进行动静态分割，得到静态场景对应的第三分割图像和动态场景对应的第四分割图像，包括：针对所述第一目标图像中的每个实例区域，基于该实例区域对应的统计结果，确定该实例区域中像素点属性用于表征当前像素点不属于动态对象的像素点的占比；基于所述第一目标图像中的每个实例区域各自对应的占比，对所述第一目标图像进行动静态分割，得到静态场景对应的第三分割图像和动态场景对应的第四分割图像。7.根据权利要求1所述的方法，其中，所述方法还包括：通过光流预测模型，对所述第一图像序列进行光流预测，得到光流预测结果；所述利用所述第一相机位姿序列和所述第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云，包括：基于所述光流预测结果，确定所述第四图像序列中前后帧图像之...

【专利技术属性】
技术研发人员：隋伟，张家馨，张骞，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：