三维重建方法及相关装置、设备制造方法及图纸

本申请公开了一种三维重建方法及相关装置、设备，其中，三维重建方法包括：获取用于本次重建的若干帧第一关键图像，并确定包围若干帧第一关键图像的视锥的第一空间；其中，第一关键图像是对待重建目标拍摄得到的；基于若干帧第一关键图像中的图像信息，得到第一空间的第一特征图，其中，第一特征图包括第一空间中体素的第一特征信息；利用第一特征图，得到本次重建的第一重建结果；利用本次重建的第一重建结果，对之前重建得到的第二重建结果进行更新。上述方案，能够提高三维重建过程的实时性以及三维重建结果的平滑度。

【技术实现步骤摘要】
三维重建方法及相关装置、设备
本申请涉及计算机视觉
，特别是涉及一种三维重建方法及相关装置、设备。
技术介绍
随着电子信息技术的发展，通过手机、平板电脑等集成有摄像头的电子设备对真实场景中的物体进行三维重建，在诸多应用场景中均得到了广泛应用。例如，可以应用于AR(AugmentedReality，增强现实)等下游应用之中，而为了增强AR效果和物理场景之间的沉浸感，三维重建结果需要尽可能地平滑，且三维重建过程需要尽可能地实时。有鉴于此，如何提高三维重建过程的实时性以及三维重建结果的平滑度成为极具研究价值的课题。
技术实现思路
本申请提供一种三维重建方法及相关装置、设备。本申请第一方面提供了一种三维重建方法，包括：获取用于本次重建的若干帧第一关键图像，并确定包围若干帧第一关键图像的视锥的第一空间；其中，第一关键图像是对待重建目标拍摄得到的；基于若干帧第一关键图像中的图像信息，得到第一空间的第一特征图，其中，第一特征图包括第一空间中体素的第一特征信息；利用第一特征图，得到本次重建的第一重建结果；利用本次重建的第一重建结果，对之前重建得到的第二重建结果进行更新。因此，通过获取用于本次重建的若干帧第一关键图像，并确定包围若干帧第一关键图像的视锥的第一空间，且第一关键图像是对待重建目标拍摄得到的，在此基础上基于若干帧第一关键图像中的图像信息，得到第一空间的第一特征图，且第一特征图包括第一空间中体素的第一特征信息，从而利用第一特征图，得到本次重建的第一重建结果，进而利用本次重建的第一重建结果，对之前重建得到的第二重建结果进行更新，故此每次重建过程中，均能够对包围若干帧第一关键图像的视锥的第一空间整体进行三维重建，从而不仅能够大大降低计算负荷，还能够降低重建结果出现分层或分散的概率，进而能够提高三维重建过程的实时性以及三维重建结果的平滑度。其中，在获取用于本次重建的若干帧第一关键图像之后，方法还包括：分别对每帧第一关键图像进行特征提取，得到第一关键图像的第二特征图；基于若干帧第一关键图像中的图像信息，得到第一空间的第一特征图，包括：基于第一空间的各体素在第二特征图中对应的第二特征信息，得到第一空间的第一特征图。因此，通过分别对每帧第一关键图像进行特征提取，得到第一关键图像的第二特征图，从而基于第一空间的各体素在第二特征图中对应的第二特征信息，得到第一空间的第一特征图，故能够融合各帧第一关键图像的第二特征图，得到第一空间的第一特征图，有利于提高第一特征图的准确性，进而能够有利于提高三维重建的准确性。其中，基于第一空间的各体素在第二特征图中对应的第二特征信息，得到第一空间的第一特征图，包括：分别从每帧第一关键图像的第二特征图中，提取体素对应的第二特征信息；将体素分别对应若干帧第一关键图像的第二特征信息进行融合，得到体素的第一特征信息；基于第一空间的各体素的第一特征信息，得到第一空间的第一特征图。因此，通过分别从每帧第一关键图像的第二特征图中，提取体素对应的第二特征信息，并将体素分别对应若干帧第一关键图像的第二特征信息进行融合，得到体素的第一特征信息，从而基于第一空间的各体素的第一特征信息，得到第一空间的第一特征图，故此对于第一空间中每一体素而言，均融合有对应每帧第一关键图像的第二特征信息，能够有利于进一步提高第一空间的第一特征图的精准性。其中，将体素分别对应若干帧第一关键图像的第二特征信息进行融合，得到体素的第一特征信息，包括：将体素对应每帧第一关键图像的第二特征信息的平均值，作为体素的第一特征信息；和/或，在分别从每帧第一关键图像的第二特征图中，提取体素对应的第二特征信息之后，方法还包括：在每帧第一关键图像的第二特征图中均未提取得到体素对应的第二特征信息的情况下，将预设特征信息作为体素的第一特征信息。因此，通过将体素对应每帧第一关键图像的第二特征信息的平均值，作为体素的第一特征信息，能够降低获取第一特征信息的复杂度，从而能够有利于提高三维重建的速度，进而能够有利于进一步提高三维重建过程的实时性；而在每帧第一关键图像的第二特征图中均未提取得到体素对应的第二特征信息的情况下，将预设特征信息作为体素的第一特征信息，能够有利于进一步降低获取第一特征信息的复杂度。其中，每帧第一关键图像的第二特征图均包括对应不同分辨率的预设数量张第二特征图；第一空间包括对应不同分辨率的预设数量个第一空间，分辨率越高，第一空间中体素的尺寸越小；第一特征图包括对应不同分辨率的预设数量张第一特征图，每张第一特征图是基于相同分辨率的第二特征图的第二特征信息得到。因此，通过将每帧第一关键图像的第二特征图设置为均包括对应不同分辨率的预设数量张第二特征图，且第一空间包括对应不同分辨率的预设数量个第一空间，分辨率越高，第一空间中体素的尺寸越小，此外将第一特征图设置为包括对应不同分辨率的预设数量张第一特征图，每张第一特征图是基于相同分辨率的第二特征图的第二特征信息得到，故能够有利于通过不同分辨率的预设数量张第二特征图来进行三维重建，从而能够有利于进一步提高三维重建的精细度。其中，利用第一特征图，得到本次重建的第一重建结果，包括：按照分辨率由低到高的顺序，依次选择一种分辨率作为当前分辨率；将上一次选择的分辨率对应的第一重建结果进行上采样，并将上采样后的第一重建结果与当前分辨率对应的第一特征图进行融合，得到与当前分辨率对应的融合特征图；利用融合特征图，得到与当前分辨率对应的第一重建结果；在当前分辨率并非最高分辨率的情况下，重新执行按照分辨率由低到高的顺序，依次选择一种分辨率作为当前分辨率的步骤以及后续步骤；在当前分辨率为最高分辨率的情况下，将与当前分辨率对应的第一重建结果作为本次重建最终的第一重建结果。因此，通过按照分辨率由低到高的顺序，依次选择一种分辨率作为当前分辨率，并将上一次选择的分辨率对应的第一重建结果进行上采样，将上采样后的第一重建结果与当前分辨率对应的第一特征图进行融合，得到与当前分辨率对应的融合特征图，在此基础上利用融合特征图，得到与当前分辨率对应的第一重建结果，从而在当前分辨率并非最高分辨率的情况下，重新执行按照分辨率由低到高的顺序，依次选择一种分辨率作为当前分辨率的步骤以及后续步骤，或者在当前分辨率为最高分辨率的情况下，将与当前分辨率对应的第一重建结果作为本次重建最终的第一重建结果，故此能够由基于“低分辨率”的第一特征图至基于“高分辨率”的第一特征图逐渐进行三维重建，从而能够有利于实现“由粗到细”的三维重建，进而能够有利于进一步提高三维重建的精细度。其中，利用第一特征图，得到本次重建的第一重建结果，包括：利用第一特征图进行预测，得到第一空间中各体素的第一重建值和第一重建值在预设数值范围内的概率值；其中，第一重建值用于表示体素与待重建目标中的关联物体表面之间的距离；选择第一空间中概率值满足预设条件的体素；利用选择的体素的第一重建值，得到本次重建的第一重建结果。因此，通过利用第一特征图进行预测，得到第一空间中各体素的第一重建值和第一重建值在预设数值范围内的概率值，且本文档来自技高网...

【技术保护点】
1.一种三维重建方法，其特征在于，包括：/n获取用于本次重建的若干帧第一关键图像，并确定包围所述若干帧第一关键图像的视锥的第一空间；其中，所述第一关键图像是对待重建目标拍摄得到的；/n基于所述若干帧第一关键图像中的图像信息，得到所述第一空间的第一特征图，其中，所述第一特征图包括所述第一空间中体素的第一特征信息；/n利用所述第一特征图，得到本次重建的第一重建结果；/n利用所述本次重建的第一重建结果，对之前重建得到的第二重建结果进行更新。/n

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：
获取用于本次重建的若干帧第一关键图像，并确定包围所述若干帧第一关键图像的视锥的第一空间；其中，所述第一关键图像是对待重建目标拍摄得到的；
基于所述若干帧第一关键图像中的图像信息，得到所述第一空间的第一特征图，其中，所述第一特征图包括所述第一空间中体素的第一特征信息；
利用所述第一特征图，得到本次重建的第一重建结果；
利用所述本次重建的第一重建结果，对之前重建得到的第二重建结果进行更新。


2.根据权利要求1所述的方法，其特征在于，在所述获取用于本次重建的若干帧第一关键图像之后，所述方法还包括：
分别对每帧所述第一关键图像进行特征提取，得到所述第一关键图像的第二特征图；
所述基于所述若干帧第一关键图像中的图像信息，得到所述第一空间的第一特征图，包括：
基于所述第一空间的各体素在所述第二特征图中对应的第二特征信息，得到所述第一空间的所述第一特征图。


3.根据权利要求2所述的方法，其特征在于，所述基于所述第一空间的各体素在所述第二特征图中对应的第二特征信息，得到所述第一空间的所述第一特征图，包括：
分别从每帧所述第一关键图像的所述第二特征图中，提取所述体素对应的第二特征信息；
将所述体素分别对应所述若干帧第一关键图像的所述第二特征信息进行融合，得到所述体素的第一特征信息；
基于所述第一空间的各体素在所述第一特征信息，得到所述第一空间的所述第一特征图。


4.根据权利要求3所述的方法，其特征在于，所述将所述体素分别对应所述若干帧第一关键图像的所述第二特征信息进行融合，得到所述体素的第一特征信息，包括：
将所述体素分别对应所述若干帧第一关键图像的第二特征信息的平均值，作为所述体素的第一特征信息；
和/或，在所述分别从每帧所述第一关键图像的所述第二特征图中，提取所述体素对应的第二特征信息之后，所述方法还包括：
在每帧所述第一关键图像的第二特征图中均未提取得到所述体素对应的第二特征信息的情况下，将预设特征信息作为所述体素的第一特征信息。


5.根据权利要求2至4任一项所述的方法，其特征在于，每帧所述第一关键图像的第二特征图均包括对应不同分辨率的预设数量张第二特征图；所述第一空间包括对应不同所述分辨率的预设数量个第一空间，所述分辨率越高，所述第一空间中所述体素的尺寸越小；所述第一特征图包括对应不同所述分辨率的预设数量张第一特征图，每张所述第一特征图是基于相同所述分辨率的所述第二特征图的第二特征信息得到。


6.根据权利要求5所述的方法，其特征在于，所述利用所述第一特征图，得到本次重建的第一重建结果，包括：
按照所述分辨率由低到高的顺序，依次选择一种所述分辨率作为当前分辨率；
将上一次选择的分辨率对应的第一重建结果进行上采样，并将上采样后的第一重建结果与所述当前分辨率对应的第一特征图进行融合，得到与所述当前分辨率对应的融合特征图；
利用所述融合特征图，得到与所述当前分辨率对应的第一重建结果；
在所述当前分辨率并非最高所述分辨率的情况下，重新执行所述按照所述分辨率由低到高的顺序，依次选择一种所述分辨率作为当前分辨率的步骤以及后续步骤；
在所述当前分辨率为最高所述分辨率的情况下，将与所述当前分辨率对应的第一重建结果作为本次重建最终的第一重建结果。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述利用所述第一特征图，得到本次重建的第一重建结果，包括：
利用所述第一特征图进行预测，得到所述第一空间中各所述体素的第一重建值和所述第一重建值在预设数值范围内的概率值；其中，所述第一重建值用于表示所述体素与所述待重建目标中的关联物体表面之间的距离；
选择第一空间中所述概率值满足预设条件的所述体素；
利用选择的所述体素的所述第一重建值，得到本次重建的第一重建结果。


8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一重建结果包括所述第一空间中所述体素的第一重建值，所述第二重建结果包括第二空间中所述体素的第二重建值，所述第二空间是包围之前重建的第二关键图...

【专利技术属性】
技术研发人员：鲍虎军，周晓巍，孙佳明，谢一鸣，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33