基于深度相机的三维重建方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种基于深度相机的三维重建方法、装置、设备及存储介质，其中，该方法包括：获取深度相机对目标场景进行采集得到的至少两帧图像；根据所述至少两帧图像确定采集时的相对相机位姿；针对每帧图像，采用至少两级嵌套筛选方式从图像中确定至少一个特征体素，其中，每级筛选采用对应的体素分块规则；依据各帧图像的相对相机位姿对各帧图像的至少一个特征体素进行融合计算，得到目标场景的栅格体素模型；生成所述栅格体素模型的等值面，得到所述目标场景的三维重建模型。本发明专利技术实施例解决了对目标场景进行三维重建时运算量大的问题，实现了将三维重建应用于便携化的设备中，使得三维重建的应用更加广泛。

Three dimensional reconstruction method, device, device and storage medium based on depth camera

The embodiment of the invention discloses a three-dimensional reconstruction method, device, device and storage medium based on a depth camera, wherein the method comprises: acquiring at least two frames of images captured by a depth camera for a target scene; determining the relative camera position and pose at the time of acquisition according to the at least two frames of images; and targeting each frame of images. At least one feature voxel is determined from the image by a nested filtering method of at least two stages, in which each stage adopts the corresponding voxel blocking rule, and the raster voxel model of the target scene is generated by fusing at least one feature voxel of each frame image according to the relative camera position and attitude of each frame. The isosurface of the raster voxel model is used to get the 3D reconstruction model of the target scene. The embodiment of the invention solves the problem of large amount of computation in 3D reconstruction of the target scene, realizes the application of 3D reconstruction in portable equipment, and makes the application of 3D reconstruction more extensive.

【技术实现步骤摘要】
基于深度相机的三维重建方法、装置、设备及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种基于深度相机的三维重建方法、装置、设备及存储介质。
技术介绍
三维重建是通过特定的装置及算法对现实世界中的三维物体的数学模型进行重新构建，对于虚拟现实、增强现实、机器人感知、人机交互及机器人路径规划等具有极其重要的意义。目前的三维重建方法中，为保证重建结果的质量、一致性及实时性，通常需要由高性能的图形处理器(GraphicsProcessingUnit，GPU)和深度相机(RGB-D相机)来完成。首先利用深度相机对目标场景进行拍摄，获得至少两帧图像；利用GPU对每帧图像进行求解，以获取拍摄各帧图像时深度相机的相对相机位姿；依据每帧图像对应的相对相机位姿，遍历该帧图像中的所有体素，以确定满足一定条件的体素作为候选体素；进而依据每帧图像中的候选体素来构建该帧图像的截断符号距离函数(TruncatedSignedDistanceFunction，TSDF)模型；最后在TSDF模型的基础上，对每帧图像生成等值面，从而能完成对目标场景的实时重建。但是现有的三维重建方法运算量较大，对专用于图像处理的GPU依赖性很强。而GPU无法便携化，难以应用于移动机器人、便携化设备及可穿戴设备(如增强现实头显设备MicrosoftHoloLens)等。
技术实现思路
本专利技术实施例提供一种基于深度相机的三维重建方法、装置、设备及存储介质，解决了对目标场景进行三维重建时运算量大的问题，实现了将三维重建应用于便携化的设备中，使得三维重建的应用更加广泛。第一方面，本专利技术实施例提供了一种基于深度相机的三维重建方法，该方法包括：获取深度相机对目标场景进行采集得到的至少两帧图像；根据所述至少两帧图像确定采集时的相对相机位姿；针对每帧图像，采用至少两级嵌套筛选方式从图像中确定至少一个特征体素，其中，每级筛选采用对应的体素分块规则；依据各帧图像的相对相机位姿对各帧图像的至少一个特征体素进行融合计算，得到目标场景的栅格体素模型；生成所述栅格体素模型的等值面，得到所述目标场景的三维重建模型。第二方面，本专利技术实施例还提供了一种基于深度相机的三维重建装置，该装置包括：图像获取模块，用于获取深度相机对目标场景进行采集得到的至少两帧图像；位姿确定模块，用于根据所述至少两帧图像确定采集时的相对相机位姿；体素确定模块，用于针对每帧图像，采用至少两级嵌套筛选方式从图像中确定至少一个特征体素，其中，每级筛选采用对应的体素分块规则；模型生成模块，用于依据各帧图像的相对相机位姿对各帧图像的至少一个特征体素进行融合计算，得到目标场景的栅格体素模型；三维重建模块，用于生成所述栅格体素模型的等值面，得到所述目标场景的三维重建模型。第三方面，本专利技术实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；至少一个深度相机，用于对目标场景进行图像采集；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所述的基于深度相机的三维重建方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的基于深度相机的三维重建方法。本专利技术实施例通过获取深度相机采集的目标场景图像，确定深度相机在采集目标场景图像时的相对相机位姿，采用至少两级嵌套筛选方式确定各帧图像的特征体素，并进行融合计算得到目标场景的栅格体素模型，生成栅格体素模型的等值面，得到目标场景的三维重建模型。解决了对目标场景进行三维重建时运算量大的问题，实现了将三维重建应用于便携化的设备中，使得三维重建的应用更加广泛。附图说明为了更加清楚地说明本专利技术示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本专利技术所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。图1是本专利技术实施例一提供的一种基于深度相机的三维重建方法的流程图；图2是本专利技术实施例一提供的两级嵌套筛选方式的立方体示意图；图3是本专利技术实施例二提供的确定采集时的相对相机位姿的方法流程图；图4是本专利技术实施例三提供的从图像中确定至少一个特征体素的方法流程图；图5是本专利技术实施例三提供的确定至少一个特征体素的平面示意图；图6是本专利技术实施例四提供的一种基于深度相机的三维重建方法的流程图；图7是本专利技术实施例五提供的一种基于深度相机的三维重建装置的结构框图；图8是本专利技术实施例六提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种基于深度相机的三维重建方法的流程图，本实施例可适用于基于深度相机对目标场景进行三维重建的情况，该方法可以由基于深度相机的三维重建装置或电子设备来执行，该装置可采用硬件和/或软件的方式实现，下面结合图2的两级嵌套筛选方式的立方体示意图对图1的基于深度相机的三维重建方法进行示意说明，该方法包括：S101，获取深度相机对目标场景进行采集得到的至少两帧图像。其中，深度相机与传统相机不同之处在于该相机可同时拍摄景物的图像信息及其对应的深度信息，其设计原理是针对待测目标场景发射一参考光束，由计算回光的时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外，再结合传统的相机拍摄，以获取图像信息。而目标场景是指待进行三维重建的场景，例如，自动驾驶的汽车在公路上行驶时，目标场景为该汽车的行驶环境场景，通过深度相机实时采集该汽车的行驶环境图像。具体的，为了能够准确的对目标场景进行三维重建，要获取深度相机采集到的至少两帧图像进行处理，且获取的帧数越多，重建的目标场景模型就越准确。获取深度相机采集的图像的方法有很多，例如，可以是通过串口、网线等有线的方式进行获取，可以通过蓝牙、无线宽带等无线的方式进行获取。S102，根据至少两帧图像确定采集时的相对相机位姿。其中，相机的位姿是指相机的位置和姿态，具体的，位置代表相机的平移距离(如相机在X、Y、Z三个方向的平移变换)，姿态代表相机的旋转角度(如相机在X、Y、Z三个方向上的角度变换α、β、γ)。由于深度相机的视场角是固定的，拍摄的角度也是固定的，因此为了准确进行目标场景的三维重建，要改变深度相机的位姿，从不同的位置和角度进行拍摄，才能够精准的重建目标场景。因此，拍摄每帧图像时深度相机的相对位置和姿态都是不一样的，可以通过深度相机的相对位姿来表示，例如，深度相机可以按照一定的轨迹自动进行位置和姿态的变换，也可以是人工转动、移动深度相机进行拍摄。所以，要对采集每帧图像时的相对相机位姿进行确定，准确的将该帧图像重建到目标场景对应的位置。具体的，确定深度相机位姿的方法有很多，例如，可以通过在深度相机上安装测量平移距离和旋转角度的传感器，直接获取相机的位姿。由于深度相机在采集相邻两帧图像时相对位姿变化不大，为了更准确的获取相对相机位姿，可以通过对采集的图像进行本文档来自技高网...

【技术保护点】
1.一种基于深度相机的三维重建方法，其特征在于，包括：获取深度相机对目标场景进行采集得到的至少两帧图像；根据所述至少两帧图像确定采集时的相对相机位姿；针对每帧图像，采用至少两级嵌套筛选方式从图像中确定至少一个特征体素，其中，每级筛选采用对应的体素分块规则；依据各帧图像的相对相机位姿对各帧图像的至少一个特征体素进行融合计算，得到目标场景的栅格体素模型；生成所述栅格体素模型的等值面，得到所述目标场景的三维重建模型。

【技术特征摘要】
1.一种基于深度相机的三维重建方法，其特征在于，包括：获取深度相机对目标场景进行采集得到的至少两帧图像；根据所述至少两帧图像确定采集时的相对相机位姿；针对每帧图像，采用至少两级嵌套筛选方式从图像中确定至少一个特征体素，其中，每级筛选采用对应的体素分块规则；依据各帧图像的相对相机位姿对各帧图像的至少一个特征体素进行融合计算，得到目标场景的栅格体素模型；生成所述栅格体素模型的等值面，得到所述目标场景的三维重建模型。2.根据权利要求1所述的方法，其特征在于，根据所述至少两帧图像确定采集时的相对相机位姿，包括：对每帧图像进行特征提取，得到每帧图像的至少一个特征点；将相邻两帧图像间的各特征点进行匹配运算，得到所述相邻两帧图像间的特征点对应关系；移除所述特征点对应关系中的异常对应关系，通过包含剩余特征点二阶统计量的线性成分以及包含相对相机位姿的非线性成分计算J(ξ)TJ(ξ)中的非线性项对δ＝-(J(ξ)TJ(ξ))-1J(ξ)Tr(ξ)进行多次迭代计算，求解重投影误差小于预设误差阈值时的相对相机位姿；其中，r(ξ)表示包含所有重投影误差的向量，J(ξ)为r(ξ)的雅克比矩阵，ξ表示相对相机位姿的李代数，δ表示每次迭代时r(ξ)的增量值；Ri表示采集第i帧图像时相机的旋转矩阵；Rj表示采集第j帧图像时相机的旋转矩阵；表示第i帧图像上的第k个特征点；表示第j帧图像上的第k个特征点；Ci,j表示第i帧图像与第j帧图像的特征点对应关系的集合；||Ci,j||-1表示第i帧图像与第j帧图像的特征点对应关系的数量；[]×表示向量积；||Ci,j||表示取Ci,j的范数。3.根据权利要求2所述的方法，其特征在于，所述非线性项的表达式为：其中，表示线性成分；rilT和rjl表示非线性成分，rilT是旋转矩阵Ri中的第l行，rjl是旋转矩阵Rj中的第l行的转置，l＝0,1,2。4.根据权利要求1或2所述的方法，其特征在于，根据所述至少两帧图像确定采集时的相对相机位姿之后，还包括：若采集所述目标场景得到的当前帧图像为关键帧，则根据当前关键帧和历史关键帧进行回环检测；若回环成功，根据所述当前关键帧对已确定的相对相机位姿进行全局一致的优化更新。5.根据权利要求4所述的方法，其特征在于，在根据当前关键帧和历史关键帧进行回环检测之前，还包括：将采集所述目标场景得到的当前帧图像与上一关键帧图像进行匹配运算，得到两帧图像之间的转换关系矩阵；若所述转换关系矩阵大于或等于预设转换阈值，则确定所述当前帧图像为所述当前关键帧。6.根据权利要求1所述的方法，其特征在于，针对每帧图像，采用至少两级嵌套筛选方式从图像中确定至少一个特征体素，包括：针对每帧图像，将图像作为当前级筛选对象，并确定当前级体素单位；将所述当前级筛选对象按照当前级体素单位划分为体素块，根据体素块确定至少一个当前索引块；其中，所述当前索引块包含预设个数的体素块；在所有当前索引块中选取到目标场景表面的距离小于所述当前级体素单位对应距离阈值的至少一个特征块；如果所述特征块满足最小级体素单位的划分条件，则将所述特征块作为特征体素；如果所述特征块不满足最小级体素单位的划分条件，则将当前级筛选对象确定的所有特征块替换为新的当前级筛选对象，并选择下一级体素单位替换为新的当前级体素单位，返回执行针对当前级筛选对...

【专利技术属性】
技术研发人员：方璐，韩磊，苏卓，戴琼海，
申请(专利权)人：清华伯克利深圳学院筹备办公室，
类型：发明
国别省市：广东,44