一种基于深度图像的实时三维重建方法及系统技术方案

本发明专利技术提供一种基于深度图像的实时三维重建方法及系统，方法包括：获取目标物品的深度图序列；分别获取每一帧深度图f的E

【技术实现步骤摘要】
一种基于深度图像的实时三维重建方法及系统


[0001]本专利技术涉及三维重建
，特别涉及一种基于深度图像的实时三维重建方法及系统。

技术介绍

[0002]随着各种面向普通消费者的深度相机的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。
[0003]三维重建就是从输入数据中建立3D模型。对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，这个距离值为深度值(depth)，这些深度值共同组成了这一帧的深度图像。深度图像可以看做是一幅灰度图像，图像中的每一个点的灰度值代表了这个点在现实中的位置到相机所在垂直平面的真实距离距离。RGB图像中的每个点都会对应一个在相机的局部坐标系中的三维点。因此，深度相机的每一帧的深度图像相当于一个在相机的局部三维坐标系中的点云模型。基于深度相机的三维重建技术所使用的输入数据是RGB图像和深度图像，因此，这类技术也被称为基于RGBD数据的三维重建技术(D表示深度值，Depth)。
[0004]目前，一般采用TSDF（全称：truncated signed distance function，基于截断地带符号距离函数）三维模型表示方法进行三维重建，TSDF是三维重建的主流方法，TSDF三维重建的流程包括：首先，采集深度图，将采集到的所有深度图转换为顶点图和法向量图；其次，通过双边滤波降噪；使用ICP（Iterative Closest Point，迭代最近点）算法估测相机姿态；再者，计算TSDF模型；再进行场景融合，将当前帧的表面信息融合进重建模型。由此可得，在现有技术中，未对采集到的深度图序列进行冗余筛选而全部用于三维重建，然而在实际重建过程中，当使用深度相机扫描一个中型或者大型对象时，会采集得到上千帧深度图序列，但大部分帧的深度图序列是冗余的，因此，未对深度图序列进行筛选而直接将全部深度图序列用于三维重建，将导致建模计算量大，不仅需要更高性能的计算设备，提高建模成本，还影响建模效率，导致建模效率低，因此，现有技术中的三维重建方法，不利于实时重建。

技术实现思路

[0005]基于此，本专利技术的目的是提供一种基于深度图像的实时三维重建方法及系统，用于解决现有技术中将采集到的深度图序列不进行冗余筛选而全部用于三维重建，导致深度图序列的计算量大，建模效率低，不利于实时重建的技术问题。
[0006]本专利技术一方面提供一种基于深度图像的实时三维重建方法，包括：获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；分别获取每一帧深度图f的E
jit
(f)、E
dif
(f)、以及E
vel
(f)，所述E
jit
(f)用于衡量相机姿态变换幅度、所述E
dif
(f)用于衡量深度图是否提供足够信息重建，所述E
vel
(f)用于衡
量相机移动速度；根据每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel
(f)判断是否满足1+E
jit
(f)＞E
dif
(f)+E
vel
(f)；若满足1+E
jit
(f)＞E
dif
(f)+E
vel
(f)，则淘汰对应帧的深度图；若不满足1+E
jit
(f)＞E
dif
(f)+E
vel
(f)，则入选对应帧的深度图以进行三维重建。
[0007]上述基于深度图像的实时三维重建方法，通过分别获取E
jit
(f)以及E
vel
(f)用于筛选抖动帧、通过获取E
dif
(f)用于筛选冗余帧，从而对深度图序列进行筛选，以提供尽可能少但又包含足够重建信息的深度图序列进行三维重建，大大减少了计算量，也避免了冗余计算，可以降低对设备性能的需求，利于实时重建，解决了现有技术中将采集到的深度图序列全部用于三维重建，不进行冗余筛选，导致深度图序列的计算量大，不利于实时重建。
[0008]另外，根据本专利技术上述的基于深度图像的实时三维重建方法，还可以具有如下附加的技术特征：进一步地，分别获取每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel
(f)的步骤之前包括：根据相机内参计算出相邻两帧深度图中每一像素点的相机坐标系坐标；根据相邻两帧深度图中每一像素点的相机坐标系坐标计算出相机姿态，所述相机姿态包括相机相对于初始时刻的旋转变换和平移变换，当相机姿态通过矩阵表示时，则旋转变换用旋转矩阵表示、平移变换用平移矩阵表示；其中，相机姿态的计算公式为：；其中，R、t分别为相机姿态的旋转矩阵以及平移矩阵；P
s
为上一帧深度图中相机坐标系下的像素点的集合，即源点集合；P
t
为当前帧深度图中相机坐标系下的像素点的集合，即目标点集合；W
i
为源点变换后和目标点之间距离的权重，像素深度值越小，权重越大；为范数的平方；i用于表示元素的序号；用于表示源点集合中的一个元素；用于表示目标点集合中的一个元素。
[0009]进一步地，权重的计算公式为：；其中，Z
i
为源点集合点i的深度；α、β为可调参数，用于控制权重大小。
[0010]进一步地，在分别获取每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel
(f)的步骤中，E
jit
(f)的计算公式为：；其中，，<﹒>表示向量内积，表示向量长度，v
f
表示当前帧相机观看方向向量；v
f
‑1表示上一帧相机观看方向向量；
，表示当前帧之前若干帧（可调参数）的平均相机观看方向向量；，其中，v
k
表示上一个评价合格的帧的相机观看方向向量；用于衡量当前帧与上一帧之间的移动差距；用于衡量当前帧与之前一段时间内平均移动的差距；用于衡量当前帧与上一个被选中的帧的移动差距。
[0011]进一步地，在分别获取每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel
(f)的步骤中，E
dif
(f)的计算公式为：；其中，k表示上一个评价合格的帧；θ
j
与θ
f
定义相同，S为可调参数，用于调整θ
j
权重，表示向量长度，l
j
表示帧j时刻相机的位置向量。
[0012]进一步地，在分别获取每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel...

【技术保护点】

【技术特征摘要】
1.一种基于深度图像的实时三维重建方法，其特征在于，包括：获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；分别获取每一帧深度图f的E
jit
(f)、E
dif
(f)、以及E
vel
(f)，所述E
jit
(f)用于衡量相机姿态变换幅度、所述E
dif
(f)用于衡量深度图是否提供足够信息重建，所述E
vel
(f)用于衡量相机移动速度；根据每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel
(f)判断是否满足1+ E
jit
(f)＞E
dif
(f)+ E
vel
(f)；若满足1+ E
jit
(f)＞E
dif
(f)+ E
vel
(f)，则淘汰对应帧的深度图；若不满足1+ E
jit
(f)＞E
dif
(f)+ E
vel
(f)，则入选对应帧的深度图以进行三维重建。2.根据权利要求1所述的基于深度图像的实时三维重建方法，其特征在于，分别获取每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel
(f)的步骤之前包括：根据相机内参计算出相邻两帧深度图中每一像素点的相机坐标系坐标；根据相邻两帧深度图中每一像素点的相机坐标系坐标计算出相机姿态，所述相机姿态包括相机相对于初始时刻的旋转变换和平移变换，当相机姿态通过矩阵表示时，则旋转变换用旋转矩阵表示、平移变换用平移矩阵表示；其中，相机姿态的计算公式为：；其中，R、t分别为相机姿态的旋转矩阵以及平移矩阵；P
S
为上一帧深度图中相机坐标系下的像素点的集合，即源点集合；P
t
为当前帧深度图中相机坐标系下的像素点的集合，即目标点集合；W
i
为源点变换后和目标点之间距离的权重，像素深度值越小，权重越大；为范数的平方；i用于表示元素的序号；用于表示源点集合中的一个元素；用于表示目标点集合中的一个元素。3.根据权利要求2所述的基于深度图像的实时三维重建方法，其特征在于，权重的计算公式为：；其中，Z
i
为源点集合点i的深度；α、β为可调参数，用于控制权重大小。4.根据权利要求1所述的基于深度图像的实时三维重建方法，其特征在于，在分别获取每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel
(f)的步骤中，E
jit
(f)的计算公式为：；其中，，< ﹒ >表示向量内积，表示向量长度，v
f
表示当前帧相机观看方向向量；v
f
‑1表示上一帧相机观看方向向量；
，表示当前帧之前若干帧（可调参数）的平均相机观看方向向量；，其中，v
k
表示上一个评价合格的帧的相机观看方向向量；用于衡量当前帧与上一帧之间的移动差距；用于衡量当前帧与之前一段时间内平均移动的差距；用于衡量当前帧与上一个被选中的帧的移动差距。5.根据权利要求4所述的基于深度图像的实时三维重建方法，其特征在于，在分别获取每一帧深度图的E
jit
(f)、E
dif
(f)、以及E
vel

【专利技术属性】
技术研发人员：黄浩，颜钱，
申请(专利权)人：江西求是高等研究院，
类型：发明
国别省市：