一种基于虚拟相机的投影散斑校正方法技术

本发明专利技术公开了一种基于虚拟相机的投影散斑图像校正方法，属于视频研究技术领域。本方法在相机图像平面与过投影机焦点的屏幕法线相交位置构造虚拟相机，利用相机和投影机水平基线距离计算虚拟相机中图像偏移距离。提取相机接收到的图像中投影区域的特征点，确定转移矩阵，变换投影散斑到虚拟相机平面，得到校正后的投影散斑。本发明专利技术有效地解决了结构光深度提取中相机与投影机图像间像素大小不匹配的问题，并且避免了相机和投影机的标定，计算方便快捷，便于利用相机和投影机搭建结构光测量系统，从而获得质量较好的深度图。

A projection speckle correction method based on virtual camera

The invention discloses a projection speckle image correction method based on a virtual camera, belonging to the field of video research technology. The method constructs a virtual camera at the position of the camera image plane and the screen normal of the focus of the projector, and calculates the image offset distance in the virtual camera by using the horizontal baseline distance of the camera and the projector. The feature points of the projection region in the received image are extracted, the transfer matrix is determined, and the projection speckle is transformed to the virtual camera plane to obtain the corrected projection speckle. The invention effectively solves the problems of camera and projector light extraction in image structure depth pixel size does not match the problem, and avoid the calibration of camera and projector, the calculation is convenient, easy to use camera and projector to build a structure light measurement system, so as to obtain the better quality of the depth map.

【技术实现步骤摘要】
一种基于虚拟相机的投影散斑校正方法
本专利技术属于立体视频中基于结构光的复杂场景采样与重建领域，特别涉及相机和投影机参数不同且任意位置时的场景重建。
技术介绍
人类感知外部事物的主要方式是通过视觉，有研究表明，人类获取的所有信息中的80％是来自视觉系统。人类观察到的物体具有立体感，是因为人类的视觉系统能够从双眼看到的图像中计算场景深度值、恢复场景三维信息。但是在传统的2D视频中，深度信息没有被记录下来，导致视觉系统无法从平面图像中获得三维信息，使用户难以获得立体感和临场感。3D视频技术的出现就是为了保留场景深度信息，使用户在获取场景纹理信息的同时也能感受到场景的深度信息，从而产生立体感受，给用户带来真实的身临其境的感觉。3D视频中最重要的前提是深度获取，目前很多国家的研究机构提出了各种深度获取方法并且已经搭建了系统，如MIT、斯坦福大学、德国HHI以及名古屋大学等。由于传统双目视觉无法获取弱纹理区域的深度值，目前最广泛采用的深度获取方法是基于结构光的主动视觉技术。基本的结构光测量系统由一个相机和一个投影机组成，投影机投射经过编码的散斑到场景表面，相机拍摄带有散斑的场景图像，计算投射散斑和拍摄到的散斑之间的偏移量，可以获得场景的深度信息。微软公司研制的Kinect是利用结构光技术获取深度的代表，利用光编码技术，结合红外投影机和红外CMOS传感器直接获取深度值。Kinect是成熟的商用产品，灵活性较差，并且深度精度和探测距离有限制。实际应用中常用相机和投影机搭建结构光深度测量系统。由于相机和投影机参数不同，并且摆放位置很难像Kinect中的相机和红外收发器一样严格对齐，所以相机拍摄到的投影区域与设计的投影散斑形状不同。为了便于在水平极线上进行匹配，需要对投影散斑进行校正，使其与相机拍摄到的投影区域形状相同并且像素大小相同。在传统双目立体视觉中，图像校正前要对相机和投影机进行标定，获得其内外参数。标定过程是比较复杂的，需要多方位拍摄标定板图像，进行大量计算，并且标定的精度对图像校正的结果影响较大。这会使深度信息获取的过程变的复杂并且结果稳定性变差，不能适应实际中方便快捷的使用。
技术实现思路
本专利技术针对搭建结构光测量系统的复杂性问题，设计了一种基于虚拟相机的投影散斑校正方法，所述方法构造了一个虚拟相机。由于虚拟相机和真实相机的图像像素大小相同，可以直接匹配计算深度图，二者图像之间存在水平偏移，这个偏移量可由图像坐标与世界坐标之间的比例关系计算。将投影散斑变换到虚拟相机，即可得到校正后的散斑图像。本专利技术提供的一种基于虚拟相机的投影散斑校正方法，包括如下步骤：步骤一，设计带有棋盘格边界的随机散斑；步骤二，投影机投射散斑到场景中，相机拍摄带有散斑的场景图像，确定散斑上棋盘格角点的位置；步骤三，在相机图像平面和过投影机焦点的屏幕法线相交位置构造虚拟相机的成像位置，虚拟相机在该位置获取到校正后的散斑图像，该图像和真实相机拍摄的散斑图像形状相同并且像素大小一致，计算虚拟相机上的图像平移量，确定校正后图像的位置；步骤四，计算校正前的投影散斑和校正后的散斑图像之间的单应性矩阵，确定校正后图像的灰度值；步骤五，结合第三步得到的校正图像的位置和第四步得到的校正图像灰度，生成最终的校正图像。本专利技术的优点和积极效果在于：(1)结合相机和投影机的标定和校正过程，并对这两个过程做了简化，用确定的对应点直接进行图像校正，避免了标定中计算相机和投影机内外参数的过程。(2)适用于实际中的各种情况，例如投影机投射出的图像变形、相机与投影机视角范围不同、相机与投影机图像平面不平行等情况。(3)灵活性高，可以方便的增加分辨率来提高深度精度、增加投射光强来提高深度检测距离，适用于工业和科研领域。附图说明图1是本专利技术中基于虚拟相机的投影散斑校正方法进行图像校正和匹配计算深度值的示意图；图2是本专利技术中设计的投影散斑图像示意图；图3是本专利技术中构造的虚拟相机位置示意图；图4是本专利技术中计算虚拟相机图像偏移量的示意图。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。如图1所示，本专利技术提供一种基于虚拟相机的投影散斑校正方法，所述投影散斑校正方法中，在相机图像平面与过投影机焦点的屏幕法线相交位置构造虚拟相机，用来接收校正后的散斑图像；其后，计算校正图像和相机图像之间的平移量，结合相机图像提供的投影散斑位置信息，确定校正图像中投影散斑区域的位置。通过对应点计算投影散斑和校正图像之间的单应性矩阵，将投影散斑图像变换到虚拟相机中，获得校正后的图像。将相机图像与校正图像进行匹配，得到场景深度图。具体实现步骤如下说明。步骤一，设计带有棋盘格边界的随机散斑。如图2所示，所设计的散斑结合了随机散斑和棋盘格散斑的优点，结合并简化了标定和校正过程。棋盘格区域的设计是相机标定过程中标定板的简化，只保留在散斑边缘区域。由于在对物体进行深度测量时，投影散斑完全覆盖物体，边缘区域不会受到物体影响，可以正确提取对应点。此外，相机拍摄的图像在图像边缘区域畸变较严重，将棋盘格散斑设计在边缘区域能更好地提取畸变特征，从而更容易消除畸变。步骤二，投影机投射散斑到场景中，相机拍摄带有散斑的场景图像，确定散斑上棋盘格角点的位置。相机拍摄到的图像中的棋盘格角点检测可以使用OpenCV中的函数完成，保存相机图像中角点的位置。投影机投射的散斑是在步骤一中设计的，其中的棋盘格角点可以直接获得。保存投影散斑中角点的位置，得到投射前和投射后散斑的对应点。步骤三，在相机图像平面和过投影机焦点的屏幕法线相交位置构造虚拟相机的成像位置，计算虚拟相机上的图像平移量，确定校正后图像的位置。相机图像平面是指真实相机拍摄的图像所在的平面。虚拟相机是设想出来的一个成像位置，在这个位置上获取的图像和真实相机拍摄的散斑区域形状相同、像素大小相等，二者能够直接进行匹配获取深度，所以虚拟相机的图像就是校正后的散斑图像。虚拟相机的图像平面中心位于相机图像平面和过投影机焦点的屏幕法线相交位置，主要因为以下两点因素：(1)校正后的图像和相机拍摄到的图像形状相同并且像素大小一致，则要求虚拟相机和真实相机的视角范围相同、视角方向相同。只有在与相机平面共面的位置才能保证二者图像能够匹配。(2)校正图像能与相机图像进行匹配获取场景深度信息，则要求虚拟相机位置能正确反应出视差。由于视差和相机与投影机的基线距离有关，设置虚拟相机的位置位于相机图像平面和过投影机焦点的屏幕法线上，竖直位置与投影机相同，水平方向上和相机基线距离不变。综上所述，如图3所示，表示了实际应用中相机和投影机视角范围不同且图像平面不平行的情况。V是构造的虚拟相机的焦点位置，C是真实相机焦点，P是投影机焦点。为了更好地说明拍摄到的图像位置，在相机前放置了一个投影屏幕，从P出发的两条斜线代表投影机的视角范围，与投影屏幕围成的三角形是投影区域，在真实相机中只占整幅图像的一部分。如图1所示，真实相机图像和校正图像存在水平方向偏移，这个偏移量反映了相机焦点到投影屏幕的距离。由于二维图像变换不能保留距离信息，在第一次使用本方法时需测量相机到投影屏幕的距离，如果要获得相对距离，而不是精确的距离值，相机到投影屏幕的距离可设为估计值。真实相机图像和校正图像水平方向的偏移量通过世界坐标系本文档来自技高网...

【技术保护点】
一种基于虚拟相机的投影散斑校正方法，其特征在于：包括如下步骤：步骤一，设计带有棋盘格边界的随机散斑；步骤二，投影机投射散斑到场景中，相机拍摄带有散斑的场景图像，确定散斑上棋盘格角点的位置；步骤三，在相机图像平面和过投影机焦点的屏幕法线相交位置构造虚拟相机的成像位置，虚拟相机在该位置获取到校正后的散斑图像，该图像和真实相机拍摄的散斑图像形状相同并且像素大小一致，计算虚拟相机上的图像平移量，确定校正后图像的位置；步骤四，计算校正前的投影散斑和校正后的散斑图像中棋盘格角点之间的单应性矩阵，确定校正后图像的灰度值；步骤五，结合步骤三得到的校正后图像的位置和步骤四得到的校正后图像的灰度，生成最终的校正图像。

【技术特征摘要】
1.一种基于虚拟相机的投影散斑校正方法，其特征在于：包括如下步骤：步骤一，设计带有棋盘格边界的随机散斑；步骤二，投影机投射散斑到场景中，相机拍摄带有散斑的场景图像，确定散斑上棋盘格角点的位置；步骤三，在相机图像平面和过投影机焦点的屏幕法线相交位置构造虚拟相机的成像位置，虚拟相机在该位置获取到校正后的散斑图像，该图像和真实相机拍摄的散斑图像形状相同并且像素大小一致，计算虚拟相机上的图像平移量，确定校正后图像的位置；步骤四，计算校正前的投影散斑和校正后的散斑图像中棋盘格角点之间的单应性矩阵，确定校正后图像的灰度值；步骤五，结合步骤三得到的校正后图像的位置和步骤四得到的校正后图像的灰度，生成最终的校正图像。2.根据权利要求1中所述的一种基于虚拟相机的投影散斑校正方法，其特征在于：步骤三中所述的确定校正后图像的位置，实现方法是：虚拟相机上的图像是真实相机上图像的平移，依据相机图像坐标和世界坐标之间的比例关系计算平移量；设真实相机与投影机在水平方向的基线距离为dw，在真实相机前面放置一个参考平面，参考平面到真实相机的距离为Z，设相机的焦距为f，则虚拟相机上的图像...

【专利技术属性】
技术研发人员：刘荣科，杜秋晨，潘宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11