基于理想视点的非规则表面投影图像几何校正方法技术

本发明专利技术涉及一种基于理想视点的非规则表面投影图像几何校正方法，其特征在于：将kinect v2.0和投影机固定到支撑调节机构上，并可以通过手动方式调整支撑调节机构的方位、俯仰方向的角度，进而调整kinect v2.0的拍摄角度和投影机的投影角度，确保kinect v2.0可以拍摄到投影机投射的全部图像；kinect v2.0和投影机都通过电缆与计算机连接；首先对非规则投影表面进行三维建模，建立理想视点以及视点坐标系，将投影表面的三维信息值转换为视点坐标系下的三维信息值，在视点坐标系下对投影图像进行几何校正。该方法无需进行摄像机‑投影机联合标定，采用理想视点替代摄像机作为基准进行几何校正，基于理想视点的几何校正满足观察者的视觉需求是本发明专利技术的最大特点。

Geometric correction method of irregular surface projection image based on ideal viewpoint

The invention relates to a geometric correction method for irregular surface projection image based on an ideal viewpoint, which is characterized in that the Kinect v2.0 and the projector are fixed on the support adjusting mechanism, and the azimuth and pitch angle of the support adjusting mechanism can be adjusted manually, and then the shooting angle and the pitch angle of the Kinect v2.0 can be adjusted. The projection angle of the projector ensures that all the images projected by the projector can be captured by Kinect v2.0; Kinect v2.0 and projector are connected to the computer by cable; firstly, the irregular projection surface is modeled in three dimensions, the ideal viewpoint and the viewpoint coordinate system are established, and the three-dimensional information value of the projection surface is converted to the viewpoint seat. Three dimensional information value under the coordinate system, and geometric correction of projection image in the viewpoint coordinate system. The method does not require joint calibration of the camera and projector, and uses an ideal viewpoint instead of the camera as the datum for geometric correction. The geometric correction based on the ideal viewpoint is the greatest feature of the invention.

【技术实现步骤摘要】
基于理想视点的非规则表面投影图像几何校正方法
本专利技术涉及一种基于理想视点的非规则表面投影图像几何校正方法，属于计算机视觉

技术介绍
最初专利技术投影机都是针对投影表面是平面，当投射出来的画面为矩形时，符合人眼视觉的感知特性，而当投影表面是非平面时，投影画面就会发生变形失真。现在的投影机都自带有水平和垂直梯形校正功能，但通常投影机自带的校正不能满足几何校正的要求，这时候需要对投影画面做出调整，因此投影机自适应投影环境的几何校正是投影系统中的研究热点。最常用的投影机几何校正的方法是通过摄像机对投影画面进行拍摄，从而计算出原始投影图像和摄像机采集图像之间的几何对应关系，再以此进行几何校正。肖朝等人通过采用投影结构光栅和摄像机拍摄得到变形光栅特征像素点的对应关系进行投影几何校正。朱博等人使用基于二进制编码高斯球的离散映射集合方法，通过计算对应像素映射关系消除投影图像的几何畸变。基于摄像机的投影机几何校正方法中，首先需要对摄像机进行标定，然后再利用标定后的摄像机去采集投影机投射的特征信息，从而得到投影机像平面与目标投影表面的几何对应关系。这种方法容易受到各种外部环境因素的制约，例如投影面介质的反射属性、摄像机所处的光照条件、投影环境的背景干扰等。综上所述，在现有的几何校正方法中，通常是以摄像机为基准进行，这就可能导致观察者离摄像机越远，观察校正后的图像越不符合观察者的视觉需求。
技术实现思路
本专利技术的目的在于提供一种理想视点的非规则表面投影图像几何校正方法，首先对非规则投影表面进行三维建模，建立理想视点以及视点坐标系，将投影表面的三维信息值转换为视点坐标系下的三维信息值，在视点坐标系下对投影图像进行几何校正。该方法无需进行摄像机-投影机联合标定，采用理想视点替代摄像机作为基准进行几何校正，基于理想视点的几何校正满足观察者的视觉需求是本专利技术的最大特点。本专利技术的技术方案实现如下：基于理想视点的非规则表面投影图像几何校正方法，采用设备为kinectv2.01、投影机2、支撑调节机构3、计算机4、非规则投影面5；其特征在于：将kinectv2.01和投影机2固定到支撑调节机构3上，并可以通过手动方式调整支撑调节机构3的方位、俯仰方向的角度，进而调整kinectv2.01的拍摄角度和投影机2的投影角度，确保kinectv2.01可以拍摄到投影机2投射的全部图像；kinectv2.01和投影机2都通过电缆与计算机4连接；其具体的步骤如下：步骤1：使用棋盘格标定板，设定棋盘格图像中的方格大小SquareSize，SquareSize＝20mm，同时利用方格构造棋盘格图像的水平方向上Hc个角点和竖直方向上Vc个角点，其中Hc＝12(个)，Vc＝15(个)，通过支撑调节机构3调整kinectv2.01使得棋盘格标定板能够在kinectv2.01的RGB相机和深度相机都能采集的视野范围内。利用opencv2.10的InitCorners3D函数和方格大小SquareSize求取棋盘格标定板图像中的所有角点的世界坐标值i＝1，2…Hc，j＝1，2，…Vc。步骤2：利用kinectv2.01的RGB相机采集棋盘格标定板图像为Pic_RGB，利用opencv2.10的cvCvtColor函数对图像Pic_RGB进行灰度化处理得到图像Pic_RGB_gray，接着利用opencv2.10的cvFindChessboardCorners函数对图像Pic_RGB_gray进行角点检测得到所有的角点坐标信息值i＝1，2…Hc，j＝1，2，…Vc；接着利用opencv2.10的cvCalibrateCamera2函数获取kinectv2.01的RGB相机的内参数矩阵HRGB以及相对于棋盘格标定板的旋转向量RVRGB和位移向量TRGB；再利用opencv2.10的Rodrigues函数对旋转向量RVRGB进行转换得到RGB相机相对于棋盘格标定板的旋转矩阵RRGB。步骤3：利用kinectv2.01的深度相机采集棋盘格标定板图像为Pic_IR，利用OpenCV2.10的cvCvtColor函数对图像Pic_IR进行灰度化处理得到图像Pic_IR_gray，接着利用opencv2.10的cvFindChessboardCorners函数对图像Pic_IR_gray进行角点检测得到所有的角点坐标信息值i＝1，2…Hc，j＝1，2，…Vc；接着利用opencv2.10的cvCalibrateCamera2函数获取kinectv2.01的相机的内参数矩阵HIR以及相对于棋盘格标定板的旋转向量RVIR和位移向量TIR；再利用opencv2.10的Rodrigues函数对旋转向量RVIR进行转换得到kinectv2.01的深度相机相对于棋盘格标定板的旋转矩阵RIR。步骤4：利用步骤2得到的kinectv2.01的RGB相机相对于棋盘格标定板的旋转矩阵RRGB和位移向量TRGB，利用步骤3得到的kinectv2.01的深度相机相对于棋盘格标定板的旋转矩阵RIR和位移向量TIR，结合公式R＝RRGBRIR-1；T＝TRGB-RRGBRIR-1TIR＝TRGB-RTIR求取kinectv2.01的深度相机与RGB相机之间的空间旋转关系R以及空间位移关系T。步骤5：利用投影机2将步骤1设定的棋盘格图像投射到非规则投影面5上，记录投影机缓存棋盘格图像中的任意方格的四个角点以及该四个角点对应的视点v坐标系中二维信息值同时利用kinectv2.01的深度相机采集非规则投影面5表面上的调制的棋盘格图像中所有角点三维深度值i＝1，2，3….k，k＜＝Hc，j＝1，2，3…..h，h＜＝Vc；利用公式得到调制棋盘格图像中的角点在kinectv2.01的RGB相机下角点的三维信息值i＝1，2，3….k，k＜＝Hc，j＝1，2，3…..h，h＜＝Vc。步骤7：利用公式对所有kinectv2.01的RGB相机下角点的三维信息值中的深度值Z进行均值求解得到Z*值，其中n为kinectv2.01的RGB相机下角点的总个数。步骤8：设定与kinectv2.01的RGB相机xrgb-orgb-yrgb平面平行且Z轴坐标值为z*的平面作为目标校正平面planeTarget，利用公式Xmin＝min{X1，X2...Xn}；Xmax＝max{X1，X2...Xn}；Ymin＝min{Y1，Y2...Yn}；Ymax＝max{Y1，Y2...Yn}；获取目标校正平面planeTarget中所有角点横坐标的最小值Xmin和最大值Xmax以及纵坐标的最小值Ymin以及最大值Ymax。步骤9：构建目标校正平面planeTarget的目标校正矩形ABCD，其中利用公式A＝(Xmin，Ymin，Z*)，B＝(Xmax，Ymin，Z*)；C＝(Xmax，Ymax，Z*)，D＝(Xmin，Ymax，Z*)；可得目标校正矩形ABCD中四个顶点的三维坐标值；利用公式求取目标校正矩形ABCD中对角线AC和BD的交点E，E的三维坐标值为(EX，EY，Z*)；步骤10：建立理想视点V以及视点坐标系v-xyz，其中视点坐标系与kinectv2.01采用相同的右手坐标系，设定理想视点V到目标校正平面的距离为d(本本文档来自技高网...

【技术保护点】
1.基于理想视点的非规则表面投影图像几何校正方法，采用设备为kinect v2.0、投影机、支撑调节机构、计算机、非规则投影面；其特征在于：将kinect v2.0和投影机固定到支撑调节机构上，并可以通过手动方式调整支撑调节机构的方位、俯仰方向的角度，进而调整kinect v2.0的拍摄角度和投影机的投影角度，确保kinect v2.0可以拍摄到投影机投射的全部图像；kinect v2.0和投影机都通过电缆与计算机连接；其具体的步骤如下：步骤1：使用棋盘格标定板，设定棋盘格图像中的方格大小SquareSize，SquareSize＝20mm，同时利用方格构造棋盘格图像的水平方向上Hc个角点和竖直方向上Vc个角点，其中Hc＝12(个)，Vc＝15(个)，通过支撑调节机构调整kinect v2.0使得棋盘格标定板能够在kinect v2.0的RGB相机和深度相机都能采集的视野范围内；利用opencv2.10的InitCorners3D函数和方格大小SquareSize求取棋盘格标定板图像中的所有角点的世界坐标值

【技术特征摘要】
1.基于理想视点的非规则表面投影图像几何校正方法，采用设备为kinectv2.0、投影机、支撑调节机构、计算机、非规则投影面；其特征在于：将kinectv2.0和投影机固定到支撑调节机构上，并可以通过手动方式调整支撑调节机构的方位、俯仰方向的角度，进而调整kinectv2.0的拍摄角度和投影机的投影角度，确保kinectv2.0可以拍摄到投影机投射的全部图像；kinectv2.0和投影机都通过电缆与计算机连接；其具体的步骤如下：步骤1：使用棋盘格标定板，设定棋盘格图像中的方格大小SquareSize，SquareSize＝20mm，同时利用方格构造棋盘格图像的水平方向上Hc个角点和竖直方向上Vc个角点，其中Hc＝12(个)，Vc＝15(个)，通过支撑调节机构调整kinectv2.0使得棋盘格标定板能够在kinectv2.0的RGB相机和深度相机都能采集的视野范围内；利用opencv2.10的InitCorners3D函数和方格大小SquareSize求取棋盘格标定板图像中的所有角点的世界坐标值步骤2：利用kinectv2.0的RGB相机采集棋盘格标定板图像为Pic_RGB，利用opencv2.10的cvCvtColor函数对图像Pic_RGB进行灰度化处理得到图像Pic_RGB_gray，接着利用opencv2.10的cvFindChessboardCorners函数对图像Pic_RGB_gray进行角点检测得到所有的角点坐标信息值接着利用opencv2.10的cvCalibrateCamera2函数获取kinectv2.0的RGB相机的内参数矩阵HRGB以及相对于棋盘格标定板的旋转向量RVRGB和位移向量TRGB；再利用opencv2.10的Rodrigues函数对旋转向量RVRGB进行转换得到RGB相机相对于棋盘格标定板的旋转矩阵RRGB；步骤3：利用kinectv2.0的深度相机采集棋盘格标定板图像为Pic_IR，利用OpenCV2.10的cvCvtColor函数对图像Pic_IR进行灰度化处理得到图像Pic_IR_gray，接着利用opencv2.10的cvFindChessboardCorners函数对图像Pic_IR_gray进行角点检测得到所有的角点坐标信息值接着利用opencv2.10的cvCalibrateCamera2函数获取kinectv2.0的相机的内参数矩阵HIR以及相对于棋盘格标定板的旋转向量RVIR和位移向量TIR；再利用opencv2.10的Rodrigues函数对旋转向量RVIR进行转换得到kinectv2.0的深度相机相对于棋盘格标定板的旋转矩阵RIR；步骤4：利用步骤2得到的kinectv2.0的RGB相机相对于棋盘格标定板的旋转矩阵RRGB和位移向量TRGB，利用步骤3得到的kinectv2.0的深度相机相对于棋盘格标定板的旋转矩阵RIR和位移向量TIR，结合公式R＝RRGBRIR-1；T＝TRGB-RRGBRIR-...

【专利技术属性】
技术研发人员：韩成，张超，杨帆，李华，蒋振刚，权巍，薛耀红，黄鑫，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林,22