一种基于长方体的Kinect深度相机的内参标定方法技术

本发明专利技术公开了一种基于长方体的Kinect深度相机的内参标定方法。将高精度长方体摆在地面上，用Kinect深度相机拍摄；由多帧图像深度数据，生成相同帧数的法向图；划分标定物体的平面，得到平面深度数据；再通过透视投影逆过程得到三维点集；进行最小二乘拟合方法，获取对应的平面；计算被标记的平面与平面之间的夹角与距离；实际测量高精度长方体的角度和距离并比较，构造以差值最小为目的的优化目标函数，对Kinect深度相机的内参进行优化，使得目标函数最小化，完成对Kinect深度相机的标定。本发明专利技术方法仅使用深度信息，可广泛适用于一系列深度相机和应用场景；所标定的相机内参可用于三维重建，较现有标定方法提升了精度。

【技术实现步骤摘要】
一种基于长方体的Kinect深度相机的内参标定方法
本专利技术涉及一种相机标定方法，尤其是涉及计算机视觉领域的一种基于长方体的Kinect深度相机的内参标定方法。
技术介绍
微软公司于2010年末发售的用于Xbox360游戏机的附属体感交互设备Kinect受到了计算机研究工作者的关注。Kinect包含一颗普通光学相机以及由一颗红外相机和一颗红外投影组成的深度相机，能够根据其深度检测方法以每秒30帧的速率实时返回拍摄场景的深度信息。该设备作为一种消费级的深度相机相比传统的深度相机具有较大的价格优势，因而受到了研究者的欢迎，在人体姿态识别，机器人应用，物体识别，3D测量等领域都出现了相应的研究工作。近年来随着3D打印技术的崛起，出现了使用Kinect深度相机对场景或者物体进行实时三维重建的工作，其中较著名的工作为2012年微软的KinectFusion工作，该技术利用Kinect作为深度扫描设备，结合GPU的并行处理能力，可以实时重建扫描场景的三维模型。标定对于相机应用有非常重要的意义。在3D视觉中，我们需要了解物体在三维空间中的坐标与成像平面坐标的关系。使用深度信息进行三维重建过程主要包括从深度信息到三维空间的投影，而深度相机的内参直接参与了投影计算，因而内参直接影响投影重建精度。相机的标定过程即为求取相机模型中用于建模投影的参数的过程。不同的应用场景对相机标定的要求存在差异，Kinect设备在出场时，厂商会对设备进行一次标定，并且将标定的结果写入设备的固件之中，这组相机参数称为厂商标定内参。厂商标定内参能够满足Kinect的日常娱乐应用，但用于三维重建这样的测量性应用，厂商的标定参数则不能很好的满足精确度要求，因而需要再次对Kinect深度相机进行标定，以求得相对更加精确的深度相机内参，提高三维重建的精确度。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种基于长方体的Kinect深度相机的内参标定方法，利用三维物体进行深度相机参数标定，针对Kinect深度相机，进行精确内参标定。本专利技术的目的是通过以下方法的技术方案来是实现的：1)将已知尺寸的至少三个高精度长方体组成长方体组摆在地面上，并用Kinect深度相机在多个不同的角度进行拍摄；所述高精度长方体各个表面的平面度达到0.1mm，高精度长方体的表面能够反射Kinect深度相机所发射的红外光；2)根据步骤1)中拍摄得到的深度图像中的多帧深度数据，通过透视投影逆过程生成回投至相机局部坐标系下的三维空间中，生成相同帧数的法向图；3)并在法向图上划分标定物体的平面，得到平面深度数据；4)将步骤3)中得到的平面深度数据，通过透视投影逆过程回投至相机局部坐标系下的三维空间中，得到各个平面对应的三维点集Q；5)对步骤4)得到的每个三维点集Q进行最小二乘拟合方法，获取三维点集Q对应的平面；6)根据步骤5)得到的平面计算被标记的平面与平面之间的夹角与距离；7)实际测量高精度长方体的被标记的平面与平面之间的角度和距离，并与步骤6)得到的夹角与距离比较，构造以差值最小为目的的优化目标函数，通过该优化目标函数使用非线性迭代优化方法，重复进行步骤4)到步骤6)，对Kinect深度相机的内参进行优化，使得目标函数最小化，完成对Kinect深度相机的内参标定。所述步骤1)中至少三个高精度长方体摆在地面上的排列使得Kinect深度相机能拍摄到由具有公共顶点的三个相邻面组成的公共顶点面组和由两个相互平行的面组成的平行面组，公共顶点面组至少有一组，平行面组至少两组。所述步骤1)中Kinect深度相机相对于长方体组的中心旋转多个不同的角度拍摄，每次旋转的角度至少为9度。所述步骤1)中，在每个角度拍摄时，设定多个不同的Kinect深度相机到长方体组中心之间的距离范围，并从各个距离范围中随机地选取一拍摄距离进行拍摄。所述步骤2)中由拍摄得到的深度图像生成相同帧数的法向图的具体过程为：2.1)对每个深度图像I中的每个像素，取以其为中心的一个窗口作为计方法向的窗口W，窗口宽度为r；2.2)根据由生产厂商设定的内参经验值将窗口内的每个深度点q′通过透视投影逆过程回投至相机局部坐标系下的三维空间中，得到包含r2个点的三维点集Q＝{qi|i＝1，2，...，r2}，且q＝(x，y，z)，其中每个深度点表示为q′＝(u，v，d(u，v))，(u，v)表示一个像素点在深度图像中的坐标，d(u，v)表示像素(u，v)在深度图中的深度值；2.3)根据三维点集Q，用最小二乘拟合法得到一个平面，其法向量为三维向量n＝(a，b，c)，平移量是m；2.4)将三维向量n的三个分量a、b、c分别采用以下公式映射到RGB空间中的红、绿、蓝三个值上，得到窗口W中心像素的RGB颜色值：2.5)对深度图像I内每一个像素点重复步骤2.1)～2.4)，即可为I中的每个像素生成一组RGB颜色值，进而得到一张彩色图像作为该深度图像I的法向图N。所述步骤3)中在法向图上划分标定物体的平面具体为：3.1)在长方体组合中，选择至少一组公共顶点面组和至少两组平行面组，对其中所有面用阿拉伯数字进行标记；3.2)在步骤2)中生成的每个法向图上，在每个被标记过的面上绘制一个用于表示该面上有效深度像素区域轮廓的多边形；3.3)将多边形映射回法向图各自对应的深度图，得到各个多边形对应的平面深度数据。所述步骤2)中的通过透视投影逆过程与步骤4)中的通过透视投影逆过程相同，具体过程为：根据由初始设定的内参经验值将窗口内的每个深度点q′通过以下公式回投至相机局部坐标系下的三维空间中，得到包含r2个点的三维点集Q＝{qi|i＝1，2，...，r2}：其中，D为二维矩阵，二维矩阵D中的行数和列数分别与深度图像I的纵向和横向的像素数量相同，D(u，v)是D中的一个元素值，fx，fy分别表示Kinect深度相机在x轴和y轴方向上的两个焦距，cx，cv分别表示Kinect深度相机的光心在成像面上的横、纵坐标，γ0，γ1分别是Kinect深度相机的第一、第二深度转换参数，α0，α1，D分别是Kinect深度相机的第一、第二和第三畸变矫正参数。所述步骤7)中实际测量高精度长方体的被标记的平面与平面之间的角度和距离通过以下方式测量：用量角器量出上述被标记的公共顶点面组中各个平面之间的夹角，用游标卡尺量出上述被标记的平行面组中平面之间的距离。所述步骤6)中被标记的平面与平面之间的夹角与距离具体为：被标记的公共顶点面组中各个平面的夹角与被标记的平行面组中两个平面的距离，夹角和距离分别由以下两式得到：...

【技术保护点】
一种基于长方体的Kinect深度相机的内参标定方法，其特征在于包含以下步骤：1)将已知尺寸的至少三个高精度长方体组成长方体组摆在地面上，并用Kinect深度相机在多个不同的角度进行拍摄；所述高精度长方体各个表面的平面度达到0.1mm，高精度长方体的表面能够反射Kinect深度相机所发射的红外光；2)根据步骤1)中拍摄得到的深度图像中的多帧深度数据，通过透视投影逆过程生成回投至相机局部坐标系下的三维空间中，生成相同帧数的法向图；3)并在法向图上划分标定物体的平面，得到平面深度数据；4)将步骤3)中得到的平面深度数据，通过透视投影逆过程回投至相机局部坐标系下的三维空间中，得到各个平面对应的三维点集Q；5)对步骤4)得到的每个三维点集Q进行最小二乘拟合方法，获取三维点集Q对应的平面；6)根据步骤5)得到的平面计算被标记的平面与平面之间的夹角与距离；7)实际测量高精度长方体的被标记的平面与平面之间的角度和距离，并与步骤6)得到的夹角与距离比较，构造以差值最小为目的的优化目标函数，通过该优化目标函数使用非线性迭代优化方法，重复进行步骤4)到步骤6)，对Kinect深度相机的内参进行优化，使得目标函数最小化，完成对Kinect深度相机的内参标定。...

【技术特征摘要】
1.一种基于长方体的Kinect深度相机的内参标定方法，其特征在于包含以下步骤：1)将已知尺寸的至少三个高精度长方体组成长方体组摆在地面上，并用Kinect深度相机在多个不同的角度进行拍摄；所述高精度长方体各个表面的平面度达到0.1mm，高精度长方体的表面能够反射Kinect深度相机所发射的红外光；2)根据步骤1)中拍摄得到的深度图像中的多帧深度数据，通过透视投影逆过程生成回投至相机局部坐标系下的三维空间中，生成相同帧数的法向图；3)并在法向图上划分标定物体的平面，得到平面深度数据；4)将步骤3)中得到的平面深度数据，通过透视投影逆过程回投至相机局部坐标系下的三维空间中，得到各个平面对应的三维点集Q；5)对步骤4)得到的每个三维点集Q进行最小二乘拟合方法，获取三维点集Q对应的平面；6)根据步骤5)得到的平面计算被标记的平面与平面之间的夹角与距离；7)实际测量高精度长方体的被标记的平面与平面之间的角度和距离，并与步骤6)得到的夹角与距离比较，构造以差值最小为目的的优化目标函数，通过该优化目标函数使用非线性迭代优化方法，重复进行步骤4)到步骤6)，对Kinect深度相机的内参进行优化，使得目标函数最小化，完成对Kinect深度相机的内参标定；所述步骤1)中至少三个高精度长方体摆在地面上的排列使得Kinect深度相机能拍摄到由具有公共顶点的三个相邻面组成的公共顶点面组和由两个相互平行的面组成的平行面组，公共顶点面组至少有一组，平行面组至少两组。2.根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征在于：所述步骤1)中Kinect深度相机相对于长方体组的中心旋转多个不同的角度拍摄，每次旋转的角度至少为9度。3.根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征在于：所述步骤1)中，在每个角度拍摄时，设定多个不同的Kinect深度相机到长方体组中心之间的距离范围，并从各个距离范围中随机地选取一拍摄距离进行拍摄。4.根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征在于：所述步骤2)中由拍摄得到的深度图像生成相同帧数的法向图的具体过程为：2.1)对每个深度图像I中的每个像素，取以其为中心的一个窗口作为计方法向的窗口W，窗口宽度为r；2.2)根据由生产厂商设定的内参经验值将窗口内的每个深度点q′通过透视投影逆过程回投至相机局部坐标系下的三维空间中，得到包含r2个点的三维点集Q＝{qi|i＝1，2，...，r2}，且q＝(x，y，z)，其中每个深度点表示为q′＝(u，v，d(u，v))，(u，v)表示一个像素点在深度图像中的坐标，d(u，v)表示像素(u，v)在深度图中的深度值；2.3)根据三维点集Q，用最小二乘拟合法得到一个平面，其法向量为三维向量n＝(a，b，c)，平移量是m；2.4)将三维向量n的三个分量a、b、c分别采用以下公式映射到RGB空间中的红、绿、蓝三个值上，得到窗口W中心像素的RGB颜色值：2.5)对深度图像I内每一个像素点重复步骤2.1)～2.4)，即可为I中的每个像素生成一组RGB颜色值，进而得到一张彩色图像作为该深度图像I的法向图N。5.根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征在于：所述步骤3)中在法向图上划分标定物体的平面具体为：3.1)在长方体组合中，选择至少一组公共顶点面组和至少两组平行面组，对其中所有面用阿拉伯数字进行标记；3.2)在步骤2)中生成的每个法向图上，在每个被标记过的面上绘制一个用于表示该面上有效深度像素区域轮廓的多边形；3.3)将多边形映射回法向图各自对应的深度图，得到各个多边形对应的平面深度数据。6.根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征在于：所述步骤2)中的通过透视投影逆过程与步骤4)中的通过透视投影逆过程相同，具体过程为：根据由初始设定的内参经验值将窗口内的每个深度点q′通过以下公式回投至相机局部坐标系下的三维空...

【专利技术属性】
技术研发人员：耿卫东，金秉文，雷昊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33