基于异构深度摄像机的三维信息获取方法及其装置制造方法及图纸

本发明专利技术公开了一种基于异构深度摄像机的三维信息获取方法，包括如下步骤：拍摄图片；求取Kinect摄像机和TOF摄像机的内部参数；根据所述拍摄的图片，提取可靠的深度信息；根据所述可靠的深度信息，分别拟合各自的标定板平面坐标；结合所述内部参数，在各自拟合的标定板平面坐标下，恢复Kinect摄像机和TOF摄像机的角点实际三维坐标集；求取二者之间的最小二乘转换矩阵；根据最小二乘转换矩阵对可靠深度信息进行的坐标转换，得到深度融合信息；将Kinect摄像机采集的彩色信息与深度融合信息进行匹配；将匹配后的图像信息，基于点间空间距离进行点云配准，获取三维信息。采用本发明专利技术，能够快速获取高分辨率的融合彩色信息的精准深度图，进而获取精准的三维信息。

Method and apparatus for acquiring three-dimensional information based on heterogeneous depth camera

The invention discloses a method for acquiring 3D information of heterogeneous depth based on camera, which comprises the following steps: taking pictures for Kinect; the internal parameters of the camera and TOF camera; according to the images, extracting reliable depth information; according to the depth information of the reliable, respectively fitting calibration plane coordinate plate respectively; combined with the internal parameters of the fitting, in their respective calibration plane coordinates, recovery Kinect camera and TOF camera angle point real 3D coordinate set; least squares between obtained the two according to the coordinate transformation matrix; least square transformation matrix of reliable depth information conversion, get the depth information fusion; color information with the depth of acquisition Kinect camera fusion information matching; image information after matching, the point cloud based on the distance between the space point Accurate access to three-dimensional information. By adopting the invention, the accurate depth map of the fused color information can be quickly obtained, and the accurate three-dimensional information can be obtained.

【技术实现步骤摘要】
基于异构深度摄像机的三维信息获取方法及其装置
本专利技术属于图像处理和点云配准领域，具体涉及一种基于异构深度摄像机的三维信息获取方法及其装置。
技术介绍
目前获取物体深度信息的途径主要有两种:通过求取图像匹配点视差而获得深度的立体匹配方法以及深度摄像机方法。其中，广泛使用的深度摄像机主要有采用结构光技术的Kinect摄像机(指微软公司的KinectXBOX360，下同)和采用飞行时间(TimeofFlight)技术的TOF摄像机(以Mesa公司的SR4000为代表)。两种深度摄像机都具有各自的优点和不足之处:所述TOF摄像机可以实时生成深度图,且深度信息精度高，可支持硬件触发,但图像分辨率低。例如Mesa公司的SR4000摄像机得到的深度信息精度可控制在1cm以内，但最高图像分辨率仅为176*144。采用结构光技术的Kinect摄像机可生成高分辨率深度图(深度图分辨率最大为640*480),但是深度信息的可靠性低(深度信息精度为10cm以内)。在逆向工程、立体电视、基于深度信息的模式识别等领域中，高分辨率精准深度图的出现将大大降低相关算法的技术难度。但是从上可以看出，只通过单独的TOF摄像机或者Kinect摄像机都不能获取高分辨率精准深度图。国内外现有的解决方法：将深度摄像机所得到的深度信息与立体匹配所得到的深度信息融合，以获取高分辨率的精准深度图。立体匹配获取深度信息除了要先进行摄像机标定外，还需要利用置信度传播之类的算法，进一步计算深度数据，计算过程耗时耗资源。同时，有的深度摄像机与普通彩色摄像机之间的标定还需要借助精确的机械来进行机械运动，从而根据运动轨迹进行标定，这就大大增加了使用的条件和限制了使用的场合。如中国专利公开号为CN101556696,公开日为2009年10月14日,名称为基于阵列摄像机的深度图实时获取算法,该申请案公开了在标定时直接使用了彩色摄像机阵列。其不足之处在于：普通彩色摄像机受光照和纹理的影响非常大，因此导致彩色摄像机与TOF深度摄像机进行直接标定的操作性差。因此，要获取物体的完整三维信息，在获得某一个视角下的深度信息(点云)之后还需要将不同视角下的深度数据进行配准，这个过程称为物体的三维点云配准。目前大部分的粗配准算法都是采用RANSAC和特征值结合的方法，例如DrorAiger提出的共面四点集算法(出自AigerD,MitraNJ,Cohen-OrD.4-pointscongruentsetsforrobustpairwisesurfaceregistration[C]//ACMTransactionsonGraphics(TOG).ACM,2008,27(3):85.)。2014年MelladoNicolas对DrorAiger算法进行改进提出super4pcs算法(出自MelladoN,AigerD,MitraNJ.Super4pcsfastglobalpointcloudregistrationviasmartindexing[C]//ComputerGraphicsForum.2014,33(5):205-215.)，通过约束目四边形对角线之间的夹角范围把相似控制集的数量减小。尽管如此，只依靠几何特征寻找到的相似控制集准确性仍然难以保证，而且控制集数量也非常庞大。
技术实现思路
为了解决上述问题，本专利技术的目的提供一种基于异构深度摄像机的三维信息获取方法，能够获取高分辨率的融合彩色信息的精准深度图，进而获取精准的三维信息。为实现上述目的，本专利技术按以下技术方案予以实现的：本专利技术所述的基于异构深度摄像机的三维信息获取方法，包括如下步骤：S1、在共同摄像视野内，把标定板放在最少在10个不同的位置，每个位置上分别利用Kinect摄像机和TOF摄像机拍摄至少1张图片；S2、根据Kinect摄像机和TOF摄像机各自拍摄的图片，分别求取Kinect摄像机和TOF摄像机的内部参数其中，其中α＝f/dx，β＝f/dy,f为摄像机的焦距，γ代表像素点在x,y方向上尺度的偏差。S3、根据所述拍摄的图片，根据公式提取可靠的深度信息，其中D表示深度值，I表示强度值，T代表用大津法求得的阈值T；S4、根据所述可靠的深度信息，分别对Kinect摄像机和TOF摄像机拟合各自的标定板平面坐标；S5、结合所述内部参数，在各自拟合的标定板平面坐标下，恢复Kinect摄像机和TOF摄像机的角点实际三维坐标集；S6、根据Kinect摄像机和TOF摄像机的角点实际三维坐标集，求取二者之间的最小二乘转换矩阵；S7、根据最小二乘转换矩阵对Kinect摄像机和TOF摄像机采集的可靠深度信息进行的坐标转换，得到深度融合信息；S8、将Kinect摄像机采集的彩色信息与深度融合信息进行匹配；S9、将匹配后的图像信息，基于点间空间距离进行点云配准，获取三维信息。进一步地，所述S9的步骤，具体为包括：在源数据集P选取源控制集；在目标数据集Q，根据源控制集进行色彩相似控制集的选取；对源控制集和色彩相似控制集进行LCP准则求取最佳变换矩阵，并且利用最佳变换矩阵对源数据集P和目标数据集Q中的点云进行拼接，获取三维信息；其中，所述源数据集P和目标数据集Q是不同视角下深度数据信息。进一步地，所述S91的步骤，具体是：随机在源数据集P中抽取共面的四点{s1,s2,s3,s4}，其中{s1,s2,s3,s4}满足:其中，两数据模型P和Q之间的重叠率为ω，源数据集P的平均点云间距davg，最大点云距离dmax，以及距离阈值Δ＝davg*a(a＝0.1)；求取直线s1s3与s2s4的近似交点es，至此得到一个共面五点集:Fs＝{s1,s2,s3,s4,es}；利用此共面五点集的以下四个特征值来表述此共面五点集：①对角线单比②对角线单比③两邻边之间的夹角④Fs中每个点对应的颜色值在RGB颜色空间的颜色向量：共面五点集Fs以及其对应的颜色控制集Cs共同组成源控制集S＝{Fs,Cs}。进一步地，所述S92的步骤，具体是：在目标数据集Q中搜寻所有特征值满足公式(5)-(8)的共面五点集Ft＝{t1,t2,t3,t4,et}；DC≤C(8)其中β＝π/4，代表共面五点集的之间的角度误差阈值；et根据共面四边形t1t2t3t4重新计算出来的交点；C为点云颜色距离阈值是源控制集与相似控制集之间色差的衡量；相似控制集中每个共面五点集都有对应的颜色向量集合所有满足公式(8)的Ct与其对应的共面五点集Ft组成色彩相似控制集T＝{T1,T2,...,Tn}。进一步地，所述S93的步骤，具体是：将色彩相似控制集Ti＝{T1,i,T2,i,...,Tm,i,...}与源控制集Si＝{Fs,i,Cs,i}利用最小二乘法求得一个旋转矩阵Rm,i以及一个平移矩阵tm,i；其中，m表示色彩相似控制集中的某一个；i表示次数；根据该变换关系p'm,i＝Rm,i*p+tm,i，将源数据集P中的一点p变换到目标集Q的坐标下；在目标集Q中寻找与p'm,i距离最小的点，该点与p'm,i的距离即为p'm,i与目标点集Q的欧氏距离d(p'm,i,Q)；若d(p'm,i,Q)≤Δ，则点p在最大一致集内，LCPm,i的数量增加1；LCPm,i数量最大时，对应的旋转矩阵Rm,i和平移矩阵本文档来自技高网...

【技术保护点】
一种基于异构深度摄像机的三维信息获取方法，其特征在于，包括如下步骤：S1、在共同摄像视野内，把标定板放在最少在10个不同的位置，每个位置上分别利用Kinect摄像机和TOF摄像机拍摄至少1张图片；S2、根据Kinect摄像机和TOF摄像机各自拍摄的图片，分别求取Kinect摄像机和TOF摄像机的内部参数

【技术特征摘要】
1.一种基于异构深度摄像机的三维信息获取方法，其特征在于，包括如下步骤：S1、在共同摄像视野内，把标定板放在最少在10个不同的位置，每个位置上分别利用Kinect摄像机和TOF摄像机拍摄至少1张图片；S2、根据Kinect摄像机和TOF摄像机各自拍摄的图片，分别求取Kinect摄像机和TOF摄像机的内部参数其中，其中α＝f/dx，β＝f/dy,f为摄像机的焦距，γ代表像素点在x,y方向上尺度的偏差；S3、根据所述拍摄的图片，根据公式提取可靠的深度信息，其中D表示深度值，I表示强度值，T代表用大津法求得的阈值T；S4、根据所述可靠的深度信息，分别对Kinect摄像机和TOF摄像机拟合各自的标定板平面坐标；S5、结合所述内部参数，在各自拟合的标定板平面坐标下，恢复Kinect摄像机和TOF摄像机的角点实际三维坐标集；S6、根据Kinect摄像机和TOF摄像机的角点实际三维坐标集，求取二者之间的最小二乘转换矩阵；S7、根据最小二乘转换矩阵对Kinect摄像机和TOF摄像机采集的可靠深度信息进行的坐标转换，得到深度融合信息；S8、将Kinect摄像机采集的彩色信息与深度融合信息进行匹配；S9、将匹配后的图像信息，基于点间空间距离进行点云配准，获取三维信息。2.根据权利要求1所述的基于异构深度摄像机的三维信息获取方法，其特征在于：所述S9的步骤，具体为包括：S91：在源数据集P选取源控制集；S92：在目标数据集Q中，根据源控制集进行色彩相似控制集的选取；S93：对源控制集P和色彩相似控制集进行LCP准则求取最佳变换矩阵，并且利用最佳变换矩阵对源数据集P和目标数据集Q中的点云拼接，获取三维信息；其中，所述源数据集P和目标数据集Q是不同视角下的深度融合信息。3.根据权利要求2所述的基于异构深度摄像机的三维信息获取方法，其特征在于：所述S91步骤，具体是：随机在源数据集P中抽取共面的四点{s1,s2,s3,s4}，其中{s1,s2,s3,s4}满足:其中，源数据集P和目标数据集Q之间的重叠率为ω，源数据集P的平均点云间距davg，最大点云距离dmax，以及距离阈值Δ＝davg*a(a＝0.1)；求取直线s1s3与s2s4的近似交点es，得到一个共面五点集:Fs＝{s1,s2,s3,s4,es}；利用此共面五点集的以下四个特征值来表述此共面五点集：①对角线单比②对角线单比③两邻边之间的夹角④Fs中每个点对应的颜色值在RGB颜色空间的颜色向量：共面五点集Fs以及其对应的颜色控制集Cs共同组成源控制集S＝{Fs,Cs}。4.根据权利要求3所述的基于异构深度摄像机的三维信息获取方法，其特征在于：所述S92的步骤，具体是：在目标数据集Q中搜寻所有特征值满足公式(5)-(8)的共面五点集Ft＝{t1,t2,t3,t4,et}；DC≤C(8)其中β＝π/4，代表共面五点集的之间的角度误差阈值；et根据共面四边形t1t2t3t4重新计算出来的交点；C为点云颜色距离阈值是源控制集与相似控制集之间色差的衡量；相似控制集中每个共面五点集都有对应的颜色向量集合所有满足公式(8)的Ct与其对应的共面五点集Ft组成色彩相似控制集T＝{T1,T2,...,Tn}。5.根据权利要求4所述的基于异构深度摄像机的三维信息获取方法，其特征在于：所述S93的步骤，具体是：将色彩相似控制集Ti＝{T1,i,T2,i,...,Tm,i,...}与源控制集Si＝{Fs,i,Cs,i}利用最小二乘法求得一个旋转矩阵Rm,i以及一个平移矩阵tm,i；其中，m表示色彩相似控制集中的某一个；i表示次数；根据该变换关系p...

【专利技术属性】
技术研发人员：周超艳，
申请(专利权)人：周超艳，
类型：发明
国别省市：广东,44