基于三维特征点的深度相机自动标定算法制造技术

本发明专利技术提出了一种基于三维特征点的深度相机自动标定算法，该标定算法用到两幅深度图像和对应的三维特征像素点即可一次性完成深度相机的标定工作。首先，根据已知的三维空间中的特征像素点坐标和深度图像中对应点的坐标以及原始误差偏移量，将深度相机测量模型与经典相机标定模型相结合得到深度相机的基本标定模型；然后，通过深度相机的内参约束条件求出相机内参数初始值，并根据内参初始值求出外参数；最后，优化所建立的深度图像误差控制函数以得到深度相机的最优参数。本发明专利技术的标定算法，简化了深度相机传统标定模型，克服了经典标定受光照条件和场景不确定性等影响的缺点，精确获得了相机内外参数，且对深度图像边缘畸变有较好修复效果，具有操作简单、标定精度高、实用性和鲁棒性好等优点。

Automatic calibration algorithm of depth camera based on three-dimensional feature points

【技术实现步骤摘要】
基于三维特征点的深度相机自动标定算法
本专利技术属于机器视觉标定
，涉及一种深度相机标定算法，尤其是涉及一种基于三维特征点的深度相机自动标定算法
技术介绍
随着科学技术的发展与进步，在人工智能技术遍及各大领域的今天，机器视觉已不再是一个陌生的名词。由于机器视觉系统具有精度高、效率高、实用性好、安全可靠、成本低等诸多优点，许多行业对深度视觉的需求越来越突出，无论是在科研机构还是在企业生产中它都占据着举足轻重的地位。例如在工业制造领域中，视觉检测、规划路径、跟踪定位等；在生活中，人脸识别技术、AR技术、全息投影技术等，人们将越来越离不开深度视觉，而这一切实现的前提是对3D深度相机进行了了精确标定。尽管许多3D深度相机在出厂时已经被标定过，但标定的参数并不精确，而相机标定的好坏直接影响整个生产制造过程中整体性能的优劣。在现有技术中，有较成熟的相机标定算法，例如张正友经典标定法、Tasi两步法(对比文献：[1]ZhangZ.Aflexiblenewtechniqueforcameracalibration[C].PatternAnalysisandMachineIntelligence.IEEETransactionson2000,22(11):1330-1334；[2]TsaiR.Aversatilecameracalibrationtechniqueforhigh-accuracy3Dmachinevisionmetrologyusingoff-the-shelfTVcamerasandlenses[C]RoboticsandAutomation.IEEE,Journalof31987,(4):323-344.)。但这些方法只能适用于普通的光学相机，且有易受环境影响，标定步骤繁杂，费时费力，标定成本高，求解过程复杂等缺点。深度相机成像方式复杂多样，以至于国内外学者对于深度相机标定算法的研究并不深入，他们的算法大都结构复杂，标定精度低，耗时且耗力。现如今，人工智能深入到各行各业，3D深度相机也逐渐进入人们的生活，实现深度相机标定的简洁化、快速化、精确化、通用化成为亟待解决的问题。因此，提出一种新的具有操作简单、成本低、鲁棒性好、响应速度快的深度相机自动标定算法是十分必要的，对机器视觉领域的发展和相关技术的研究都具有十分重要的意义。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术的目的在于提供一种基于三维特征点的深度相机自动标定算法，提出了深度相机标定的简洁模型，引入了深度相机内参几何约束条件，建立了深度相机投影畸变控制函数，非线性优化了深度相机参数最终得到可靠结果。该算法只需要两幅深度图像和已知的三维特征像素点坐标即可完成深度相机标定工作，可适用于变照明条件等特殊场合。本专利技术所采用的技术方案包括以下步骤：(1)采用深度相机，在不同位置以不同姿态对精确的立方体标定块进行多次拍摄，获取两幅较准确的深度图像。所述步骤(1)中只需要获取两幅深度图，获取的两幅深度图像应保证有特征明显的三维特征像素点，并且特征像素点应有对应的原始误差偏移量。(2)利用ORB(OrientedFASTandRotatedBRIEF)算法提取深度图像中三维特征像素点信息，一幅图到4组特征像素点坐标和三维空间点的坐标，然后将特征像素点的深度测量模型与经典相机标定模型相结合形成深度相机的基本标定模型；所述步骤(2)具体包括：首先，利用ORB(OrientedFASTandRotatedBRIEF)算法分别提取两幅深度图像的4个三维特征像素点，这4个特征像素点一般设为立方体标定块的角点，并且特征像素点应有明显的原始误差偏移量；然后将这4个特征像素点分别与对应的三维空间点进行匹配得到特征像素点坐标和三维空间点的坐标；并根据经典相机标定模型，如下式：在经典相机标定模型基础之上引入一个原始深度偏移量dk，如下式：然后，以[uvdk1]T构成一个射影空间坐标。以视差图构建的射影空间坐标与空间点坐标[XwYwZw1]T的关系符合图像之间的单应关系，由此得到深度相机坐标系到像素坐标系的矩阵变换：其中，λ＝Zd，Zd表示深度相机坐标系中Z方向的坐标分量，内参为A’：最后，联合世界坐标系到深度相机坐标系的转换矩阵可得出世界坐标系到像素坐标系的变换模型如：单应矩阵表示为H：(3)将步骤二中获得的特征点像素坐标和已知的三维特征点坐标作为已知量代入所建立的深度相机标定模型中，根据建立的内参约束条件求解出内参数和外参数；所述步骤(3)具体包括：首先，根据旋转矩阵r1,r2,r3的性质建立得到深度相机内参约束条件：求解出A′-TA′-1：定义一个4维矩阵B：其中，B12＝B21＝B13＝B31＝B23＝B32＝0然后，将单应矩阵H写成列向量的形式，则它的第i列向量可表示为hi＝[h1ih2ih3ih4i]T，由内参基本约束条件得：化简上式后得：采用SVD分解的方法求解该方程组得到矩阵B。其次，对B进行Cholesky逆分解：将A’转化为上三角矩阵：根据B＝A′-TA′-1＝(A′A′T)-1,得出B-1＝A′A′T,且：根据B-1＝A′EA′T＝A′CCTA′T,则B-1＝IIT,得出：可得出矩阵I的最后一列元素：同理：得到矩阵I第三列、第二列、第一列元素：I被求解出来，由于A’＝IC-1,由此深度相机内参矩阵A’的初始值就被求解出来。最后，求解外参。单应矩阵H和内参A’均被求出后，根据内参约束条件可以得到：由上式可得：(4)建立并利用Levenberg-Marquardt算法非线性优化深度图像的畸变控制函数，通过最小化投影误差函数得到最优的深度相机参数。所述步骤(4)具体包括：对于n幅图上有m点，利用Levenberg-Marquardt算法非线性优化重投影误差代价函数：其中，是三维空间点在深度图像中的实际投影坐标，是三维空间点在第i幅图中的投影，A’是内参矩阵，k1，k2，p1，p2是畸变系数。有益效果：本专利技术设计的基于三维特征点的深度相机自动标定算法，只需要用到两幅深度图像和已知的三维特征像素点，避免了光照条件带来的影响，降低了标定成本。本专利技术所提算法是经融合得到，简化了标定过程，提高了标定精度。与传统标定算法相比，本算法具有操作简单、适应性强、成本低、响应速度快、鲁棒性好等优点。附图说明图1：深度相机和三维标定块示意图；图2：算法总体步骤流程图；图3：深度相机标定模型推导过程图；图4：深度相机内外参数求解过程图。具体实施方式下面结合附图1至附图4，对本专利技术作进一步详述。参考附图3，本专利技术的所提及的深度相机标定模型，首先根据经典相机标定模型，如下式：然后在经典相机标定模型基础之上引入一个原始深度偏移量dk，如下式：并且，以[uvdk1]T构成一个射影空间坐标。以视差图构建的射影空间坐标与空间点坐标[XwYwZw1]T的关系符合图像之间的单应关系，由此得到深度相机坐标系到像素坐标系的矩阵变换：其中，λ＝Zd，Zd表示深度相机坐标系中Z方向的坐标分量，内参为A’：最后联合世界坐标系到深度相机坐标系的转换矩阵可得出世界坐标系到像素坐标系的变换模型如：参考附图1、附图3和附图4，深度相机内外参数求解优化过程包括：(1)根据旋转矩阵r1,r2,r3的性质建立本文档来自技高网...

【技术保护点】
1.一种基于三维特征点的深度相机自动标定算法，其特征在于，包括以下步骤：步骤一：用深度相机在不同位置以不同姿态对立方体标定块进行多次拍摄，获取两幅深度图像，两幅深度图像应保证有特征明显的三维特征像素点，并且特征像素点应有对应的原始误差偏移量；步骤二：首先利用ORB(Oriented FAST and Rotated BRIEF)算法分别提取两幅深度图像的4个三维特征像素点，这4个特征像素点一般设为立方体标定块的角点，并且特征像素点应有明显的原始误差偏移量；然后将这4个特征像素点分别与对应的三维空间点进行匹配得到特征像素点坐标和三维空间点的坐标；步骤三：将深度相机测量模型与经典相机标定模型相结合形成深度相机的标定模型；步骤四：将步骤二中获得的特征像素点坐标和已知的三维空间点坐标作为已知量代入步骤三所建立的深度相机标定模型中，根据建立的深度相机内参约束条件求解出深度相机的内参数和外参数；步骤五：建立深度图像的畸变控制函数，并利用Levenberg‑Marquardt算法对其进行非线性优化，通过最小化投影误差函数得到最优的深度相机的内参数和外参数。

【技术特征摘要】
1.一种基于三维特征点的深度相机自动标定算法，其特征在于，包括以下步骤：步骤一：用深度相机在不同位置以不同姿态对立方体标定块进行多次拍摄，获取两幅深度图像，两幅深度图像应保证有特征明显的三维特征像素点，并且特征像素点应有对应的原始误差偏移量；步骤二：首先利用ORB(OrientedFASTandRotatedBRIEF)算法分别提取两幅深度图像的4个三维特征像素点，这4个特征像素点一般设为立方体标定块的角点，并且特征像素点应有明显的原始误差偏移量；然后将这4个特征像素点分别与对应的三维空间点进行匹配得到特征像素点坐标和三维空间点的坐标；步骤三：将深度相机测量模型与经典相机标定模型相结合形成深度相机的标定模型；步骤四：将步骤二中获得的特征像素点坐标和已知的三维空间点坐标作为已知量代入步骤三所建立的深度相机标定模型中，根据建立的深度相机内参约束条件求解出深度相机的内参数和外参数；步骤五：建立深度图像的畸变控制函数，并利用Levenberg-Marquardt算法对其进行非线性优化，通过最小化投影误差函数得到最优的深度相机的内参数和外参数。2.根据权利要求1所述的一种基于三维特征点的深度相机自动标定算法，其特征在于：所述步骤三具体包括：(1)引入经典相机标定模型，如下式：其中fu＝f/dx，fv＝f/dy，fu，fv分别表示图像u轴和v轴上的尺度因子，f是相机焦距，dx、dy分别是像素在x、y轴方向上的物理尺寸，(u0,v0)是主点坐标，R和t是相机的外部参数。(2)在经典相机标定...

【专利技术属性】
技术研发人员：陈光柱，李冬冬，李春江，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：四川,51