具备多RGBD相机的成像系统的三维拼接方法及装置制造方法及图纸

本发明专利技术提供一种具备多RGBD相机的成像系统的三维拼接方法，包括基于至少两个RGBD相机中的二维图像得到图像曲面信息；对图像曲面信息进行二维图像的特征点配准；基于预先标定的二维图像与三维图像的关系，进行拼接。本发明专利技术将三维拼接问题转化为二维图像匹配问题，根据二维图像匹配实现三维对应点的查找，并利用视角间的对应特征点实现三维数据拼接。且本发明专利技术先基于预先的标定，对二维配准后的结果进行第一次拼接，再采用迭代算法进行二次拼接提高其拼接精度，提高其多RGBD相机的成像系统的成像精度。相应地，本发明专利技术还提供一种装置及存储介质。质。质。

【技术实现步骤摘要】
具备多RGBD相机的成像系统的三维拼接方法及装置


[0001]本专利技术涉及成像
，具体涉及具备多RGBD相机的成像系统的三维拼接方法及装置。

技术介绍

[0002]现有技术中的三维拼接的方法很多，总体上可大致分为二类，第一类是基于辅助硬件的拼接，利用硬件的精确定位实现拼接，包括基于惯性制导单元等等，这类方法需要使用辅助硬件；第二类是基于图像特征拼接，仅利用三维数据实现三维拼接，此类方法不依靠硬件等辅助信息，应用更加灵活。现有技术中利用三维测量数据实现三维拼接，需要较好的初始拼接位置，因此，传统的三维拼接方法适应性差。

技术实现思路

[0003]针对现有技术的不足之处，本专利技术的目的在于提供一种具备多RGBD相机的成像系统的三维拼接方法及装置。
[0004]本专利技术的技术方案概述如下：
[0005]一方面，本专利技术提供一种具备多RGBD相机的成像系统的三维拼接方法，包括：
[0006]基于至少两个RGBD相机中的二维图像得到图像曲面信息；
[0007]对所述图像曲面信息进行二维图像的特征点配准；
[0008]基于预先标定的二维图像与三维图像的关系，进行拼接。
[0009]进一步地，所述拼接包括第一次拼接和第二次拼接；
[0010]所述第一次拼接包括：基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；
[0011]所述第二次拼接包括：对第一次拼接的优化。
[0012]进一步地，所述对所述图像曲面信息进行二维图像的特征点配准，还包括：
[0013]对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；
[0014]对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；
[0015]对所述原图像的特征点集和目标图像的特征点集进行匹配。
[0016]进一步地，通过计算两组特征点集的关键点的欧式距离实现特征点集的匹配。
[0017]进一步地，所述第一次拼接包括：
[0018]获取对应于二维匹配点的三维数据集，并计算两个三维数据集的质心；其中，三维数据集的数量至少为两个；
[0019]基于协方差矩阵得到对称矩阵，并计算对称矩阵的特征值和特征向量，将最大特征值对应的特征向量为旋转向量，以此得到旋转矩阵；
[0020]基于旋转矩阵得到平移向量，并计算旋转矩阵和平移矩阵组成的两个视角三维数
据的拼接关系，进行至少两个视角的拼接。
[0021]进一步地，所述第二次拼接包括：
[0022]利用ICP算法对第一拼接进行迭代优化。
[0023]相应地，本专利技术还提供了一种具备多RGBD相机的成像系统的三维拼接装置，包括：
[0024]获取模块，用于基于至少两个RGBD相机中的二维图像得到图像曲面信息；
[0025]配准模块，用于对所述图像曲面信息进行二维图像的特征点配准；
[0026]拼接模块，用于基于预先标定的二维图像与三维图像的关系，进行拼接。
[0027]进一步地，所述拼接模块，包括第一拼接模块和第二拼接模块，所述第一拼接模块用于第一次拼接，所述第二拼接模块用于第二次拼接；
[0028]所述第一次拼接包括：基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；
[0029]所述第二次拼接包括：对第一次拼接的优化。
[0030]进一步地，所述配准模块，还用于：
[0031]对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；
[0032]对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；
[0033]对所述原图像的特征点集和目标图像的特征点集进行匹配。
[0034]相应地，本专利技术还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有可执行程序，所述可执行程序被处理器执行时实现如上任一项所述的具备多RGBD相机的成像系统的三维拼接方法。
[0035]相比现有技术，本专利技术的有益效果在于：本专利技术提供具备多RGBD相机的成像系统的三维拼接方法，将三维拼接问题转化为二维图像匹配问题，根据二维图像匹配实现三维对应点的查找，并利用视角间的对应特征点实现三维数据拼接。且基于深度图的曲面特征不受旋转视角的影响，能够更加清晰反应三维物体的特征曲面信息，对图像曲面信息的配准能够适用视角变化大的场景，适合具备多RGBD相机的成像系统进行拼接，且二次拼接提高其拼接精度，提高其多RGBD相机的成像系统的成像精度。
[0036]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。本专利技术的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0037]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0038]图1为本专利技术的一种具备多RGBD相机的成像系统的结构示意图；
[0039]图2为本专利技术的具备多RGBD相机的成像系统的三维拼接方法的流程示意图；
[0040]图3为本专利技术的具备多RGBD相机的成像系统的三维拼接方法的拼接结果的示意图。
[0041]附图标记：1、成像系统；10、RGBD相机。
具体实施方式
[0042]下面结合附图对本专利技术做进一步的详细说明，本专利技术的前述和其它目的、特征、方面和优点将变得更加明显，以令本领域技术人员参照说明书文字能够据以实施。在附图中，为清晰起见，可对形状和尺寸进行放大，并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中，诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地，“高度”相当于从顶部到底部的尺寸，“宽度”相当于从左边到右边的尺寸，“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如，“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系，除非以其他方式明确地说明。
[0043]接下来，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
[0044]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0045]在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身没有特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具备多RGBD相机的成像系统的三维拼接方法，其特征在于，包括：基于至少两个RGBD相机中的二维图像得到图像曲面信息；对所述图像曲面信息进行二维图像的特征点配准；基于预先标定的二维图像与三维图像的关系，进行拼接。2.如权利要求1所述的具备多RGBD相机的成像系统的三维拼接方法，其特征在于，所述拼接包括第一次拼接和第二次拼接；所述第一次拼接包括：基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；所述第二次拼接包括：对第一次拼接的优化。3.如权利要求1所述的具备多RGBD相机的成像系统的三维拼接方法，其特征在于，所述对所述图像曲面信息进行二维图像的特征点配准，还包括：对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；对所述原图像的特征点集和目标图像的特征点集进行匹配。4.如权利要求3所述的具备多RGBD相机的成像系统的三维拼接方法，其特征在于，通过计算两组特征点集的关键点的欧式距离实现特征点集的匹配。5.如权利要求2所述的具备多RGBD相机的成像系统的三维拼接方法，其特征在于，所述第一次拼接包括：获取对应于二维匹配点的三维数据集，并计算两个三维数据集的质心；其中，三维数据集的数量至少为两个；基于协方差矩阵得到对称矩阵，并计算对称矩阵的特征值和特征向量，将最大特征值对应的特征向量为旋转向量，以此得到旋转矩阵；基于旋转矩阵得到平移向量，并计算旋转矩阵和平移矩阵组成...

【专利技术属性】
技术研发人员：袁飞，叶溯，刘永，周晨凯，
申请(专利权)人：苏州众得光电科技有限公司，
类型：发明
国别省市：