一种用于虚拟现实的三维全景拼接方法、装置和系统制造方法及图纸

本发明专利技术公开了一种用于虚拟现实的三维全景拼接方法，包括以下步骤：s1，分别提取图像的sift特征点，进行特征点检测得到描述子，根据描述子进行特征点描述的到种子点；s2，根据种子点进行特征点匹配查找得到叶子节点；s3，根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；s4，根据模型进行图像拼接融合。本发明专利技术相应的提供一种用于虚拟现实的三维全景拼接的装置和系统。本发明专利技术利用采集的离散并有空间重合的图像序列或连续的视频帧作为基础数据，通过图像拼接技术生成一系列的图像序列，并对图像序列进行拼接、链接、重投影交互列，对其进行空间关联，生成360度的全景图像，进行3D建模和绘制，解决了现有技术存在的不足。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，尤其涉及一种用于虚拟现实的三维全景拼接方法、装置和系统。
技术介绍
虚拟现实技术是利用计算机技术构建一个逼真的虚拟三维场景，即以仿真的方式给人们创造一个反映实体对象变化及其相互作用的三维世界，使得人们能够通过使用专用设备，就能像在自然环境中一样对虚拟环境中的实体进行观察与控制。在虚拟场景的构建过程中，生成场景画面的质量和速度是衡量这个虚拟场景优劣的两项关键性指标。早期虚拟场景的构建通常采用基于计算机图形学原理，即所谓的基于模型绘制技术首先对场景进行三维几何建模，然后将图像映射到几何体上，当作某一部分场景的近似，这个过程称作纹理映射，它依赖于定义纹理空间坐标与三维几何模型中对应位置之间的映射函数，这种映射的确定既困难又费时，经常需要人工的干预，并且需要昂贵的专门硬件来加速绘制，同时具有很高的复杂度，对于当前的VR设备具有很大的挑战。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足，本专利技术提供的一种用于虚拟现实的三维全景拼接方法、装置和系统，利用采集的离散并有空间重合的图像序列或连续的视频帧作为基础数据，然后，通过图像拼接技术生成一系列的图像序列，并对图像序列进行拼接、链接、重投影交互列，对其进行空间关联，即可生成360度的全景图像，并进行3D建模和绘制，解决了现有技术的不足。本专利技术的技术方案如下：一种用于虚拟现实的三维全景拼接方法，其中，包括以下步骤：s1，分别提取图像的sift特征点，进行特征点检测得到描述子，根据所述描述子进行特征点描述得到种子点；s2，根据种子点进行特征点匹配查找得到叶子节点；s3，根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；s4，根据模型进行图像拼接融合。所述用于虚拟现实的三维全景拼接方法，其中，所述s1步骤中进行所述特征点的检测包括：对原始图像进行若干次连续滤波得到第一尺度组图像，再把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组图像；求解计算这些高斯差分尺度组图像的局部极值点，即为所求的特征点。所述用于虚拟现实的三维全景拼接方法，其中，所述s1步骤中进行所述特征点的描述包括：确定计算描述子所需的图像区域；将坐标移至关键点主方向；在图像半径区域内对每个像素点求其梯度幅值和方向，对每个梯度幅值乘以高斯权重参数，生成方向直方图；在区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，在下一个区域内进行直方图统计，形成下一个种子点，生成若干个种子点；描述子向量元素门限化及门限化后的描述子的向量规范化。所述用于虚拟现实的三维全景拼接方法，其中，所述s2步骤包括：以所有特征点建立K-D树；对于某个目标特征点K-D树的根节点出发，递归的向下搜索K-D树，若目标点当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止，并以此叶子节点为当前最近点；递归的向上回溯，在每个节点中进行以下操作：若该节点保存的实例点比当前最近点距离目标点近，则更新当前最近点，否则，保持当前最近点不变；若存在距目标点更近的点，则移动到另一个子结点，继续递归的进行最近邻搜索，否则，向上回溯；回退到根节点，搜索结束，得到最近邻点。所述用于虚拟现实的三维全景拼接方法，其中，所述s3步骤包括：初步匹配后通过随机采样一致算法删除一些误匹配点对从而得到比较精准的匹配，比计算两幅图像匹配点对之间的变换矩阵；上述随机采样一致算法通过反复选取数据中的一组随机子集来达成目标，被选取的子集被假设为局内点，并用下述方法进行验证：用一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；用所述模型去测试所有的其它数据，若某个点适用于估计的模型，则认为它是局内点；若有足够多的点被归类为假设的局内点，则所述模型合理，再用所有假设的局内点去重新估计上述模型；通过估计局内点与模型的错误率来评估模型。所述用于虚拟现实的三维全景拼接方法，其中，所述s4步骤将待拼接的图像分为多个部分经变换矩阵拼接融合到一个新图像中。相应的，本专利技术实施例还提供一种用于虚拟现实的三维全景拼接装置，包括：检测模块，用于提取图像的sift特征点，进行特征点检测得到描述子；描述模块，与检测模块相连，用于根据描述子进行特征点描述得到种子点；匹配查找模块，与描述模块相连，用于根据种子点对特征点进行匹配查找，得到叶子节点；筛选模块，与匹配查找模块相连，用于根据叶子节点进行匹配点的筛选和变换矩阵的计算得到模型；图像拼接模块，与筛选模块相连，用于根据模型进行图像的拼接融合。此外的，本专利技术实施例还提供一种用于虚拟现实的三维全景拼接系统，包括本专利技术实施例所提供的任一用于虚拟现实的三维全景拼接装置。有益效果：本专利技术中提供的一种用于虚拟现实的三维全景拼接方法，操作简单，应用成本低，可以快速生成高质量的场景画面，解决了现有虚拟场景构建采用基于计算机图形学原理存在的不足。附图说明图1为本专利技术一种用于虚拟现实的三维全景图像拼接方法的流程图。图2为本专利技术实施例提供的采集到的两幅草原图像示意图。图3为本专利技术实施例对图2两幅草原图像提取sift特征点后的示意图。图4为本专利技术实施例提供的匹配点筛选中初步匹配的结果示意图。图5为本专利技术实施例提供的匹配点筛选中精确匹配的结果示意图。图6为本专利技术实施例对图2中两幅草原图像拼接的效果示意图。图7为本专利技术一种用于虚拟现实的三维全景图像拼接装置的结构示意图。图8为本专利技术一种用于虚拟现实的三维全景图像拼接装置的另一具体结构示意图。具体实施方式本专利技术提供一种用于虚拟现实的三维全景拼接方法，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，一种用于虚拟现实的三维全景拼接方法，包括以下步骤：s1，分别提取图像的sift特征点（Sift特征是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性），进行特征点检测得到描述子，根据所述描述子进行特征点描述得到种子点；s2，采用BBF算法（是对K-Dtree算法的改进，通过将查询路径上的节点进行排序，优先回溯优先级最高的节点来确保优先检索包含最近邻节点可能性更高的空间）进行特征匹配查找得到叶子节点；s3根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；s4，根据模型进行图像拼接融合。为了便于说明全景图像的制作过程，采用普通相机拍摄的两张图像（图2）来阐述采用本专利技术中的全景拼接方法生成更大分辨率的的全景图像过程。实际应用中，从视觉感官的角度看，关键点是指图像中不会因光照变化而消失的与周围点差异较大的突出点，比如角点、边缘点、暗区域的亮点以及亮区域的暗点；数学上则是图像在不同尺度空间下检测出的具有方向信息的局部极值点。参见图3，s1步骤中进行特征点的检测包括：采用高斯滤波器对原始图像进行若干次连续滤波得到第一尺度组图像，再把原始图像宽高缩小一半，同样采用高斯滤波器进行若干次连续滤波得到第二尺度组图像，不本文档来自技高网...

【技术保护点】
一种用于虚拟现实的三维全景拼接方法，其特征在于，包括以下步骤：s1、分别提取图像的sift特征点，进行特征点检测得到描述子，根据所述描述子进行特征点描述得到种子点；s2、根据种子点进行特征点匹配查找得到叶子节点；s3、根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；s4、根据模型进行图像拼接融合。

【技术特征摘要】
1.一种用于虚拟现实的三维全景拼接方法，其特征在于，包括以下步骤：s1、分别提取图像的sift特征点，进行特征点检测得到描述子，根据所述描述子进行特征点描述得到种子点；s2、根据种子点进行特征点匹配查找得到叶子节点；s3、根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；s4、根据模型进行图像拼接融合。2.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s1步骤中进行特征点的检测包括：对原始图像进行若干次连续滤波得到第一尺度组图像，把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组图像；求解计算这些高斯差分尺度组图像的局部极值点，即为所求的特征点。3.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s1步骤中进行特征点的描述包括：确定计算描述子所需的图像区域；将坐标移至关键点主方向；在图像半径区域内对每个像素点求其梯度幅值和方向，对每个梯度幅值乘以高斯权重参数，生成方向直方图；在区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，在下一个区域内进行直方图统计，形成下一个种子点，生成若干个种子点；描述子向量元素门限化及门限化后的描述子的向量规范化。4.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s2步骤包括：以所有特征点建立K-D树；对于某个目标特征点K-D树的根节点出发，递归的向下搜索K-D树，若目标点当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止，并以此叶子节点为当前最近点；递归的向上回溯，在每个节点中进行以下操作：若该节点保存的实例点比当前最近点距离目标点近，则更新当前最近点，否则，保持当前最近点不变；若存在距目标点更近的点，则移动到另一个子结点，继续递归的进行最近邻搜索，否则，向上回溯；回退到根节点，搜索结束，得到最近邻点。5.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s3步骤包括：初步匹配后通过随机采样一致算法删除一些误匹配点对从而得到比较精准的匹配，计算两幅图像匹配点对之间的变换矩阵；上述随机采样一致算法通过反复选取数据中的一组随机子集来达成目标，被选取的子集被假设为局内点，并用下述方法进行验证：用一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；用所述模型去测试所有的其它数据，若某个点适用于估计的模型，则认为它是局内点；若有足够多的点被归类为假设的局内点，则所述模型合理，再用所有假设的局内点去重新估计上述模型；通过估计局内点与模型的错误率来评估模型。6.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s4步骤将待拼接的图像分为多个部分经变换矩阵拼接融合到一个新图像中。7.一种用于虚拟现实的三维全景拼接装置，其特征在于，包括：检测模块...

【专利技术属性】
技术研发人员：谭贻国，
申请(专利权)人：深圳市金大象文化发展有限公司，
类型：发明
国别省市：广东;44