一种基于多视图三维重建的虚实融合增强现实呈现方法技术

本发明专利技术提供了一种基于多视图三维重建的虚实融合增强现实呈现方法，涉及图像处理技术领域，包括：构建DoG尺度空间对采集到的图像数据进行特征提取训练，获取模板图像特征；确定角点特征点，并为每个角点特征点创建特征点描述符，形成表示二进制描述符的矩阵；根据获取的矩阵进行特征点匹配，并计算模型视图矩阵，结合摄像机的投影矩阵，估计三维模型在真实场景中出现的位置，完成三维注册；基于景观模型的多视图进行三维重建和优化调整；将优化调整后的三维模型与投影矩阵进行虚实融合，将融合结果通过智能显示设备进行显示，本发明专利技术通过基于自然特征的三维注册与基于SFM算法的多视图三维重建技术，使得虚实融合的效果更接近真实场景所具备的真实性。场景所具备的真实性。场景所具备的真实性。

【技术实现步骤摘要】
一种基于多视图三维重建的虚实融合增强现实呈现方法


[0001]本专利技术涉及图像处理
，具体涉及到一种基于多视图三维重建的虚实融合增强现实呈现方法。

技术介绍

[0002]随着三维数字技术的提升，增强现实呈现技术和三维重建技术的相关应用越来越广泛。对于自然场景中景观的呈现，由于其遭受人类活动面临生存问题且呈现形式单一，人们已经逐渐缺乏对这些景观的新鲜感，且重建模型较大、速度慢、特征提取不变性较差。因此，如何有效的保护自然场景中的景观以及开发具有特色的景观呈现形式成为了近年来的研究热点问题。增强现实和三维重建技术的出现，很好的解决了这个问题。
[0003]增强现实技术中涉及虚实结合、即时交互和三维注册技术。目前增强现实中对于三维注册技术的研究更多的是基于人工标识的三维注册技术。但是此种三维注册技术基于人工标识，需要在自然场景中放置人工标识图像，可能不太方便；同时对于一些美观性较强的自然场景，放置人工标识图案，很大程度上会影响场景美观性。于是出现了基于自然特征的三维注册技术，针对图像本身具有的信息，如色彩、轮廓、边缘梯度、纹理等进行特征识别，可以应用于诸多场景中。三维重建是计算机视觉领域内利用单视图或多视图进行三维重建的过程。
[0004]综上所述，如何克服上述缺陷，是本领域技术人员急需解决的问题。

技术实现思路

[0005]本方案针对上文提到的问题和需求，提出一种基于多视图三维重建的虚实融合增强现实呈现方法，具体由于采取了如下技术方案而能够解决上述技术问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于多视图三维重建的虚实融合增强现实呈现方法，包括：
[0007]构建DoG尺度空间对采集到的图像数据进行特征提取训练，获取模板图像特征；
[0008]对捕获的自然场景视频帧进行特征提取，采用Harris角点检测方法确定角点特征点，并为每个角点特征点创建特征点描述符，得到用来表示二进制描述符的矩阵，该矩阵每一行表示一个特征点的二进制描述符；
[0009]根据获取的矩阵进行特征点匹配，并计算模型视图矩阵，结合摄像机的投影矩阵，估计三维模型在真实场景中出现的位置，完成三维注册；
[0010]基于景观模型的多视图进行三维重建，得到三维模型，并对所述三维模型进行优化调整；
[0011]将优化调整后的三维模型与摄像机的投影矩阵进行虚实融合，并将融合结果通过智能显示设备进行显示。
[0012]进一步地，所述构建DoG尺度空间对采集到的图像数据进行特征提取训练，获取模板图像特征包括：
[0013]使用不同参数值的高斯核函数对采集图像进行卷积操作，实现对采集图像的尺度处理；
[0014]利用图像金字塔对采集图像进行下采样，达到图像尺寸变换的效果；
[0015]将高斯函数与图像金字塔结合，形成高斯图像金字塔，在同一图像尺寸下，对不同尺度图像做差分处理，得到DoG图像，即高斯差分尺度空间，其中，将最低分辨率和最高分辨率分别设置为20和96，并设置默认的图像特征提取程度值和特征初始化值。
[0016]更进一步地，所述为每个角点特征点创建特征点描述符包括：
[0017]将RGB格式的自然场景视频帧图像转换为灰度图像，根据公式：计算图像G(x
i
,y
i
)在点(x
i
,y
i
)移动(α,β)后的灰度变化G(x
i
+α,y
i
+β)；
[0018]根据泰勒展开方法及偏导函数，得到：其中，通过计算角点响应值R＝det M
‑
c(traceM)2，将图像中的点进行分类，其中，(x
i
,y
i
)表示图像窗口中的点，w(x
i
,y
i
)代表图像在点(x
i
,y
i
)的加权函数，)的加权函数，是G(x
i
,y
i
)的偏导数，det M＝λ1λ2，traceM＝λ1+λ2，经验常数c的值范围在[0.04,0.06]；
[0019]设置一个阈值，对计算出的角点响应值R进行阈值处理，当R的值大于阈值时且为该点领域内的局部极大值时，则将该点作为角点特征点；
[0020]结合人眼视网膜处理不同精度图像信息的区域划分，采用FREAK算法将采样结构中最中心的点作为特征点，剩余圆心作为采样点，FREAK算法采用二进制串描述特征点，T(P
a
)的值由公式：决定，其中，和表示采样点对中前一个和后一个采样点经过高斯模糊后的像素值；
[0021]将位的二进制串进行过滤，去除不具辨识性的描述子，建立用来表示二进制描述符的矩阵。
[0022]进一步地，所述特征点匹配通过迭代最近点ICP算法进行特征点匹配。
[0023]进一步地，基于景观模型的多视图进行三维重建之前，还需要利用特征提取算法对输入的图像进行特征提取。
[0024]更进一步地，基于景观模型的多视图进行三维重建，得到三维模型包括：
[0025]先选出两张图像进行初始化模型重建；
[0026]通过配准图像，将二维图像的特征点集转化为三维空间呈现的点云集，并对其进行三角网格化，得到模型网格；
[0027]然后利用光束平差法对相机姿态和特征点进行优化调整，过滤不符合要求的三维空间中的点；
[0028]不断添加新的视图图像数据，根据上述步骤进行更新，直到没有适合的视图图像数据为止，最后在得到的模型网格添加纹理信息，呈现更具真实感的三维模型。
[0029]进一步地，对所述三维模型进行优化调整包括：
[0030]使用MeshLab工具或者Autodesk Maya三维建模软件和图像处理软件对建模结果
进行相应的调整；
[0031]通过将调整后的模型赋予新的材质信息，并对模型贴图重新添加纹理等信息，得到新的纹理贴图信息与调整之后的模型融合，对模型大小进行调整的同时也较好的保存了模型的样式呈现。
[0032]进一步地，所述将优化调整后的三维模型与投影矩阵进行虚实融合，并将融合结果通过智能显示设备进行显示包括：
[0033]将采集的实时图像作为背景，并根据摄像机内部参数得出透视投影矩阵，再结合三维注册部分计算出的模型视图矩阵，估计出三维模型在背景场景中将要呈现的位置；
[0034]利用OpenGL先对三维模型包含的顶点、法线等信息进行读取操作，进行相应网格模型的绘制；
[0035]然后进行纹理、光照的渲染设置，将这些整合到一起，形成需要呈现在显示设备上的模型形式；
[0036]最后将背景场景与绘制的三维模型结合起来，实现虚拟三维模型与真实自然场景的融合。
[0037]从上述的技术方案可以看出，本专利技术的有益效果是：针对当前自然场景景观受人类活动所面临的生存问题及其呈现方式存在的形式单一等问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图三维重建的虚实融合增强现实呈现方法，其特征在于，包括以下步骤：构建DoG尺度空间对采集到的图像数据进行特征提取训练，获取模板图像特征；对捕获的自然场景视频帧进行特征提取，采用Harris角点检测方法确定角点特征点，并为每个角点特征点创建特征点描述符，得到用来表示二进制描述符的矩阵，该矩阵每一行表示一个特征点的二进制描述符；根据获取的矩阵进行特征点匹配，并计算模型视图矩阵，结合摄像机的投影矩阵，估计三维模型在真实场景中出现的位置，完成三维注册；基于景观模型的多视图进行三维重建，得到三维模型，并对所述三维模型进行优化调整；将优化调整后的三维模型与摄像机的投影矩阵进行虚实融合，并将融合结果通过智能显示设备进行显示。2.如权利要求1所述的基于多视图三维重建的虚实融合增强现实呈现方法，其特征在于，所述构建DoG尺度空间对采集到的图像数据进行特征提取训练，获取模板图像特征包括：使用不同参数值的高斯核函数对采集图像进行卷积操作，实现对采集图像的尺度处理；利用图像金字塔对采集图像进行下采样，达到图像尺寸变换的效果；将高斯函数与图像金字塔结合，形成高斯图像金字塔，在同一图像尺寸下，对不同尺度图像做差分处理，得到DoG图像，即高斯差分尺度空间，其中，将最低分辨率和最高分辨率分别设置为20和96，并设置默认的图像特征提取程度值和特征初始化值。3.如权利要求2所述的基于多视图三维重建的虚实融合增强现实呈现方法，其特征在于，所述为每个角点特征点创建特征点描述符包括：将RGB格式的自然场景视频帧图像转换为灰度图像，根据公式：计算图像G(x
i
,y
i
)在点(x
i
,y
i
)移动(α,β)后的灰度变化G(x
i
+α,y
i
+β)；根据泰勒展开方法及偏导函数，得到：其中，通过计算角点响应值R＝detM
‑
c(traceM)2，将图像中的点进行分类，其中，(x
i
,y
i
)表示图像窗口中的点，w(x
i
,y
i
)代表图像在点(x
i
,y
i
)的加权函数，)的加权函数，是G(x
i
,y
i
)的偏导数，detM＝λ1λ2，traceM＝λ1+λ2，经验常数c的值范围在[0.04,0.06]；设置一个阈值，对计算出的...

【专利技术属性】
技术研发人员：李毅，宋根龙，黄辉，张笑钦，
申请(专利权)人：温州大学大数据与信息技术研究院，
类型：发明
国别省市：