一种基于几何特征的视觉重建方法技术

本发明专利技术公开了一种基于几何特征的视觉重建方法，本发明专利技术在进行3D场景重建时并不针对每个像素进行重建，而是首先提取每个场景具有几何特征的物体(几何组件)，基于几何组块进行单张场景图片的3D场景重建，再使用几何组块的尺寸和像素信息等几何特征作为匹配特征进行多张场景图片之间的匹配，并最终完成3D场景重建。该方案仅利用了几何特征而非像素完成场景重建，极大地降低了计算和存储开销，并且可以达到很高的匹配精度和场景重建精度。

【技术实现步骤摘要】
一种基于几何特征的视觉重建方法
本专利技术属于计算机视觉
，具体涉及一种对目标场景进行几何特征提取和匹配的视觉重建技术。
技术介绍
地图重建和定位一直是计算机视觉领域的重要技术之一，在近十年内得到了工业界和学术界的广泛关注。现有技术“GoogleMapIndoor,https://www.google.com/maps/about/partners/indoormaps”公开了一种GoogleMapIndoor(GMI)，其由Google公司推出的室内定位系统基于Wi-Fi信号进行三角定位，并没有获得广泛的使用。主要原因是Wi-Fi信号的定位精度并不理想无法达到商用级别，同时无法绘制视觉地图无法给用户提供一种容易理解的定位方式。为克服这些缺点，现有技术“S.Sen,J.Lee,K.Kim,andP.Congdon.AvoidingMultipathtoReviveInbuildingWiFiLocalization.InProc.ofthe11thACMMobiSys,pages249-262,2013”提出可以使用基于指纹的方法和AoA的测距方法来改进定位精度，使用现有技术中“R.Gao,M.Zhao,T.Ye,F.Ye,Y.Wang,K.Bian,T.Wang,andX.Li.Jigsaw:IndoorFloorPlanReconstructionviaMobileCrowdsensing.InProc.ofthe20thACMMobiCom,pages249-260,2014”的crowdsensing来绘制地图等等。但是这些方法的定位精度仍然在数米级，而且并不能解决地图和定位结果和用户视觉理解地图定位并不匹配的问题。另外现有技术“G.R.Grompone,J.Jakubowicz,J.M.Morel,etal.LSD:afastlinesegmentdetectorwithafalsedetectioncontrol[J].IEEEtransactionsonpatternanalysisandmachineintelligence,32(4):722-732,2010”公开了一种LSD方法，具体公开了如何提取图片中的线段。在实际生活中，用户使用视觉来确定自己的位置，因此计算机视觉技术是一种更直观的地图重建和定位的方法，同时基于计算机视觉的地图重建和定位精度还可以提供更高的精度。但是计算机视觉的算法通常具有很高的复杂性，需要大量的计算资源和存储资源，难以在资源受限的手机上或可穿戴设备上运行。现在手机上的光学传感器越来越丰富，表现通常手机配备了多个摄像头，例如华为荣耀V8、LGOptimus3D、LGV10、HTCEVO3D、HTCOne(M8)等都配备了双后置摄像头。双(后置)摄像头给视觉重建、定位等提供了便利。但是传统的视觉重建定位方法通常是基于点的，即像素级别的计算，计算复杂消耗大量的计算和电池资源。视觉重建的目标场景通常几何特征丰富的观察，如教室内的黑板、海报、窗户等都是规则的长方形。图1是办公楼走廊的一角，可以看出该场景中有丰富的几何形状。
技术实现思路
本专利技术针对上述问题的不足，提出一种基于几何特征的视觉重建方法，本方法仅利用了几何组块而非像素完成场景重建，极大地降低了计算和存储开销，并且可以达到很高的匹配精度乃至场景重建精度。本专利技术为解决上述技术问题提出的技术方案是：一种基于几何特征的视觉重建方法，包括以下步骤：步骤1，采用双摄像头对目标场景进行连续图像采集。步骤2，对每一张的图片进行几何组块提取。首先在图片中提取线，提取了线段后，矩形搜索算法将检查线段是否可以构成矩形。步骤3，根据双摄像头中心坐标对不同时刻的场景照片中的几何组块进行3D重建，一个点P在物理世界的坐标(X,Y,Z)和图片上的坐标(x,y,1)转换的关系为：其中f为焦距。在场景重建时，并不对所有像素点进行3D重建，而仅对矩形的四个顶角进行3D重建，由此确定几何组件的3D位置和现实尺寸。步骤4，根据步骤3中得到的3D重建恢复出几何组块匹配特征，根据恢复的几何组块匹配特征对不同时刻的场景照片中的对应的几何组块进行两两匹配。几何组块匹配特征包括几何组块的尺寸和像素特征，记为一个二元元祖Feature＝(Dimension,Texture)。Feature表示几何组块匹配特征，Dimension表示几何组块的尺寸，Texture表示像素特征。步骤5，根据匹配的几何组块进行，将两个场景连接起来，最终重建完整的3D场景。优选的：所述步骤2中矩形搜索算法：在同一平面内，从某一条线段出发，寻找是否有一条线段与之垂直，如果有则继续寻找是否存在第三条线段与第二条垂直，继续寻找第四条线段。如果四条线段都存在，则构成矩形。所述步骤3中在进行几何组块匹配时，若两个组块的几何组块匹配特征Feature相差小于一定阈值，则表示两个几何组块是匹配的。如果相差超过一个阈值，则不匹配。所述步骤4中几何组块的尺寸通过步骤3中得到的3D重建获取其对应的几何组块的尺寸。像素特征通过对每个组块的像素矩阵都将使用压缩感知压缩为长度为M的矢量并进行归一化，压缩感知中的观测矩阵使用高斯随机矩阵，稀疏矩阵使用差分矩阵。所述步骤5中若两个场景照片中的两个几何组块匹配，则基于该几何组块进行坐标系的统一，将两个场景连接起来，连续处理场景照片最终重建完整的3D场景。相比现有技术，具有以下有益效果：本专利技术在进行3D场景重建时并不针对每个像素进行重建，而是首先提取每个场景具有几何特征的物体(几何组件)，基于几何组块进行单张场景图片的3D场景重建，再使用几何组块的尺寸和像素信息等几何特征作为匹配特征进行多张场景图片之间的匹配，即主要利用场景照片的几何特征进行多图匹配，可以仅利用稀疏照片进行轻量级的场景重建以及精确定位，并最终完成3D场景重建。该方案仅利用了几何特征而非像素完成场景重建，极大地降低了计算和存储开销，并且可以达到很高的匹配精度和场景重建精度，同时可以便利的在手机或可穿戴设备上使用，并且达到很高的重建和定位精度。附图说明图1人造环境中有丰富的几何元素。图2基于几何组件的匹配。图2(a)表示对场景照片进行几何组件的提取和匹配，如图2(b)表示完整的场景图。图3系统框架图。具体实施方式附图非限制性地公开了本专利技术一个优选实施例的结构示意图，以下将结合附图详细地说明本专利技术的技术方案。实施例本专利技术提出的一种基于几何特征的视觉重建方法，如图3所示，利用几何特征进行场景之间的匹配。在进行3D场景重建时并不针对每个像素进行重建，而是首先提取每个场景的几何组块，如长方形的黑板和海报等，基于几何组块进行单张图片的3D场景重建，再使用几何组块的几何数据(如黑板的长宽等)，和几何组块的像素信息(如黑板的黑色)等作为特征进行多张图片之间的匹配，并最终完成3D场景重建。该方案仅利用了几何组块而非像素完成场景重建，极大地降低了计算和存储开销，并且可以达到很高的匹配精度乃至场景重建精度。具体实现过程为：·用户会使用双摄像头的手机或可穿戴设备对目标场景进行连续图像采集；·对每一张新的图片都会进行几何组块提取，几何组块包括具有长方形、圆形等几何图形的物体，如黑板、窗户等。·基于几何组块进行3D重本文档来自技高网...

【技术保护点】
一种基于几何特征的视觉重建方法，其特征在于，包括以下步骤：步骤1，采用双摄像头对目标场景进行连续图像采集；步骤2，对每一张的图片进行几何组块提取；首先在图片中提取线，提取了线段后，矩形搜索算法将检查线段是否可以构成矩形；步骤3，根据双摄像头中心坐标对不同时刻的场景照片中的几何组块进行3D重建，一个点P在物理世界的坐标(X,Y,Z)和图片上的坐标(x,y,1)转换的关系为：

【技术特征摘要】
1.一种基于几何特征的视觉重建方法，其特征在于，包括以下步骤：步骤1，采用双摄像头对目标场景进行连续图像采集；步骤2，对每一张的图片进行几何组块提取；首先在图片中提取线，提取了线段后，矩形搜索算法将检查线段是否可以构成矩形；步骤3，根据双摄像头中心坐标对不同时刻的场景照片中的几何组块进行3D重建，一个点P在物理世界的坐标(X,Y,Z)和图片上的坐标(x,y,1)转换的关系为：其中f为焦距；在场景重建时，并不对所有像素点进行3D重建，而仅对矩形的四个顶角进行3D重建，由此确定几何组件的3D位置和现实尺寸；步骤4，根据步骤3中得到的3D重建恢复出几何组块匹配特征，根据恢复的几何组块匹配特征对不同时刻的场景照片中的对应的几何组块进行两两匹配；几何组块匹配特征包括几何组块的尺寸和像素特征，记为一个二元元祖Feature＝(Dimension,Texture)；Feature表示几何组块匹配特征，Dimension表示几何组块的尺寸，Texture表示像素特征；步骤5，根据匹配的几何组块进行，将两个场景连接起来，最终重建完整的3D场景。2.根据...

【专利技术属性】
技术研发人员：郝洁，王然，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32