多空间的融合方法技术

本发明专利技术公开了多空间的融合方法，包括拍照前在每个小空间内张贴标尺；建立标尺学习库；获取每个空间的全景图像作为当前空间图像；将当前空间图像用标尺学习库进行深度学习，找出当前空间图像中的标尺，将所有空间图像的标尺进行方向和尺寸的配准；分别对标尺配准后的每个全景图像进行三维空间重构。本发明专利技术提供一种多空间的融合方法，利用标尺配准，能够实现多个全景图像、多空间融合，且无需限制全景图像的获取方式，任意相机输出的全景图像均可进行配准和空间融合。

Multi-Space Fusion Method

【技术实现步骤摘要】
多空间的融合方法
本专利技术涉及一种多空间的融合方法。
技术介绍
下面的
技术介绍
用于帮助读者理解本专利技术，而不能被认为是现有技术。三维全景是基于全景图像的真实场景虚拟现实技术。全景是把相机环360°拍摄的一组或多组照片拼接成一个全景图像，也可以通过一次拍摄实现全景图像，全景图像是一种对周围环境、物体以某种几何关系进行映射生产的平面图片，全景图像需要进行三维重建才能成为三维空间图像。三维全景图一般由普通相机结合鱼眼镜头捕捉整个场景的图像信息，再使用软件进行图片拼合，变为360°全景图片用于虚拟现实浏览。但全景图片是将三维场景通过二维的方式展示，图像的三维空间感缺失，并且伴随有线条畸变（如直线在全景图片中表现为曲线）。有一种将全景图片重建为三维场景的方法是：获得输入室内全景图像，通过离散点拟合的方式得到线条，由图像语义标记不同类型的线条；通过分割生成超像素，标记各个面的方向（比如用色彩标记，红色表示地板或天花板等水平面，条纹色表示墙面等垂直面，白色表示不施加方向限制的面），恢复图像的深度信息，获得灰度图；重建三维线条、输出三维空间模型。这种三维场景重建方法的缺点在于：对三维空间重构时，有可能出现多空间需要融合的情况，比如一个大空间被分割为多个小空间时，则需要将所有小空间融合成整体，使用不同品牌、不同型号的相机对各子空间拍照，获得的图片存在差异，无法精准地融合。
技术实现思路
本专利技术的目的在于提供一种多空间的融合方法，利用标尺配准，能够实现多个全景图像、多空间融合，且无需限制全景图像的获取方式，任意相机输出的全景图像均可进行配准和空间融合。本专利技术解决其技术问题所采用的技术方案是：多空间的融合方法，包括以下步骤：SI、拍照前在每个小空间内张贴标尺；SII、建立标尺学习库；SIII、获取每个空间的全景图像作为当前空间图像；SIV、将当前空间图像用标尺学习库进行深度学习，找出当前空间图像中的标尺，将所有空间图像的标尺进行方向和尺寸的配准，配准指的是所有空间图像的标尺完全重合；SV、分别对标尺配准后的每个全景图像进行三维空间重构。优选的，SV中，将具有相同信息的三维空间面合成一个面，从而将多个小空间合成一个多空间的三维空间图。该多空间的融合方法，无需使用同一型号相机对各子空间拍照，可以使用不同品牌、不同相机分别对各子空间进行拍照，只要每个空间内张贴的标尺一致即可。多空间融合时，每个子空间的三维重建，使用上述各实施例中的三维空间重建方法。本方法通过深度学习找到每个全景图像中的标尺，将所有标尺进行配准后即可完成对各空间的方向和尺寸的配准，配准后的全景图像可以重构成相同比例的三维空间，再将多个三维空间进行融合。本专利技术的优点在于：利用标尺配准，实现多个全景图像、多空间融合，且无需限制全景图像的获取方式，任意相机输出的全景图像均可进行配准和空间融合。附图说明图1是一个独立空间的三维全景图像。图2是三维全景图像的线条-超像素图像。图3是三维全景图像分解获得的其中一张单视角图像。图4是图3对应的空间关系。图5是三维全景图像对应的空间关系。图6是线条检测和拟合之后的线条图像。图7是图1对应的三维空间。图8是大物件特征的空间关系深度学习。图9是需要多空间融合的示意图。具体实施方式下面结合附图和具体实施方式对本专利技术进一步说明。室内空间的三维重建在一些实施例中，如图1-7所示一种室内空间三维重建方法，包括以下步骤：S1、建立墙角特征学习库，每一个墙角特征具有相应的空间关系，墙角特征的空间关系是指，该墙角图像中，天花板、墙面和地面的分割关系，墙角特征的图像是相机从固定角度拍摄的单视角图像；S2、获取待重建的当前全景图像；S3、对当前全景图像做线条检测和/或超像素分割通过图像语义分析用不同颜色或不同线型表示不同方向的线条，生成由线条和超像素组成的线条-超像素图像；S4、获取当前全景图像的空间关系：S4.1、将当前全景图像按视角分解成多张单视角图像；全景图像生成需要使用多张不同视角的图像进行合成，分解形成的多张单视角图像就是用于合成全景图像的图像；S4.2、分别将每张单视角图像进行墙角特征学习库的深度学习，通过深度学习识别出墙角特征的空间关系；S4.3、将所有单视角图像的空间关系按全景图像的合成条件进行合成，生成当前全景图像的空间关系，以不同颜色表示不同的空间位置(空间位置如天花板、墙面、地面等)；a表示同一颜色的平行线条，b表示同一颜色的平行线条，c表示同一颜色的平行线条，如图2-4所示；S5、将当前全景图像的空间关系应用于线条-超像素图像，删除线条-超像素图像中方向错误的线条获得，生成具有空间关系的线条-超像素图像；如，表示墙面的线条出现在了地面或天花板区域，则该表示墙面的线条方向错误，做删除处理；当前全景图像的空间关系与当前全景图形的像素坐标一致、线条-超像素图像与当前全景图形的像素坐标一致，因此，可以将当前全景图像的空间关系与线条-超像素图像对应起来；S6、用具有空间关系的线条-超像素图像重建空间中每个面的信息；步骤S3和S4同步进行，或者先进行S3再进行S4，或者先进行S4再进行S3。在一些实施例中，对步骤S3中的线条-超像素图像进行多段检测线条的拟合，包括以下步骤：S3.1.1、对当前全景图像进行线条检测获得线条图像，通过语义分析、标记不同方向的线条，线条检测的算法采用常用的算法，如SFV；S3.1.2、获得线条图像中的任意一条线条作为当前线条，获得当前线条向前延伸的规律（比如直线的斜率、弧线的曲率等），将当前线条按其延伸规律向前延伸；S3.1.3、随着当前线条向前延伸，判断是否有与当前线条延伸段的距离小于预设值的可合并线条，若是，则将当前线条与可合并线条融合成一条线条；若否，则保留未延伸的当前线条。作为优选的方案，在室内空间三维重建时，删除线条-超像素图像中方向错误的线条之后再进行线条的检测和拟合。作为优选的方案，步骤S3.1.3中，线条融合的方法为：当前线条向前延伸、遇到可合并线条时，在当前线条的起点到可合并线条的终点拟合出连续的拟合线条，连续线条的拟合规律与当前线条的延伸规律的误差在设定的误差范围内；如当前线条和拟合线条均为弧线，则当前线条的曲率半径与拟合线条的曲率半径之间的差值应在设定的误差范围内；拟合线条可能是在当前线条和可合并线条之间，或者是拟合线条与当前线条或者可合并线条其中之一重合；或者，当前线条向前延伸、遇到可合并线条时，将可合并线条的终点平移到当前线条的延伸段、形成拟合线条；拟合线条按照其延伸规律继续向前延伸，若到平面结束时仍未遇到可合并线条，则保留未延伸的当前线条；若到平面结束时已融合可合并线段，则用拟合线条替代当前线条和所有已融合的可合并线段。在一些实施例中，对线条-超像素图像中，出现线条被遮挡的情况时，对线条的强拉直拟合，包括以下步骤：S3.2.1、建立大物件特征学习库，每一个大物件特征具有相应的空间关系，大物件特征包括：家具、家电等，大物件的空间关系是指：在图像中大物件与各相关平面的区域分割关系；S3.2.2、获取当前全景图像，是当前全景图像用大物件特征学习库进行深度学习，获得大物件特征的空间关系，如图9所示；S3.2.3、获得当前全景图像的线条图像或线条-超像素图像，将大物件特征的空间关系应用到线本文档来自技高网...

【技术保护点】
1.多空间的融合方法，其特征在于，包括以下步骤：SI、拍照前在每个小空间内张贴标尺；SII、建立标尺学习库；SIII、获取每个空间的全景图像作为当前空间图像；SIV、将当前空间图像用标尺学习库进行深度学习，找出当前空间图像中的标尺，将所有空间图像的标尺进行方向和尺寸的配准，配准指的是所有空间图像的标尺完全重合；SV、分别对标尺配准后的每个全景图像进行三维空间重构。

【技术特征摘要】
1.多空间的融合方法，其特征在于，包括以下步骤：SI、拍照前在每个小空间内张贴标尺；SII、建立标尺学习库；SIII、获取每个空间的全景图像作为当前空间图像；SIV、将当前空间图像用标尺学习库进行深度学习，找出当前空间图像中的标尺，将所有空间图像的标尺进行...

【专利技术属性】
技术研发人员：孙其瑞，侯钧，
申请(专利权)人：杭州维聚科技有限公司，
类型：发明
国别省市：浙江,33