室内空间三维重建方法技术

本发明专利技术公开了室内空间三维重建方法，包括建立墙角特征学习库，每一个墙角特征具有相应的空间关系；获取待重建的当前全景图像；对当前全景图像做线条检测和/或超像素分割，生成由线条和超像素组成的线条‑超像素图像；将当前全景图像按视角分解成多张单视角图像；分别将每张单视角图像进行墙角特征学习库的深度学习，通过深度学习识别出墙角特征的空间关系；将所有单视角图像的空间关系按全景图像的合成条件进行合成，生成当前全景图像的空间关系；将当前全景图像的空间关系应用于线条‑超像素图像，生成具有空间关系的线条‑超像素图像。本发明专利技术能够准确识别全景图像中的三维特征，能够准确构建三维空间关系。

Three-dimensional reconstruction of indoor space

【技术实现步骤摘要】
室内空间三维重建方法
本专利技术涉及一种利用二维图片进行空间三维重建的方法。
技术介绍
下面的
技术介绍
用于帮助读者理解本专利技术，而不能被认为是现有技术。三维全景是基于全景图像的真实场景虚拟现实技术。全景是把相机环360°拍摄的一组或多组照片拼接成一个全景图像，也可以通过一次拍摄实现全景图像，全景图像是一种对周围环境、物体以某种几何关系进行映射生产的平面图片，全景图像需要进行三维重建才能成为三维空间图像。三维全景图一般由普通相机结合鱼眼镜头捕捉整个场景的图像信息，再使用软件进行图片拼合，变为360°全景图片用于虚拟现实浏览。但全景图片是将三维场景通过二维的方式展示，图像的三维空间感缺失，并且伴随有线条畸变(如直线在全景图片中表现为曲线)。有一种将全景图片重建为三维场景的方法是：获得输入室内全景图像，通过离散点拟合的方式得到线条，由图像语义标记不同类型的线条；通过分割生成超像素，标记各个面的方向(比如用色彩标记，红色表示地板或天花板等水平面，条纹色表示墙面等垂直面，白色表示不施加方向限制的面)，恢复图像的深度信息，获得灰度图；重建三维线条、输出三维空间模型。这种三维场景重建方法的缺点在于：1、由离散点拟合只能获得线条的一部分，无法获得完整的线条，出现线条中断。2、线条不完整导致线条之间的相交关系损失，导致相邻面关系的缺失，如墙角无法识别。
技术实现思路
本专利技术的目的在于提供一种能够准确识别全景图像中的三维特征，能够准确构建三维空间关系的室内空间三维重建方法。本专利技术解决其技术问题所采用的技术方案是：室内空间三维重建方法，包括以下步骤：S1、建立墙角特征学习库，每一个墙角特征具有相应的空间关系，墙角特征的空间关系是指，该墙角图像中，天花板、墙面和地面的分割关系，墙角特征的图像是相机从固定角度拍摄的单视角图像；S2、获取待重建的当前全景图像；S3、对当前全景图像做线条检测和/或超像素分割通过图像语义分析用不同颜色或不同线型表示不同方向的线条，生成由线条和超像素组成的线条-超像素图像；S4、获取当前全景图像的空间关系：S4.1、将当前全景图像按视角分解成多张单视角图像；全景图像生成需要使用多张不同视角的图像进行合成，分解形成的多张单视角图像就是用于合成全景图像的图像；S4.2、分别将每张单视角图像进行墙角特征学习库的深度学习，通过深度学习识别出墙角特征的空间关系；S4.3、将所有单视角图像的空间关系按全景图像的合成条件进行合成，生成当前全景图像的空间关系，以不同颜色表示不同的空间位置(空间位置如天花板、墙面、地面等)；S5、将当前全景图像的空间关系应用于线条-超像素图像，删除线条-超像素图像中方向错误的线条获得，生成具有空间关系的线条-超像素图像；如，表示墙面的线条出现在了地面或天花板区域，则该表示墙面的线条方向错误，做删除处理；当前全景图像的空间关系与当前全景图形的像素坐标一致、线条-超像素图像与当前全景图形的像素坐标一致，因此，可以将当前全景图像的空间关系与线条-超像素图像对应起来；S6、用具有空间关系的线条-超像素图像重建空间中每个面的信息；步骤S3和S4同步进行，或者先进行S3再进行S4，或者先进行S4再进行S3。在一些实施例中，对步骤S3中的线条-超像素图像进行多段检测线条的拟合，包括以下步骤：S3.1.1、对当前全景图像进行线条检测获得线条图像，通过语义分析、标记不同方向的线条，线条检测的算法采用常用的算法，如SFV；S3.1.2、获得线条图像中的任意一条线条作为当前线条，获得当前线条向前延伸的规律(比如直线的斜率、弧线的曲率等)，将当前线条按其延伸规律向前延伸；S3.1.3、随着当前线条向前延伸，判断是否有与当前线条延伸段的距离小于预设值的可合并线条，若是，则将当前线条与可合并线条融合成一条线条；若否，则保留未延伸的当前线条。作为优选的方案，在室内空间三维重建时，删除线条-超像素图像中方向错误的线条之后再进行线条的检测和拟合。作为优选的方案，步骤S3.1.3中，线条融合的方法为：当前线条向前延伸、遇到可合并线条时，在当前线条的起点到可合并线条的终点拟合出连续的拟合线条，连续线条的拟合规律与当前线条的延伸规律的误差在设定的误差范围内；如当前线条和拟合线条均为弧线，则当前线条的曲率半径与拟合线条的曲率半径之间的差值应在设定的误差范围内；拟合线条可能是在当前线条和可合并线条之间，或者是拟合线条与当前线条或者可合并线条其中之一重合；或者，当前线条向前延伸、遇到可合并线条时，将可合并线条的终点平移到当前线条的延伸段、形成拟合线条；拟合线条按照其延伸规律继续向前延伸，若到平面结束时仍未遇到可合并线条，则保留未延伸的当前线条；若到平面结束时已融合可合并线段，则用拟合线条替代当前线条和所有已融合的可合并线段。在一些实施例中，对线条-超像素图像中，出现线条被遮挡的情况时，对线条的强拉直拟合，包括以下步骤：S3.2.1、建立大物件特征学习库，每一个大物件特征具有相应的空间关系，大物件特征包括：家具、家电等，大物件的空间关系是指：在图像中大物件与各相关平面的区域分割关系；S3.2.2、获取当前全景图像，是当前全景图像用大物件特征学习库进行深度学习，获得大物件特征的空间关系，如图9所示；S3.2.3、获得当前全景图像的线条图像或线条-超像素图像，将大物件特征的空间关系应用到线条图像或线条-超像素图像，将大物件特征所在区域内的线条删除；S3.2.4、将被大物件遮挡而造成中断的线条进行强拟合；被大物件进行遮挡指的是该线条的终点或起点位于大物件的边界上；强拟合是指：利用当前线条规律向前延伸，寻找是否有与之延伸规律相同、且距离小于预设值的可拟合线条；或者，利用当前线条规律向前延伸到线条所在面的结束边界，判断当前线条与相邻面是否有距离小于预设值的相邻面可拟合线条，相邻面可拟合线条是位于相邻面的线条通过其延伸规律向前延伸到该相邻面的边界，或者该相邻面可拟合线条是实际终止于该相邻面的边界；属于同一个消失点或者消失方向的线条属于同一个面。消失点是本领域的现有技术，已有论文公开了消失点的详细理论，本申请中不再展开说明。在一些实施例中，经过拟合后的线条-超像素图像作为步骤S5中使用的线条-超像素图像。以上方法通过对墙角特征深度学习，识别出全景图像中的墙角特征及其空间关系，每个墙角特征对应有天花板、墙面和地面的空间分割关系，所有墙角特征的空间关系组合起来，能够完成对当前全景图像的空间关系分别，建出全景图像对应的三维空间框架(如天花板区域、墙面区域、地面区域)；线条方向指示出墙面之间的相交或平行关系，空间关系结合线条-超像素图像，重建出全景图像对应的三维空间。本专利技术的优点在于：通过识别墙角特征来重构三维空间模型，每个墙角特征对应有相应的空间形态，因此在全景图像中识别到墙角特征后，即可以将全景图像按照墙角特征的空间形态进行空间面的分割，三维重建的精准度高，速度快。附图说明图1是一个独立空间的三维全景图像。图2是三维全景图像的线条-超像素图像。图3是三维全景图像分解获得的其中一张单视角图像。图4是图3对应的空间关系。图5是三维全景图像对应的空间关系。图6是线条检测和拟合之后的线条图像。图7是图1对应的三维空间。图8是大物件特征的空间关系深度学习。本文档来自技高网...

【技术保护点】
1.室内空间三维重建方法，包括以下步骤：S1、建立墙角特征学习库，每一个墙角特征具有相应的空间关系；S2、获取待重建的当前全景图像；S3、对当前全景图像做线条检测和/或超像素分割通过图像语义分析用不同颜色或不同线型表示不同方向的线条，生成由线条和超像素组成的线条‑超像素图像；S4、获取当前全景图像的空间关系：S4.1、将当前全景图像按视角分解成多张单视角图像；S4.2、分别将每张单视角图像进行墙角特征学习库的深度学习，通过深度学习识别出墙角特征的空间关系；S4.3、将所有单视角图像的空间关系按全景图像的合成条件进行合成，生成当前全景图像的空间关系，以不同颜色表示不同的空间位置；S5、将当前全景图像的空间关系应用于线条‑超像素图像，删除线条‑超像素图像中方向错误的线条获得，生成具有空间关系的线条‑超像素图像；S6、用具有空间关系的线条‑超像素图像重建空间中每个面的信息。

【技术特征摘要】
1.室内空间三维重建方法，包括以下步骤：S1、建立墙角特征学习库，每一个墙角特征具有相应的空间关系；S2、获取待重建的当前全景图像；S3、对当前全景图像做线条检测和/或超像素分割通过图像语义分析用不同颜色或不同线型表示不同方向的线条，生成由线条和超像素组成的线条-超像素图像；S4、获取当前全景图像的空间关系：S4.1、将当前全景图像按视角分解成多张单视角图像；S4.2、分别将每张单视角图像进行墙角特征学习库的深度学习，通过深度学习识别出墙角特征的空间关系；S4.3、将所有单视角图像的空间关系按全景图像的合成条件进行合成，生成当前全景图像的空间关系，以不同颜色表示不同的空间位置；S5、将当前全景图像的空间关系应用于线条-超像素图像，删除线条-超像素图像中方向错误的线条获得，生成具有空间关系的线条-超像素图像；S6、用具有空间关系的线条-超像素图像重建空间中每个面的信息。2.如权利要求1所述的室内空间三维重建方法，其特征在于：对步骤S3中的线条-超像素图像进行多段检测线条的拟合，包括以下步骤：S3.1.1、对当前全景图像进行线条检测获得线条图像，通过语义分析、标记不同方向的线条；S3.1.2、获得线条图像中的任意一条线条作为当前线条，获得当前线条向前延伸的规律，将当前线条按其延伸规律向前延伸；S3.1.3、随着当前线条向前延伸，判断是否有与当前线条延伸段的距离小于预设值的可合并线条，若是，则将当前线条与可合并线条融合成一条线条；若否，则保留未延伸的当前线条。3.如权利要求2所述的室内空间三维重建方法，其特征在于：在室内空间三维重建时，删除线条-超像素图像中方向错误的线条之后再进行线条的检测和拟合。4.如权利要求3...

【专利技术属性】
技术研发人员：孙其瑞，侯钧，
申请(专利权)人：杭州维聚科技有限公司，
类型：发明
国别省市：浙江,33