一种基于室内空间布局约束的场景模型补全方法技术

本发明专利技术公开了一种基于室内空间布局约束的场景模型补全方法。首先使用超体素分割对室内稠密三维重建模型进行预处理，将mesh模型转换成超体素数据，每个超体素数据将邻局部特征一致的mesh进行初步的聚类，在保持原三维模型的特征的基础上大大的减少了计算量，然后在超体素模型上使用RANSAC平面检测算法，进行平面的预提取，建立带有平面几何约束的能量函数，通过求解能量函数求得该三维室内模型中的建筑主体结构平面，然后得出模型的室内空间布局，在室内空间布局的约束下，进行孔洞检测和孔洞修补，最终完成三维模型的孔洞补全。本发明专利技术方法能够大大提升对墙角等墙建筑主体结构上的补全效果，进而提升了整体室内环境的补全效果。效果。效果。

【技术实现步骤摘要】
一种基于室内空间布局约束的场景模型补全方法


[0001]本专利技术属于计算机图形学中的三维模型重建、三维模型补全、三维数据处理领域，是一种充分利用人造室内空间中layout约束条件的室内三维场景模型补全方法，可以进一步的完善实时稠密重建的重建效果，尤其是能大大提高墙角处的补全效果，未来可应用于AR和VR领域。

技术介绍

[0002]在虚拟现实(VR)、增强现实(AR)或者混合现实(MR)领域中，往往需要将虚拟的数字化场景、物体或者其他数字化信息和真实环境进行互动，三维重建技术将作为一种将真实场景或者物体转换成虚拟场景或物体的接口，在真实环境与虚拟物体进行交互过程中起着至关重要的作用。
[0003]现有的三维重建技术虽然能够将完成的稠密三维模型重建出来，但是这个重建过程往往需要拿着传感器缓慢的对整个室内环境中的所有物体以及整个场景进行全方位无死角的扫描，最终才能生成完整的室内稠密模型，这个过程往往十分耗费时间，且稍有不慎就会使得模型中出现一些孔洞。在用户实际使用VR等设备进行现实三维环境稠密重建时，生成的三维模型中不可避免的存在孔洞，此时在孔洞的干扰下，真实场景和虚拟物体进行交互的过程中就会出现错误的互动，影响用户的体验。本专利针对重建后的三维模型中存在孔洞的问题，提出了一种在重建的三维模型上进行全场景的孔洞补全技术。
[0004]现有的三维模型孔洞补全方法分为两种。一种是基于三维点云数据的模型补全，如PCN算法能够将有缺失的点云补全，但点云模型对三维模型的细节和纹理部分描述能力较差，往往无法在VR等领域中应用。第二种是基于稠密三维mesh模型的孔洞补全，但是现有的基于稠密mesh模型的补全算法只针对单个物体模型有效，在进行多物体乃至场景模型孔洞补全时，不同物体上的孔洞会产生互相干扰，使得最终的补全效果十分不理想，同时当墙角处出现孔洞时，该方法往往将墙角补成弧线形，与真实场景不符，所以该方法无法良好的解决整个室内全场景环境模型的孔洞补全任务。
[0005]在人造的室内环境中，三维空间往往由互相垂直或平行的墙面地面等围城的固定区域中，所以充分利用好室内的空间布局(layout)信息，能够更加精准的完成对室内场景的补全。
[0006]本专利专利技术了一种在室内空间布局信息约束下的室内全场景环境模型补全的方法，该方法充分利用了室内场景特有的布局特点，大大提高了对墙角处的场景补全效果，进而提高了对整体室内场景的补全效果。

技术实现思路

[0007]针对现有技术中存在的不足，本专利技术提供一种基于室内空间布局约束的场景模型补全方法。
[0008]本专利技术首先使用超体素分割的方法对室内稠密三维重建模型进行预处理，使得大
量的mesh模型转换成超体素数据，每个超体素数据将邻局部特征一致的mesh进行初步的聚类，在尽可能保持原三维模型的特征的基础上大大的减少了计算量，然后在超体素模型上使用RANSAC平面检测算法，进行平面的预提取，将室内平面区域大于一定阈值的平面全部提出后，建立一个带有平面几何约束的能量函数，通过求解能量函数求得该三维室内模型中的建筑主体结构平面，然后得出该模型的室内空间布局，在室内空间布局的约束下，进行模型的孔洞检测和孔洞修补，最终完成了该室内三维模型的孔洞补全，重建出一个新的没有孔洞的完整室内场景模型。
[0009]一种基于室内空间布局约束的场景模型补全方法，包括以下步骤：
[0010]步骤(1)、三维模型预处理；
[0011]使用超体素分割的方法对通过稠密重建系统得到的室内稠密三维模型进行预处理，生成超体素。
[0012]步骤(2)、平面检测检测及建筑主体结构平面提取；
[0013]在超体素分割后的室内稠密三维模型上使用RANSAC平面提取算法进行三维空间中的平面预提取，将三维空间中平面面积大于设定阈值的平面提出，建立带有空间几何约束的能量函数，空间几何约束中使用垂直和平行的几何约束，通过求解能量函数得出三维空间的建筑主体结构平面。同时将非平面的物体部分，按照空间邻接关系进行彼此分割。
[0014]此时室内空间共含有室内主体平面，除室内主体平面外的其他平面以及室内物体三个部分。
[0015]步骤(3)、室内空间布局估计；
[0016]通过建筑主体结构平面参数，计算地板和墙壁之间的交点，建筑主体中的地板与所有墙壁正交，因此两个相邻墙壁和地板之间的交点被视为场景模型中的角点，然后通过高斯消元法来计算三个非平行平面之间交点。最后根据三维室内模型中的角点绘制出室内空间布局。
[0017]步骤(4)、孔洞检测；
[0018]分别在建筑主体结构平面，其他平面和空间物体上进行孔洞识别，在其他平面和空间物体部分中，直接检测孔洞；在建筑主体结构平面中，在室内空间布局的约束下进行孔洞检测。
[0019]步骤(5)、孔洞补全；
[0020]将室内稠密三维模型中每个物体上孔洞的周围都建立一个三维边界框B
H
，该三维边界框B
H
为每个孔洞在每个坐标方向像外扩展20％建立的，然后在每个扩展的三维边界框B
H
内求解双调和方程，最终求该边界框内的零等值面，在孔洞边界处沿零等值面不断生成mesh，完成每个物体的孔洞补全。在对该场景模型中的平面模型进行补全时，在平面方程的约束下，将求解的双调和方程与平面检测得到的平面方程进行加权融合，进而得到一个更加鲁棒的平面补全结果。最终完成室内场景模型孔洞的补全。
[0021]步骤(1)具体方法如下；
[0022]使用超体素分割的方法对通过稠密重建系统得到的室内稠密三维模型进行预处理，首先在空间中根据空间距离均匀的选取种子点，然后通过在有邻接关系的限制下的迭代k均值聚类算法进行超体素聚类。
[0023]步骤(2)具体方法如下；
[0024]在超体素分割后的室内稠密三维模型上使用RANSAC平面提取算法进行三维空间中的平面预提取，将三维空间中平面面积大于设定阈值的平面全部提出作为预选平面，但是这些预选平面不全是建筑的主体结构平面，还包括其他室内空间物体上的平面，将从这些预选平面中选出建筑结构的过程定义为一个最小化能量函数的任务：
[0025]P
*
＝arg min E(P)
ꢀꢀ
(1)
[0026]其中，E(P)是在几何约束下的室内建筑主体结构提取的能量函数，能量函数定义为：
[0027][0028]其中，Z(p
m
)为平面的真实性约束，在室内稠密三维模型中，若p是一个真平面，会有很多的超面片位于平面p上，当平面p上的超面片数量小于阈值时，平面p将不会被认为是建筑结构，反之，位于平面p上的超面片数量越多，其越可能是室内建筑结构。H(p
m
,p
n
)为室内建筑主体结构的几何约束，在H(p
m
,p
n
)中通过判断两个平面是否满足平行或者垂直关系，进而筛选出建筑主体结构。此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于室内空间布局约束的场景模型补全方法，其特征在于，包括以下步骤：步骤(1)、三维模型预处理；使用超体素分割的方法对通过稠密重建系统得到的室内稠密三维模型进行预处理，生成超体素；步骤(2)、平面检测检测及建筑主体结构平面提取；在超体素分割后的室内稠密三维模型上使用RANSAC平面提取算法进行三维空间中的平面预提取，将三维空间中平面面积大于设定阈值的平面提出，建立带有空间几何约束的能量函数，空间几何约束中使用垂直和平行的几何约束，通过求解能量函数得出三维空间的建筑主体结构平面；同时将非平面的物体部分，按照空间邻接关系进行彼此分割；此时室内空间共含有室内主体平面，除室内主体平面外的其他平面以及室内物体三个部分；步骤(3)、室内空间布局估计；通过建筑主体结构平面参数，计算地板和墙壁之间的交点，建筑主体中的地板与所有墙壁正交，因此两个相邻墙壁和地板之间的交点被视为场景模型中的角点，然后通过高斯消元法来计算三个非平行平面之间交点；最后根据三维室内模型中的角点绘制出室内空间布局；步骤(4)、孔洞检测；分别在建筑主体结构平面，其他平面和空间物体上进行孔洞识别，在其他平面和空间物体部分中，直接检测孔洞；在建筑主体结构平面中，在室内空间布局的约束下进行孔洞检测；步骤(5)、孔洞补全；将室内稠密三维模型中每个物体上孔洞的周围都建立一个三维边界框B
H
，该三维边界框B
H
为每个孔洞在每个坐标方向像外扩展20％建立的，然后在每个扩展的三维边界框B
H
内求解双调和方程，最终求该边界框内的零等值面，在孔洞边界处沿零等值面不断生成mesh，完成每个物体的孔洞补全；在对该场景模型中的平面模型进行补全时，在平面方程的约束下，将求解的双调和方程与平面检测得到的平面方程进行加权融合，进而得到一个更加鲁棒的平面补全结果；最终完成室内场景模型孔洞的补全。2.根据权利要求1所述的一种基于室内空间布局约束的场景模型补全方法，其特征在于，步骤(1)具体方法如下；使用超体素分割的方法对通过稠密重建系统得到的室内稠密三维模型进行预处理，首先在空间中根据空间距离均匀的选取种子点，然后通过在有邻接关系的限制下的迭代k均值聚类算法进行超体素聚类。3.根据权利要求2所述的一种基于室内空间布局约束的场景模型补全方法，其特征在于，步骤(2)具体方法如下；在超体素分割后的室内稠密三维模型上使用RANSAC平面提取算法进行三维空间中的平面预提取，将三维空间中平面面积大于设定阈值的平面全部提出作为预选平面，但是这些预选平面不全是建筑的主体结构平面，还包括其他室内空间物体上的平面，将从这些预选平面中选出建筑结构的过程定义为一个最小化能量函数的任务：P
*
＝arg min E(P)
ꢀꢀ
(1)
其中，E(P)是在几何约束下的室内建筑主体结构提取的能量函数，能量函数定义为：其中，Z(p
m
)为平面的真实性约束，在室内稠密三维模型中，若p是一个真平面，会有很多的超面片位于平面p上，当平面p上的超面片数量小于阈值时，平面p将不会被认为是建筑结构，反之，位于平面p上的超面片数量越多，其越可能是室内建筑结构；H(p
m
,p
n
)为室内建筑主体结构的几何约束，在H(p
m
,p
n
)中通过判断两个平面是否满足平行或者垂直关系，进而筛选出建筑主体结构；此外，为了避免重叠平面重复提取，还设置了一个重叠约束项O(p
m
,p
n
)；(2)式中Z(p
m
)被定义为：其中表示表示点c
i
到平面p
m
的距离小于噪声阈值点的集合，用来描述，其中r(c
i
,p
m
)表示点c
i
到平面p
m
的距离，表示平面的噪声阈值；(3)式中λ表示建筑结构中含有的最少超面片的数量，(3)中运算|
·<...

【专利技术属性】
技术研发人员：路荣丰，颜成钢，朱尊杰，徐枫，裘健鋆，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：