本发明专利技术公开了一种基于平面约束的室内场景模型补全方法。在稠密室内三维重建的基础上使用循环使用RANSAC方法进行三维平面的检测，通过平面检测结果，将室内环境分割为不同的平面区域和物体区域，然后利用物体区域中各mesh顶点的邻接关系将空间上彼此分离的物体分割开，然后分别在不同的平面区域和不同的物体模型上进行孔洞检测，分别完成孔洞补全任务，然后将逐个补全的结果放在同一个三维空间中，最终完成室内全场景的三维模型孔洞补全任务。本发明专利技术消除了不同物体上孔洞之间的干扰，极大的提高了物体模型的补全精度，提高了补全效果，在对场景中的平面模型进行补全时，能够在平面方程的约束下，实现更加鲁棒的平面补全效果。实现更加鲁棒的平面补全效果。实现更加鲁棒的平面补全效果。
【技术实现步骤摘要】
一种基于平面约束的室内场景模型补全方法
[0001]本专利属于计算机图形学中的三维模型重建、三维模型补全领域，是一种充分利用人造室内空间中平面约束条件的室内三维场景模型补全方法，可以进一步的完善实时稠密重建的重建效果，未来可应用于AR和VR领域。
技术介绍
[0002]在虚拟现实(VR)、增强现实(AR)或者混合现实(MR)领域中，往往需要将虚拟的数字化场景、物体或者其他数字化信息和真实环境进行互动，三维重建技术将作为一种将真实场景或者物体转换成虚拟场景或物体的接口，在真实环境与虚拟物体进行交互过程中起着至关重要的作用。
[0003]现有的三维重建技术虽然能够将完成的稠密三维模型重建出来，但是这个重建过程往往需要拿着传感器缓慢的对整个室内环境中的所有物体以及整个场景进行全方位无死角的扫描，最终才能生成完整的室内稠密模型，这个过程往往十分耗费时间，且稍有不慎就会使得模型中出现一些孔洞。在用户实际使用VR等设备进行现实三维环境稠密重建时，生成的三维模型中不可避免的存在孔洞，此时在孔洞的干扰下，真实场景和虚拟物体进行交互的过程中就会出现错误的互动，影响用户的体验。本专利针对重建后的三维模型中存在孔洞的问题，提出了一种在重建的三维模型上进行全场景的孔洞补全技术。
[0004]现有的三维模型孔洞补全方法分为两种。一种是基于三维点云数据的模型补全，如PCN算法能够将有缺失的点云补全，但点云模型对三维模型的细节和纹理部分描述能力较差，往往无法在VR等领域中应用。第二种是基于稠密三维mesh模型的孔洞补全，但是现有的基于稠密mesh模型的补全算法只针对单个物体模型有效，在进行多物体乃至场景模型孔洞补全时，不同物体上的孔洞会产生互相干扰，使得最终的补全效果十分不理想，所以该方法无法解决整个室内全场景环境模型的孔洞补全任务。
[0005]在人造的室内空间中，往往平面是最主要的组成图元，同时各种不同的物品也都分别放置在室内的平面结构之上，所以对于绝大部分不相关的物体我们不需经过深度学习的训练就可以在平面的约束下从空间中彼此分割。
[0006]本专利专利技术了一种在平面结构信息约束下的室内全场景环境模型补全的方法。
技术实现思路
[0007]针对现有技术中存在的不足，本专利技术提供一种基于平面约束的室内场景模型补全方法。
[0008]本专利技术方法在稠密室内三维重建的基础上使用循环使用RANSAC方法进行三维平面的检测，通过平面检测结果，将室内环境分割为不同的平面区域和物体区域，然后利用物体区域中各mesh顶点的邻接关系将空间上彼此分离的物体分割开，然后分别在不同的平面区域和不同的物体模型上进行孔洞检测，分别完成孔洞补全任务，然后将逐个补全的结果放在同一个三维空间中，最终完成室内全场景的三维模型孔洞补全任务。
[0009]一种基于平面约束的室内场景模型补全方法，包括以下步骤：
[0010]步骤(1)、基于RANSAC的三维模型平面检测；
[0011]在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面，将三维空间中的不同平面分割出来，同时将整个模型分割为平面部分和非平面的物体部分，完成预分割。
[0012]步骤(2)、非邻接物体的分割；
[0013]利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体进行分割，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰。
[0014]步骤(3)、孔洞检测；
[0015]分别检测每个不同平面和不同物体上的孔洞。
[0016]步骤(4)、孔洞补全；
[0017]在室内三维模型中每个物体上孔洞的周围都建立一个三维边界框B
H
，该三维边界框B
H
为每个孔洞在每个坐标方向像外扩展20％来建立的，然后在每个扩展的三维边界框B
H
内求解双调和方程，最终求该边界框内的零等值面，在孔洞边界处沿零等值面不断生成mesh，完成每个物体的孔洞补全。在对该场景模型中的每个平面模型进行补全时，在平面方程的约束下，将求解的双调和方程与平面检测得到的平面方程进行加权融合，进而得到一个更加鲁棒的平面补全结果。最终完成室内场景模型孔洞的补全。
[0018]本专利技术有益效果如下：
[0019](1)本专利技术能够在室内场景级模型中进行mesh孔洞补全，相比于原来的方法，该方法能够辅助稠密重建系统，得到更好的室内重建模型，方便与后续的在VR或AR中使用。
[0020](2)本专利技术在对场景中的物体进行补全时，消除了不同物体上孔洞之间的干扰，极大的提高了物体模型的补全精度，提高了补全效果。
[0021](3)本专利技术在对场景中的平面模型进行补全时，能够在平面方程的约束下，实现更加鲁棒的平面补全效果。
[0022](4)本专利技术采用了基于mesh的补全方法，相比于在点云上的补全方法，该补全方法具有更好的模型纹理信息。
附图说明
[0023]图1为本专利技术实施例室内场景模型补全流程图；
[0024]图2为本专利技术实施例带有孔洞的室内三维场景模型；
[0025]图3为本专利技术实施例三维模型孔洞示意图；
[0026]图4为本专利技术实施例通过双调和方程求解得到的孔洞等值面示意图；
[0027]图5为本专利技术实施例补全后得到的室内三维场景模型。
具体实施方式
[0028]下面结合本专利的附图来对专利技术专利的具体实施进行详细描述。
[0029]结合图1.基于平面约束的室内场景模型补全的流程图，本专利技术主要包含以下步骤：
[0030]步骤(1)、基于RANSAC的三维模型平面检测；
[0031]如图2所示，在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面并将其从三维空间中分割出来，当循环到平面面积为设定的最小阈值时，终止循环RANSAC平面检测算法，即提取出该三维场景中全部平面，其余部分为三维空间中的物体部分，将整个模型分割为平面部分和非平面的物体部分，完成预分割，为接下来孔洞补全任务提供平面约束。
[0032]步骤(2)、非邻接物体的分割；
[0033]首先在物体部分mesh模型中撒入种子点，然后利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体分割开来，确保空间上接触的物体之间彼此分离开的，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰。
[0034]步骤(3)、孔洞检测；
[0035]分别检测每个不同平面和不同物体上的孔洞。首先检测所有边界边，边界边为只属于一个mesh的边，而不属于其他mesh的边，将边界边构成的闭合回环当作需要补全的模型孔洞。
[0036]步骤(4)、孔洞补全；
[0037]在完成孔洞检测后，将在每个孔洞的周围都建立一个三维边本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于平面约束的室内场景模型补全方法，其特征在于，包括以下步骤：步骤(1)、基于RANSAC的三维模型平面检测；在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面，将三维空间中的不同平面分割出来，同时将整个模型分割为平面部分和非平面的物体部分，完成预分割；步骤(2)、非邻接物体的分割；利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体进行分割，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰；步骤(3)、孔洞检测；分别检测每个不同平面和不同物体上的孔洞；步骤(4)、孔洞补全；在室内三维模型中每个物体上孔洞的周围都建立一个三维边界框B
H
，该三维边界框B
H
为每个孔洞在每个坐标方向像外扩展20％来建立的，然后在每个扩展的三维边界框B
H
内求解双调和方程，最终求该边界框内的零等值面，在孔洞边界处沿零等值面不断生成mesh，完成每个物体的孔洞补全；在对该场景模型中的每个平面模型进行补全时，在平面方程的约束下，将求解的双调和方程与平面检测得到的平面方程进行加权融合，进而得到一个更加鲁棒的平面补全结果；最终完成室内场景模型孔洞的补全。2.根据权利要求1所述的一种基于平面约束的室内场景模型补全方法，其特征在于，步骤(1)具体方法如下；在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面并将其从三维空间中分割出来，当循环到平面面积为设定的最小阈值时，终止循环RANSAC平面检测算法，即提取出该三维场景中全部平面，其余部分为三维空间中的物体部分，将整个模型分割为平面部分和非平面的物体部分，完成预分割，为接下来孔洞补全任务提供平面约束。3.根据权利要求2所述的一种基于平面约束的室内场景模型补全方法，其特征在于，步骤(2)具体方法如下；首先在物体部分mesh模型中撒入种子点，然后利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体分割开来，确保空间上接触的物体之间彼此分离开的，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰。4.根据权利要求3所述的一种基于平面约束的室内场景模型补全方法，其特征在于，步骤(3)具体方法如下；分别检测每个不同平面和不同物体上的孔洞；首先检测所有边界边，边界边为只属于一个mesh的边，而不属于其他mesh的...
【专利技术属性】
技术研发人员：路荣丰，颜成钢，朱尊杰，徐枫，裘健鋆，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。