基于深度学习的三维重建的方法、系统及可读存储介质技术方案

本发明专利技术的实施方式提供了一种基于深度学习的三维重建的方法和系统。通过估计输入的图片的消失点，生成多个结构；基于深度学习提取的结构特征，从所述多个结构中确定目标结构；根据所述目标结构以及所述消失点的信息进行三维重建。实现了利用深度学习提取结构特征，使得提取的结构特征准确，鲁棒性好，进而提高了三维重建的效果，而且，不同于现有技术中的需要对所有结构进行相同的特征提取操作，本发明专利技术实施例中利用深度学习的提取结构特征适用于所有结构，进而提高了三维重建的效率。

【技术实现步骤摘要】
基于深度学习的三维重建的方法、系统及可读存储介质
本专利技术的实施方式涉及通信与计算机
，更具体地，本专利技术的实施方式涉及基于深度学习的三维重建的方法、系统及可读存储介质。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。随着科学技术的发展，重建技术在计算机视觉和计算机图形学领域受到了越来越多的关注，在过去的几十年中，很多学者提出了基于二维图像进行三维重建的方法，例如，通过序列约束、连接性约束、消失点约束、共面约束和边界约束，生成可能的房间场景布局，然后利用最大化能量方法从众多场景布局中选择一个最优的结果，最后使用条件随机场的结构化学习的方法从这些立方体的布局中筛选出结果。该方法利用条件随机场的场景布局筛选方法。又例如，通过以下步骤进行三维重建：A、使用普通相机采集单张图像数据，提取图像中的直线特征，采用EM迭代算法对直线分组并求取消失点，然后通过消失点的信息对相机进行标定；B、利用分类直线进行支撑性分析，得到图像中每个像素所属墙面，从而得到初步的场景结构；C、通过用户的交互操作从初步的场景结构中提取并构建图像场景图，并在交互过程中优化场景结构，从而得到最终的三维场景结构信息；D、使用单根有向线段特征将得到的三维场景结构注册到统一的三维场景中，进而将单相机下的三维场景结构扩大到更大范围。
技术实现思路
但是，现有技术中的三维重建方法中，需要对所有的可能的房间结构进行人工设计特征，然而，一方面，人工设计的特征参数敏感、不稳定、鲁棒性差，使得三维重建的效果差。另一方面，消失点生成的结构数量大，对不同的结构都要进行特征提取操作，特征提取和结构筛选过程运算代价非常大，降低了三维重建的效率。为此，非常需要一种新的基于深度学习的三维重建的方法、系统及可读存储介质，利用深度学习进行特征提取，避免人工设计特征，以提升三维重建的效率和效果。在本上下文中，本专利技术的实施方式期望提供一种基于深度学习的三维重建的方法、系统及可读存储介质。在本专利技术实施方式的第一方面中，提供了一种基于深度学习的三维重建的方法，包括：估计输入的图片的消失点，生成多个结构；基于深度学习提取的结构特征，从所述多个结构中确定目标结构；根据所述目标结构以及所述消失点的信息进行三维重建。在一些实施例中，基于前述方案，所述估计输入的图片的消失点，包括：采用LSD算法提取所述图片的多个线段；从所述多个线段组成的多个交点中估计消失点。在一些实施例中，基于前述方案，所述从所述多个线段组成的多个交点中估计消失点，包括：根据每个交点与每个线段的中点的夹角以及每个线段的长度，从所述多个线段组成的多个交点中估计消失点。在一些实施例中，基于前述方案，所述方法包括：通过如下的公式对每个交点进行投票，根据所述每个交点的投票值，估计消失点：其中，v表示交点的投票值，α表示交点P与线段L的中点的夹角，|L|为线段的长度，δ表示常量。在一些实施例中，基于前述方案，所述消失点的数目为3。在一些实施例中，基于前述方案，所述深度学习包括全卷积神经网络FCN。在一些实施例中，基于前述方案，所述基于深度学习提取的结构特征，确定目标结构，包括：基于所述FCN提取所述图片的ScoreMap；其中，所述ScoreMap用于描述结构特征；根据所述ScoreMap从所述多个结构中确定目标结构。在一些实施例中，基于前述方案，根据所述ScoreMap从所述多个结构中确定目标结构之前还包括：基于所述结构特征，对所述多个结构进行负样本抑制。在一些实施例中，基于前述方案，所述基于所述结构特征，对所述多个结构进行负样本抑制，包括：对所述ScoreMap进行二值化操作，然后进行腐蚀以及膨胀中的至少一种操作，利用操作后的所述图片的ScoreMap对所述多个结构进行负样本抑制。在一些实施例中，基于前述方案，所述根据所述ScoreMap从所述多个结构中确定目标结构，包括：通过如下的公式计算每个结构的得分，根据所述每个结构的得分，确定目标结构：其中，yi为生成的结构中的结构特征构成的图，all_pixels表示所述图的所有像素，pi为所述FCN输出的[0，1]范围的ScoreMap。在一些实施例中，基于前述方案，所述根据所述目标结构以及所述消失点的信息进行三维重建，包括：根据所述消失点估计所述图片对应的相机参数；根据所述相机参数、所述消失点和确定的目标结构确定所述图片对应的三维结构，实现三维重建。在一些实施例中，基于前述方案，所述根据所述消失点估计所述图片对应的相机参数，包括：利用曼哈顿假设，通过如下的最小化损失函数估计焦距：其中，minE(fk)表示求最小值的优化运算，E为优化目标函数，fk为待优化变量，vix为前面计算好的第i个消失点的x坐标，viy为前面计算好的第i个消失点的y坐标，fk表示焦距值。在本专利技术的第二方面中，提供了一种基于深度学习的三维重建的系统，包括：估计模块，用于估计输入的图片的消失点，生成多个结构；确定模块，用于基于深度学习提取的结构特征，从所述多个结构中确定目标结构；重建模块，用于根据所述目标结构以及所述消失点的信息进行三维重建。在一些实施例中，基于前述方案，所述估计模块，包括：提取单元，用于采用LSD算法提取所述图片的多个线段；估计单元，用于从所述多个线段组成的多个交点中估计消失点。在一些实施例中，基于前述方案，所述估计单元，配置为根据每个交点与每个线段的中点的夹角以及每个线段的长度，从所述多个线段组成的多个交点中估计消失点。在一些实施例中，基于前述方案，所述估计单元，配置为通过如下的公式对每个交点进行投票，根据所述每个交点的投票值，估计消失点：其中，v表示交点的投票值，α表示交点P与线段L的中点的夹角，|L|为线段的长度，δ表示常量。在一些实施例中，基于前述方案，所述消失点的数目为3。在一些实施例中，基于前述方案，所述深度学习包括全卷积神经网络FCN。在一些实施例中，基于前述方案，所述确定模块，包括：提取单元，用于基于所述FCN提取所述图片的ScoreMap；其中，所述ScoreMap用于描述结构特征；确定单元，用于根据所述ScoreMap从所述多个结构中确定目标结构。在一些实施例中，基于前述方案，所述确定模块，还包括：抑制单元，用于在所述确定单元确定目标结构之前，基于所述结构特征，对所述多个结构进行负样本抑制。在一些实施例中，基于前述方案，所述抑制单元，配置为对所述ScoreMap进行二值化操作，然后进行腐蚀以及膨胀中的至少一种操作，利用操作后的所述图片的ScoreMap对所述多个结构进行负样本抑制。在一些实施例中，基于前述方案，所述确定单元，配置为通过如下的公式计算每个结构的得分，根据所述每个结构的得分，确定目标结构：其中，yi为生成的结构中的结构特征构成的图，all_pixels表示所述图的所有像素，pi为所述FCN输出的[0，1]范围的ScoreMap。在一些实施例中，基于前述方案，所述重建模块，包括：估计单元，用于根据所述消失点估计所述图片对应的相机参数；重建单元，用于根据所述相机参数、所述消失点和确定的目标结构确定所述图片对应的三维结构，实现三维重建。在一些实施例中，基于前述方案，所述估计单元，配置为利本文档来自技高网...

【技术保护点】
一种基于深度学习的三维重建的方法，包括：估计输入的图片的消失点，生成多个结构；基于深度学习提取的结构特征，从所述多个结构中确定目标结构；根据所述目标结构以及所述消失点的信息进行三维重建。

【技术特征摘要】
1.一种基于深度学习的三维重建的方法，包括：估计输入的图片的消失点，生成多个结构；基于深度学习提取的结构特征，从所述多个结构中确定目标结构；根据所述目标结构以及所述消失点的信息进行三维重建。2.如权利要求1所述的方法，其中，所述估计输入的图片的消失点，包括：采用LSD算法提取所述图片的多个线段；从所述多个线段组成的多个交点中估计消失点。3.如权利要求2所述的方法，其中，所述从所述多个线段组成的多个交点中估计消失点，包括：根据每个交点与每个线段的中点的夹角以及每个线段的长度，从所述多个线段组成的多个交点中估计消失点。4.如权利要求3所述的方法，其中，所述方法包括：通过如下的公式对每个交点进行投票，根据所述每个交点的投票值，估计消失点：其中，v表示交点的投票值，α表示交点P与线段L的中点的夹角，|L|为线段的长度，δ表示常量。5.如权利要求1至4中任意一项所述的方法，其中，所述消失点的数目为3。6.如权利...

【专利技术属性】
技术研发人员：夏侯佐鑫，陈志国，丛林，李晓燕，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33