基于条件生成对抗网络的室内场景布局估计方法和装置制造方法及图纸

本发明专利技术公开了一种基于条件生成对抗网络的室内场景布局估计方法和装置，该方法包括：运用训练集训练条件生成对抗网络，将待测室内图像输入至训练完成的条件生成对抗网络，预测生成与输入图像尺寸相同的布局边缘图；估计待测室内图像的消失点，从每个消失点等角度间隔引出射线，生成若干扇形区域；根据平均边缘强度最大准则确定采样扇形区域；对预测布局边缘图加高斯模糊，然后对采样扇形区域进行采样生成布局候选项；选出与预测布局边缘图最为相似的空间布局作为最终的布局估计结果。本发明专利技术为生成场景布局边界图提供更加完整的原始信息，无需显式假设数据的参数分布，能提高布局估计的准确率，在室内场景理解和三维重建任务中具有重要的应用价值。

【技术实现步骤摘要】
基于条件生成对抗网络的室内场景布局估计方法和装置
本专利技术涉及一种基于条件生成对抗网络(cGAN)的室内场景布局估计方法和装置，属于图像场景理解

技术介绍
图像场景理解一直都是计算机视觉领域的研究热点，室内场景布局估计作为其初始也是关键单元，基本目标是根据给定的室内场景图像恢复出场景内房间的布局结构。用一个3维立体盒子模拟室内空间布局，从中找到墙-地板、墙-墙、墙-天花板的边界，然而，因为场景内部存在大量的杂物，例如家具、个人等，都会对房间的布局边界造成遮挡，使得布局的恢复变得极具挑战性。准确的房间布局估计需要计算机来从总体视角来理解房间，而不仅仅依赖于局部线索。且完整的原始图像信息和学习能力强大且简单的网络框架能够使计算机更好地理解室内场景的空间结构布局。近年来，许多的场景布局估计研究工作中致力于提出有效的方法进行布局估计。文献[HedauV,HoiemD,ForsythD.Recoveringthespatiallayoutofclutteredrooms.InternationalConferenceonComputerVision.2009:1849-1856.]提出将房间布局边界参数化为3D盒模型结构，基于估计的消失点生成布局候选项，提取线段、几何上下文等特征进行学习。文献[LeeDC,HebertM,KanadeT.Geometricreasoningforsingleimagestructurerecovery.ComputerVisionandPatternRecognition.2009:2136-2143.]在此基础之上又引入方向图特征，通过方向图用最合适的布局来评估的布局假设，其中方向图是由线段切割计算出来的。文献[SchwingAG,HazanT,PollefeysM,etal.Efficientstructuredpredictionfor3Dindoorsceneunderstanding.IEEEConferenceonComputerVisionandPatternRecognition.2012:2815-2822.]提出一种新的参数化方法，将房间布局边界参数化为由消失点引出的成对射线之间的夹角，问题转化为四个离散随机变量的基础预测，对目标函数采用新方法求解。随着卷积神经网络狂潮的掀起，文献[MallyaA,LazebnikS.LearningInformativeEdgeMapsforIndoorSceneLayoutPrediction.InternationalConferenceonComputerVision.2015:936-944.]对场景布局的边界进行预测，提取新的边界特征。在前面研究的基础之上，本专利技术人在文献专利申请CN201710274710中提出以VGG-16为原型的全卷积神经网络预测信息化边界图，并将其与布局类别信息融合生成全局特征，已进行对布局候选项的粗选取，再将线段成员信息、几何上下文信息、法向量和深度经几何积分图像形成区域级特征，以对布局候选项进行进一步选取。但该方法从特征提取和模型求解这两方面进行优化，所涉及的特征都是从既定场景布局候选项的划分区域内逐个提取拼接而成，多个特征的提取导致网络模型复杂度高，模型参数求解困难。
技术实现思路
专利技术目的：为了解决现有的技术问题，本专利技术提供一种基于条件生成对抗网络的室内场景布局估计方法和装置，以准确估计室内场景的空间布局，得到房间三维结构。技术方案：为实现上述目的，本专利技术采用以下技术方案：一种基于条件生成对抗网络的室内场景布局估计方法，包括以下步骤：(1)运用训练集训练条件生成对抗网络，训练集中样本的格式为AB模式，即室内场景图像和其对应的边缘图并行排列，所述条件生成对抗网络包括生成网络和判别网络，室内场景图像作为生成网络的输入，由生成网络生成的室内场景图像对应的边缘图作为判别网络的输入；所述生成网络输出的边缘图与输入的室内场景图像尺寸相同；(2)将待测的室内场景图像输入训练完成的条件生成对抗网络，得到预测布局边缘图；(3)估计待测的室内场景图像中的位于垂直方向和水平方向上的三个消失点，对于每个消失点等角度间隔的引出射线生成若干扇形区域；(4)对于每个消失点，根据预测布局边缘图中对应扇形区域的平均边缘强度最大准则和消失点类型选择一或两个扇形区域作为采样扇形区域；(5)对预测布局边缘图加高斯模糊，然后对采样扇形区域进行采样，由在采样扇形区域中从三个消失点引出的射线两两相交生成一系列布局候选项；(6)计算各布局候选项与预测布局边缘图的相似度，并选出与预测布局边缘图最为相似的布局估计作为最终的布局估计结果。作为优选，所述条件生成对抗网络中生成网络的反卷积部分由两个分支组成，第一个分支包括八层反卷积层，用于生成预测布局边缘图，第二个分支包括两层反卷积层，用于监督第一个分支工作，由第一个分支的第四层的输出结果经过两层反卷积后将输出结果大小设置成与预测布局边缘图的大小一致，然后两个结果一同输出。作为优选，所述条件生成对抗网络中生成网络的损失函数为：其中，其中，G*表示生成网络的损失函数，表示最大化判别网络D中输入数据分布与真实数据分布之间的差异，最小化生成网络G的输出数据分布与真实数据分布之间的差异。x表示输入的室内场景图像，z表示输入的随机噪声，x～px(x)表示x的数据分布，x,y～pdata(x,y)表示x和y的联合数据分布，z～pz(z)表示z的数据分布，G(x,z)表示生成网络的输出，y表示对应于x的真实边缘图，VcGAN(G,D)表示对抗损失函数，E表示求归一化期望值，VL2(G)表示L2损失函数，λ表示L2损失函数的权重，||·||符号表示取绝对值运算，VL2(Gd4)表示生成网络中监督部分的L2损失函数，η表示该网络部分的L2损失的权重，Gd4表示生成网络中反卷积部分第四层的输出结果通过两层反卷积网络后的输出结果。作为优选，步骤(3)中消失点的估计包括：(3.1)检测出室内场景图像中满足一定长度要求的线段，将检测出的线段集合记为{li}，1≤i≤n，n为线段的数目，Pk为{li}中线段两两相交的形成第K个交点，即为候选消失点，1≤k≤K，K为{li}中线段两两相交的形成的交点数目，则第i个线段li对Pk的得分贡献为：其中，α表示li与Pk和li中点的连线之间的夹角，σ为鲁棒性阈值，表示线段的长度；(3.2)计算每条线段对候选消失点Pk的投票得分，得到Pk的贡献值(3.3)对所有K个候选消失点的投票得分做统计，其中得分最高的为竖直方向的消失点VP1，然后基于消失点的正交性准则：＜VP1,VP2＞＝0、＜VP1,VP3＞＝0、＜VP2,VP3＞＝0，获得投票得分最高的一组消失点为水平方向的远消失点VP2与水平方向的近消失点VP3。作为优选，步骤(4)中按照以下两个标准选择固定数目的采样扇形区域：扇区的总数记为H，每个扇区的平均边缘强度记为di，i＝1,2,3......H，定义d0＝0和dH+1＝0，只有同时满足以下两个条件时，才选择第i个扇区：(1)di＞di+1，and，di＞di-1(2)di-di+1＞T，or，di-di-1＞T其中，T为设定的阈值，对于垂直消失点选择一本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的室内场景布局估计方法，其特征在于，包括以下步骤：(1)运用训练集训练条件生成对抗网络，训练集中样本的格式为AB模式，即室内场景图像和其对应的边缘图并行排列，所述条件生成对抗网络包括生成网络和判别网络，室内场景图像作为生成网络的输入，由生成网络生成的室内场景图像对应的边缘图作为判别网络的输入；所述生成网络输出的边缘图与输入的室内场景图像尺寸相同；(2)将待测的室内场景图像输入训练完成的条件生成对抗网络，得到预测布局边缘图；(3)估计待测的室内场景图像中的位于垂直方向和水平方向上的三个消失点，对于每个消失点等角度间隔的引出射线生成若干扇形区域；(4)对于每个消失点，根据预测布局边缘图中对应扇形区域的平均边缘强度最大准则和消失点类型选择一或两个扇形区域作为采样扇形区域；(5)对预测布局边缘图加高斯模糊，然后对采样扇形区域进行采样，由在采样扇形区域中从三个消失点引出的射线两两相交生成一系列布局候选项；(6)计算各布局候选项与预测布局边缘图的相似度，并选出与预测布局边缘图最为相似的布局估计作为最终的布局估计结果。

【技术特征摘要】
1.一种基于条件生成对抗网络的室内场景布局估计方法，其特征在于，包括以下步骤：(1)运用训练集训练条件生成对抗网络，训练集中样本的格式为AB模式，即室内场景图像和其对应的边缘图并行排列，所述条件生成对抗网络包括生成网络和判别网络，室内场景图像作为生成网络的输入，由生成网络生成的室内场景图像对应的边缘图作为判别网络的输入；所述生成网络输出的边缘图与输入的室内场景图像尺寸相同；(2)将待测的室内场景图像输入训练完成的条件生成对抗网络，得到预测布局边缘图；(3)估计待测的室内场景图像中的位于垂直方向和水平方向上的三个消失点，对于每个消失点等角度间隔的引出射线生成若干扇形区域；(4)对于每个消失点，根据预测布局边缘图中对应扇形区域的平均边缘强度最大准则和消失点类型选择一或两个扇形区域作为采样扇形区域；(5)对预测布局边缘图加高斯模糊，然后对采样扇形区域进行采样，由在采样扇形区域中从三个消失点引出的射线两两相交生成一系列布局候选项；(6)计算各布局候选项与预测布局边缘图的相似度，并选出与预测布局边缘图最为相似的布局估计作为最终的布局估计结果。2.根据权利要求1所述的一种基于条件生成对抗网络的室内场景布局估计方法，其特征在于，所述条件生成对抗网络中生成网络的反卷积部分由两个分支组成，第一个分支包括八层反卷积层，用于生成预测布局边缘图，第二个分支包括两层反卷积层，用于监督第一个分支工作，由第一个分支的第四层的输出结果经过两层反卷积后将输出结果大小设置成与预测布局边缘图的大小一致，然后两个结果一同输出。3.根据权利要求2所述的一种基于条件生成对抗网络的室内场景布局估计方法，其特征在于，所述条件生成对抗网络中生成网络的损失函数为：其中，其中，G*表示生成网络的损失函数，表示最大化判别网络D中输入数据分布与真实数据分布之间的差异，最小化生成网络G的输出数据分布与真实数据分布之间的差异。x表示输入的室内场景图像，z表示输入的随机噪声，x～px(x)表示x的数据分布，x,y～pdata(x,y)表示x和y的联合数据分布，z～pz(z)表示z的数据分布，G(x,z)表示生成网络的输出，y表示对应于x的真实边缘图，VcGAN(G,D)表示对抗损失函数，E表示求归一化期望值，VL2(G)表示L2损失函数，λ表示L2损失函数的权重，||·||符号表示取绝对值运算，VL2(Gd4)表示生成网络中监督部分的L2损失函数，η表示该网络部分的L2损失的权重，Gd4表示生成网络中反卷积部分第四层的输出结果通过两层反卷积网络后的输出结果。4.根据权利要求1所述的一种基于条件生成对抗网络的室内场景布局估计方法，其特征在于，步骤(3)中消失点的估计包括：(3.1)检测出室内场景图像中满足一定长度要求的线段，将检测出的线段集合记为{li}，1≤i≤n，n为线段的数目，Pk为{li}中线段两两相交的形成第K个交点，即为候选消失点，1≤k≤K，K为{li}中线段两两相交的形成的交点数目，则第i个线段li对Pk的得分贡献为：其中，α表示li与Pk和li中点的连线之间的夹角，σ为鲁棒...

【专利技术属性】
技术研发人员：刘天亮，曹旦旦，戴修斌，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32