一种基于深度学习的建筑轮廓矫正方法及装置制造方法及图纸

本申请公开了一种基于深度学习的建筑轮廓矫正方法及装置。所述基于深度学习的建筑轮廓矫正方法包括：获取待矫正建筑图像；获取经过训练的建筑轮廓矫正模型；提取所述待矫正建筑图像的轮廓特征图；根据待矫正建筑图像的轮廓特征图以及经过训练的线连接模型获取矫正后的建筑图像。本申请的基于深度学习的建筑轮廓矫正方法可以有效地将复杂场景中扭曲的线框矫正为横平竖直的线框，最后将得到的线框结果作为建筑地面轮廓，应用到建筑重构工作中去。去。去。

【技术实现步骤摘要】
一种基于深度学习的建筑轮廓矫正方法及装置


[0001]本申请涉及电力系统
，具体涉及一种基于深度学习的建筑轮廓矫正方法以及基于深度学习的建筑轮廓矫正装置。

技术介绍

[0002]倾斜摄影技术应用于三维重建任务中，完成对于影像数据的采集工作，其为还原场景内容，表现场景特征提供了很好的数据支持。然而获得影像数据对于细小物体，被遮盖和覆盖的物体，无法展示正确的成像效果，导致建筑重构过程中提取到的建筑轮廓是扭曲的。现阶段已有一些解决线框扭曲的办法，但是它们仍存在以下的问题：（1）基于局部边缘特征的传统线检测算法不提供关于连接点以及线和连接点如何相互连接的信息，限制了它在场景解析和理解中的应用；（2）基于检测直线的两个端点和对直线像素做分割的直线检测Wireframe方法，对于处理复杂线路连接的复杂场景仍然不足。
[0003]因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

技术实现思路

[0004]本专利技术的目的在于提供一种基于深度学习的建筑轮廓矫正方法来克服或至少减轻现有技术的至少一个上述缺陷。
[0005]本专利技术的一个方面，提供一种基于深度学习的建筑轮廓矫正方法，所述基于深度学习的建筑轮廓矫正方法包括：获取待矫正建筑图像；获取经过训练的建筑轮廓矫正模型；提取所述待矫正建筑图像的轮廓特征图；根据所述待矫正建筑图像的轮廓特征图以及经过训练的线连接模型获取矫正后的建筑图像。
[0006]可选地，所述提取所述待矫正建筑图像的轮廓特征图包括：获取堆叠沙漏网络；将所述待矫正建筑图像输入至所述堆叠沙漏网络，从而使所述待矫正建筑图像通过两个2跨步的卷积层以空间分辨率进行两次下采样，将学习到的特征图由多个类似沙漏模块进行逐步细化，并对每个模块的输出施加中间监督，进行计算得到图片的轮廓特征图。
[0007]可选地，所述根据所述待矫正建筑图像的轮廓特征图以及经过训练的线连接模型，从而获取矫正后的建筑图像包括：根据所述轮廓特征图获取预测连接点；将各个预测连接点输入至训练的线连接模型，从而获取预测的各个连接线；根据各个预测的连接线组成预测轮廓图；根据预测轮廓图以及所述轮廓特征图获取矫正后的建筑图像。
[0008]可选地，所述根据所述轮廓特征图获取预测连接点包括：通过调整轮廓特征图片大小并归一化处理，从而获取经过归一化的轮廓特征图；将经过归一化的轮廓特征图化为128*128个区域；为每个区域进行如下操作：判断区域中是否存在连接点，若是，则通过回归预测的方式计算该区域中的连接点的回归值。
[0009]可选地，所述根据预测轮廓图以及所述轮廓特征图获取矫正后的建筑图像包括：将所述预测轮廓图以及所述轮廓特征图进行线性插值匹配，通过线的验证网络验证线是否为正确连接线框，若是，则保留正确连接线框；判断各个正确连接线框是否重叠，若是，则去除重叠的正确连接线框，从而获取最终连接线框，各个所述最终连接线框组成所述矫正后的建筑图像。
[0010]可选地，所述通过线的验证网络验证线是否为正确连接线框包括：计算每个线框的回归值是否满足阈值，若是，则将满足阈值的线框作为正确连接线框。
[0011]可选地，所述根据所述轮廓特征图获取预测连接点包括：获取预设的预测交叉点位置排名列表；为每个连接点进行如下操作：根据预测交叉点位置排名列表以及各个连接点的回归值判断该连接点与其最近的真实点之间是否低于2.0，且是最小的距离值，若是，则认为该交叉点是预测连接点。
[0012]可选地，所述通过线的验证网络验证线是否为正确连接线框包括：将预测连接点通过LoIpooling特征回归计算每个点的特征值，再和所述轮廓特征图进行线性插值和双线性插值的计算，得出对应特征向量，再通过最大池化层减少特征向量的大小得到特征向量图，得到的特征向量图传递给两个全连接层来获得分类结果，得到线的损失logit，通过logit和这条线的标签之间的sigmoid二元交叉熵损失，判断属于正负样本中的哪个样本最接近，与正样本接近则为正确的线匹配工作，将扭曲的线矫正为正确的线从而获取正确连接线框。
[0013]可选地，所述根据预测轮廓图以及所述轮廓特征图获取矫正后的建筑图像进一步包括：通过建筑轮廓的成对数据集对所述线的验证网络进行训练；其中，所述建筑轮廓的成对数据集采用如下方式获取：生成基本图形；对基本图形进行多次随机变换从而形成不同的样本图像，其中部分样本图像组成正样本集，另一部分样本图像组成负样本集，所述正样本集的数量多于所述负样本集。
[0014]本申请还提供了一种基于深度学习的建筑轮廓矫正装置，所述基于深度学习的建筑轮廓矫正装置包括：图像获取模块，所述图像获取模块用于获取待矫正建筑图像；建筑轮廓矫正模型获取模块，所述建筑轮廓矫正模型获取模块用于获取经过训练的建筑轮廓矫正模型；特征提取模块，所述特征提取模块用于提取所述待矫正建筑图像的轮廓特征图；
矫正模块，所述矫正模块用于根据所述待矫正建筑图像的轮廓特征图以及经过训练的线连接模型获取矫正后的建筑图像。
[0015]有益效果：本申请的基于深度学习的建筑轮廓矫正方法可以有效地将复杂场景中扭曲的线框矫正为横平竖直的线框，最后将得到的线框结果作为建筑地面轮廓，应用到建筑重构工作中去。
附图说明
[0016]图1为本申请一实施例的基于深度学习的建筑轮廓矫正方法的流程示意图；图2是一种电子设备，用于实现图1所示的基于深度学习的建筑轮廓矫正方法；图3为本申请一实施例的基于深度学习的建筑轮廓矫正方法中的建筑轮廓的成对数据的示意图；图4为本申请一实施例的基于深度学习的建筑轮廓矫正方法中的建筑轮廓的成对数据的示意图；图5为本申请一实施例的基于深度学习的建筑轮廓矫正方法中的建筑轮廓的成对数据的示意图；图6为本申请一实施例的基于深度学习的建筑轮廓矫正方法中的建筑轮廓的成对数据的示意图。
具体实施方式
[0017]为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
[0018]需要说明的是，在本专利技术的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0019]图1为本申请一实施例的基于深度学习的建筑轮廓矫正方法的流程示意图。
[0020]如图1所示的基于深度学习的建筑轮廓矫正方法包括：步骤1：获取待矫正建筑图像；步骤2：获取经过训练的建筑轮廓矫正模型；步骤3：提取所述待矫正建筑图像的轮廓特征图；步骤4：根据所述待矫正建筑图像的轮廓特征图以及经过训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的建筑轮廓矫正方法，其特征在于，所述基于深度学习的建筑轮廓矫正方法包括：获取待矫正建筑图像；获取经过训练的建筑轮廓矫正模型；提取所述待矫正建筑图像的轮廓特征图；根据所述待矫正建筑图像的轮廓特征图以及经过训练的线连接模型获取矫正后的建筑图像。2.如权利要求1所述的基于深度学习的建筑轮廓矫正方法，其特征在于，所述提取所述待矫正建筑图像的轮廓特征图包括：获取堆叠沙漏网络；将所述待矫正建筑图像输入至所述堆叠沙漏网络，从而使所述待矫正建筑图像通过两个2跨步的卷积层以空间分辨率进行两次下采样，将学习到的特征图由多个类似沙漏模块进行逐步细化，并对每个模块的输出施加中间监督，进行计算得到图片的轮廓特征图。3.如权利要求2所述的基于深度学习的建筑轮廓矫正方法，其特征在于，所述根据所述待矫正建筑图像的轮廓特征图以及经过训练的线连接模型，从而获取矫正后的建筑图像包括：根据所述轮廓特征图获取预测连接点；将各个预测连接点输入至训练的线连接模型，从而获取预测的各个连接线；根据各个预测的连接线组成预测轮廓图；根据预测轮廓图以及所述轮廓特征图获取矫正后的建筑图像。4.如权利要求3所述的基于深度学习的建筑轮廓矫正方法，其特征在于，所述根据所述轮廓特征图获取预测连接点包括：通过调整轮廓特征图片大小并归一化处理，从而获取经过归一化的轮廓特征图；将经过归一化的轮廓特征图化为128*128个区域；为每个区域进行如下操作：判断区域中是否存在连接点，若是，则通过回归预测的方式计算该区域中的连接点的回归值。5.如权利要求4所述的基于深度学习的建筑轮廓矫正方法，其特征在于，所述根据预测轮廓图以及所述轮廓特征图获取矫正后的建筑图像包括：将所述预测轮廓图以及所述轮廓特征图进行线性插值匹配，通过线的验证网络验证线是否为正确连接线框，若是，则保留正确连接线框；判断各个正确连接线框是否重叠，若是，则去除重叠的正确连接线框，从而获取最终连接线框，各个所述最终连接线框组成所述矫正后的建筑图像。6.如权利要求5所述的基于深度学习的建筑轮廓矫正方法，其特征在于，所述通过线的验证网络验证线是否为正确连接线...

【专利技术属性】
技术研发人员：张宇，李景瑞，朱旭平，宋彬，何文武，
申请(专利权)人：北京飞渡科技有限公司，
类型：发明
国别省市：