【技术实现步骤摘要】
本专利技术涉及地理信息测绘，尤其涉及一种基于结构引导的建筑物立面纹理自动修复方法及系统。
技术介绍
1、在实景三维建设工作中，建筑物的三维模型单体构建具有十分重要的意义。在建筑物的单体结构构建后，还需要对建筑物单体的立面进行纹理映射。通常纹理映射是基于无人机航拍的二维影像，而由于航拍时镜头的高度以及角度等问题，拍摄到的建筑物纹理会受到树木以及其他建筑物的遮挡，从而导致映射的立面纹理效果达不到要求。目前针对这些存在遮挡的纹理，通常是由人工使用修图软件对纹理进行修复，浪费大量人力资源。因此，如何自动化的完成建筑物立面纹理修复工作是实景三维建设工作中一个非常重要的问题。自动化的建筑物立面纹理修复流程一般包含两个步骤：一是纹理修复区域的检测；二是对待修复区域进行自动修复。
2、纹理修复区域的检测一般是通过分割算法将分割区域分割出来，然后再对分割区域进行一些形态学处理，使得分割区域能包含所有的待修复纹理，其中分割算法包括传统的图像分割算法以及深度学习算法。传统的图像分割算法一般基于一些设定好的特征对图像进行分类，如阈值、区域等，而比较复杂的特征如hog、lbp、sift等。这些人为设定的特征虽具有较好的可解释性，但基于这些特征的算法准确率较低。而基于深度学习的图像分割算法，则是通过大量的影像数据来学习如何提取特征。目前的深度学习图像分割模型都是由大量的卷积层或者transformer层进行堆叠来组成特征提取模块，该模块通过学习大量带有标签的数据来不断拟合参数。深度学习模型都是通过数据驱动，针对不同的任务往往需要对应的数据进行训
3、图像修复是一种在缺失区域合成替代内容的任务。目前存在两种主流的方法，基于补丁（patch-based）填充的方法和通过神经网络的深度生成模型。对于建筑物立面纹理修复，待修复区域的纹理与未遮挡区域的纹理相似，属于简单的重复纹理修复。但是由于部分图像遮挡的区域较大，形状较为复杂，导致基于补丁填充的方法耗时太长，而且填充区域的边缘有较明显的边界痕迹。针对大面积的遮挡，设计出了分块地基于补丁填充方法。而一些方法则通过设计一个建筑物立面结构的图数据库，来预测遮挡区域的图节点。也有通过建筑物的对称性以及重复性来预测建筑物结构，但其算法过于依赖对称性，当出现大面积遮挡时，算法会失效。有些学者则将建筑物立面转换成图，并通过遗传算法迭代优化修复结果的。该算法的缺点则是迭代优化耗时太长，不容易收敛。当然，一些深度学习模型也被尝试使用，例如一些深度模型也在建筑物立面纹理上进行了测试。也有针对该任务的一些特定的模型，比如通过语义信息来预测，而文献则通过将预测建筑物结构的模块包含在模型中。而这些模型在修复区域较大时，往往会产生不尽如人意的结果。原因是建筑物立面的纹理往往是比较简单的纹理排列，包含的语义信息较少，而深度学习模型在预测较强规律性的纹理结构时也往往表现不佳。
技术实现思路
1、本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于结构引导的建筑物立面纹理自动修复方法及系统。
2、本专利技术解决上述技术问题的技术方案如下：一种基于结构引导的建筑物立面纹理自动修复方法, 包括如下步骤：
3、s1：基于图像分割模型sam对建筑物立面纹理影像 i进行全要素提取，并进行区域检测，得到建筑物立面纹理影像 i中的遮挡区域；
4、s2：根据建筑物立面纹理影像 i中的遮挡区域确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到包含遮挡区域和非遮挡区域的建筑物结构分布图;
5、s3：基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全，得到建筑物完整立面结构图；
6、s4：构建扩散模型，并基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复。
7、本专利技术的有益效果是：本专利技术的基于结构引导的建筑物立面纹理自动修复方法，通过对建筑物立面纹理影像进行要素提取，并确定其遮挡区域和非遮挡区域，再进行网格划分得到建筑物结构分布图，基于建筑物结构分布图中的分割线构建二维数值矩阵，并对遮挡区域进行修复补全，最后基于得到的建筑物完整立面结构图能较好的对建筑物的纹理进行修复，修复的区域更加清晰，结构更加完整，图像质量更高。
8、在上述技术方案的基础上，本专利技术还可以做如下改进：
9、进一步：所述s1中，对建筑物立面纹理影像 i中的所有要素进行提取，得到包含建筑物立面纹理影像 i中的遮挡区域具体包括如下步骤：
10、s11：在建筑物立面纹理影像 i上均匀采样，并将得到的数量为 n的采样点输入至所述图像分割模型 sam，得到4× n个要素分割结果 masks以及对应预测的重叠度 iou分数，其集合记为 iou_socres；
11、s12：根据预设重叠度分数阈值 thresh iou对所述集合 iou_socres进行筛选，除去所述要素分割结果 masks中不达标的部分，得到筛选后的集合 masks iou，筛选公式为：
12、
13、s13：利用非极大值抑制 nms对筛选后的所述集合 masks iou中的结果进行去重，得到去重后的集合 masks nms；
14、s14：选取去重后的所述集合 masks nms中要素面积最大的区域的补集作为建筑物立面纹理影像 i中的遮挡区域 m。
15、上述进一步方案的有益效果是：通过对所述建筑物立面纹理影像 i进行均匀采样，并作为图像分割模型 sam的输入，进而得到包含要素分割结果和预测重叠度的集合，利用筛选去重后的集合中的要素面积来精确确定建筑物立面纹理影像 i中的遮挡区域，同时也可以间接得到非遮挡区域。
16、进一步：本文档来自技高网...
【技术保护点】
1.一种基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,包括如下步骤：
2.根据权利要求1所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S1中，对建筑物立面纹理影像I中的所有要素进行提取，得到包含建筑物立面纹理影像I中的遮挡区域具体包括如下步骤：
3.根据权利要求2所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S2中，对建筑物非遮挡区域进行网格划分，得到非遮挡区域对应的立面结构分布图，具体包括如下步骤：
4.根据权利要求3所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S24中，利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masksfin进行网格划分具体包括如下步骤：
5.根据权利要求4所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S2中，对遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图具体包括如下步骤：
6.根据权利要求5所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S3中，基于所述建筑物结构分布
7.根据权利要求6所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于:所述S31中，生成二维数值矩阵S具体包括如下步骤：
8.根据权利要求7所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于，所述S31中，还包括对所述二维数值矩阵S进行补全，具体包括如下步骤：
9.根据权利要求1-8任一项所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于，所述S4中，基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复具体包括如下步骤：
10.一种基于结构引导的建筑物立面纹理自动修复系统, 其特征在于,包括要素提取模块、网格划分模块、修复补全模块和扩散修复模块；
...【技术特征摘要】
1.一种基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,包括如下步骤：
2.根据权利要求1所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述s1中，对建筑物立面纹理影像i中的所有要素进行提取，得到包含建筑物立面纹理影像i中的遮挡区域具体包括如下步骤：
3.根据权利要求2所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述s2中，对建筑物非遮挡区域进行网格划分，得到非遮挡区域对应的立面结构分布图，具体包括如下步骤：
4.根据权利要求3所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述s24中，利用不规则矩形格irl提取算法对聚类后的所述立面要素集合masksfin进行网格划分具体包括如下步骤：
5.根据权利要求4所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述s2中，对遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图具体包括如下步...
【专利技术属性】
技术研发人员：王英，陈梦华，张彤蕴，程晓庆，
申请(专利权)人：武汉峰岭科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。