【技术实现步骤摘要】
本专利技术涉及目标检测，具体涉及基于无人机影像中目标检测技术的检测城郊地区建好的建筑物和正在建造的建筑的方法。
技术介绍
1、对新建建筑的检测对于违法建筑的查处和城乡规划建设至关重要。传统的违法建筑检测主要依靠效率低下的人工访查方式。随着遥感技术和计算机视觉领域的发展，使用无人机遥感图像来进行建筑物检测已经成为了一种高效可行的方案。
2、现有的遥感图像建筑物检测主要是为了城市规划提供帮助，大多是针对城市建筑群的遥感图像进行设计。例如fan等人发表的《a high-resolution remote sensing imagebuilding extraction method based on deep learning》设计了一个采用主成分变换非监督预训练网络结构，加一个自适应池化模型进行建筑物检测，更清晰的寻找到建筑物的边缘；yuhan等人发表的《building extraction in multitemporal high-resolutionremote sensing imageryusing a multifeature lstm network》基于特征长短期记忆网络提出了一个用于提取像素级建筑物的网络；ryuhei等人发表的《building detectionfrom satellite imagery using ensemble of size-specific detectors》基于u-net提出了一个共享特征提取器的多任务模型，区别性的检测不同大小的建筑物和道路。这些建筑物检测的方法主
3、实际上，在无人机拍摄的图像中，正在建造的建筑物的数量要远远少于已经建好的建筑物。同时，正在建造的建筑物和已经建好的建筑物拥有相似的外观和纹理。这导致我们不能用现在普遍使用的目标检测框架来进行建筑物的检测，这些方法面对样本不均等的数据集会产生向样本量多的类别的倾斜，并且不具备区分相似类别物体的能力，在我们要进行的建筑物检测任务中还存在很多不足。
4、所以，针对如何在无人机图像中准确识别建筑物和在建建筑物，申请人提出了一种基于改进yolov5神经网络模型的检测方法。
技术实现思路
1、本专利技术的目的是为了解决现有技术在进行无人机图像中的建筑物检测时，受到数据集中样本不均衡的影响导致的模型预测结果向着样本量多的已建好的建筑物类别倾斜，以及无人机图像中正在建造的建筑物和已经建好的建筑物外观相似度高的影响，从而无法准确检测在建建筑物的问题。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种用于房屋检测的多专家辅助模型的构建方法，它包括以下步骤：
4、步骤1：操控无人机拍摄城郊和乡村的建筑物图像，对拍摄完的影像进行处理，筛选出包含建筑物和在建建筑物的图像，使用矩形框标注出图像中的建筑物和在建建筑，将实例的类别信息和标注框的中心点信息和宽高信息进行保存；
5、步骤2：构建两个专家分支，第一个专家分支学习建筑物类别的特征表达，第二个专家分支学习正在建造的建筑物的特征表达；
6、步骤3：在网络中加入类内聚合损失，根据学习到的特征向量的真实类别分别计算它们和对应类别中心向量的相似度，通过提高每一个特征向量和类别中心向量的相似度来减小同一类别的类内差异，明确不同类别间的决策边界；
7、步骤4：将无人机图像送入网络，经过骨干网络提取特征图后，将相同的特征图分别送入主网络和专家分支，利用专家分支得到的检测结果计算损失来进一步约束骨干网络，同时利用主网络的结果来进行网络整体的训练；
8、步骤5：在模型训练结束后舍弃专家分支的网络权重，仅保留主网络的权重进行图像的推理，从而减少模型在推理过程中的计算量；
9、通过以上步骤完成对多专家辅助模型的构建和训练。
10、在步骤2中，在构建两个专家分支时，采用以下子步骤：
11、2-1：基于yolov5网络，在骨干网络之后加入第一个专家分支，具体来说，骨干网络提取的特征第一次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第四层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后第二次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第三层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后分作两个分支，一个分支进入p3层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第二次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后分作两个分支，一个分支进入p4层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第一次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后进入p5层检测头；
12、2-2：基于yolov5网络，在骨干网络之后加入第二个专家分支，具体来说，骨干网络提取的特征第一次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第四层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后第二次通过一个1×1卷积将特征图的通道维度减半，再使用最临近插值进行上采样使特征图的宽和高扩大2倍，以便和骨干网络中的第三层的特征图延通道维度进行拼接，拼接之后经过一个c3模块将特征图的通道维度减半，之后分作两个分支，一个分支进入p3层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第二次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后分作两个分支，一个分支进入p4层检测头，另一个分支进入3×3卷积将特征图的宽和高减半，以便和第一次通过一个1×1卷积的特征图延通道维度进行拼接，拼接之后经过一个c3模块，之后进入p5层检测头。
13、在步骤3中，在加入类内聚合损失，采用以下子步骤：
14、3-1：获取进入p3层检测头，p4层检测头和p5层检测头的特征图，根据真实结果的标注信息获取目标的特征向量；
15、3-2：根据进入p3层检测头，p4层检测头和p5层检测头的特征图的大小分别构建维度为n×30，n×12，n×3的类别中心特征向量矩阵，其中n为数据集中的类别数；
16、3-3：对步骤3-1中获取的目标特征向量，根据其真实类别与对应的类别中心向量计算相似度，相似度计算公式使用dynamic time warping(dtw)，公式如下所示：
17、
18、其中x为目标特征向量，c为类别中心向量，a为x和c的代价矩阵，我们使用欧氏距离本文档来自技高网...
【技术保护点】
1.一种用于房屋检测的多专家辅助模型的构建方法，其特征在于，它包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤2中，在构建两个专家分支时，采用以下子步骤：
3.根据权利要求1所述的方法，其特征在于，在步骤3中，在加入类内聚合损失，采用以下子步骤：
4.根据权利要求1或2所述的方法，其特征在于，在步骤4中，在训练多专家辅助模型时，采用以下子步骤：
5.根据权利要求4所述的方法，其特征在于，在步骤4-3中，使用数据集对多专家辅助模型进行训练时会得到若干损失，其中第一个专家和第二个专家分别有三个损失函数，公式如下所示：
6.根据权利要求1所述的方法，其特征在于，步骤5中，模型在最后一次训练后保存最优模型时会舍弃专家分支的模型权重，仅保存主网络的模型权重。
7.根据权利要求1所述的方法，其特征在于，在步骤1中，操控无人机拍摄城郊和乡村的建筑物图像，使用labelimg软件进行图像的标注，标注信息保存为PASCAL VOC格式，然后转换为yolo格式，包含图像中每一个物体的类别和中心点坐标以及标注框的宽
8.根据权利要求1或2所述的方法，其特征在于，在步骤2中，构建多专家辅助建筑物检测网络，多专家辅助建筑物检测网络包括骨干网络、主网络、专家分支一、专家分支二；
...【技术特征摘要】
1.一种用于房屋检测的多专家辅助模型的构建方法，其特征在于，它包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤2中，在构建两个专家分支时，采用以下子步骤：
3.根据权利要求1所述的方法，其特征在于，在步骤3中，在加入类内聚合损失，采用以下子步骤：
4.根据权利要求1或2所述的方法，其特征在于，在步骤4中，在训练多专家辅助模型时，采用以下子步骤：
5.根据权利要求4所述的方法，其特征在于，在步骤4-3中，使用数据集对多专家辅助模型进行训练时会得到若干损失，其中第一个专家和第二个专家分别有三个损失函数，公式如下所示：
【专利技术属性】
技术研发人员：赵淦，任东，孙航，任顺，余梅，刘莉，
申请(专利权)人：三峡大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。