一种基于自适应模型集成的无人机航拍图像目标检测方法技术

本发明专利技术公开了一种基于自适应模型集成的无人机航拍图像目标检测方法，属于航拍图像目标检测领域；首先、训练m个子模型，对无人机在不同高度下日间与夜间分别拍摄的样本进行标注；针对每个高度，利用目标标注的边框面积平均值作为高度指标；同时，对图像coco测评得到测评表；接着，实际固定作业，将拍摄图片分别送入各子模型中，利用所有目标的边框面积平均值，与高度指标进行相似度比较，找到作业条件中的高度值；同时，通过对图片像素点的灰度值进行判断，得到各图片的明暗标志，对应为作业条件中的日夜间条件；最后，通过对各个模型融合权重，分别计算各目标的置信度及对边框进行修正，实现目标检测。本发明专利技术计算量小、普适性好，适用于大部分场景。

【技术实现步骤摘要】
一种基于自适应模型集成的无人机航拍图像目标检测方法
本专利技术属于无人机航拍图像目标检测领域，具体是一种基于自适应模型集成的无人机航拍图像目标检测方法，用于对无人机航拍图像进行分析检测。
技术介绍
随着无人机技术的快速发展，配备摄像头的无人机已经可以快速部署；基于无人机航拍图像下的目标检测是计算机视觉领域中十分前沿的研究课题，由此衍生出的相关技术可以应用于农业、快递、公共安全监控和航空摄影等各个领域。在传统的计算机视觉领域，多数基于手动提取特征加上分类器的目标检测算法已无法满足使用中人们对检测精度的要求。近几年深度学习技术包括目标检测、语义分割、实例分割等多项计算机视觉领域都取得了十分惊艳的效果，但深度学习方法结合无人机航拍图像也面临诸多挑战：无人机航拍图像相较于通用数据集图像有背景样本复杂、分辨率高、物体尺度变化大以及目标分布密集等特点，因此会影响检测器的精度；而且受到无人机飞行高度以及作业天气等影响，单一模型的性能会随着外部作业条件产生明显的波动。
技术实现思路
本专利技术针对上述问题，提出了一种基于自适应模型集成的无人机航拍图像目标检测方法，利用数个深度学习目标检测模型进行集成，依据对应的数个结果，按照模型性能对边框与分数阈值进行修正，从而达到全天候全作业天气条件下，精确检测无人机航拍图像目标的目的。所述的基于自适应模型集成的无人机航拍图像目标检测方法，具体步骤如下：步骤一、利用目标检测技术，对特征提取网络进行训练，得到符合不同限制条件的m个检测子模型；限制条件包括：天气条件，模型差异性，以及对大中小目标不同的敏感度等；m大于等于2；步骤二、无人机在同一个高度下分别进行日间作业与夜间作业的拍摄，将n个不同高度下拍摄的所有帧图像都进行标注，总共得到2*n组图像集；标注是指：每帧图像中都包括若干目标，每个目标都分别利用边框进行标注；2*n组图像集为A＝{A1,A1',A2,A2',...,An,An'}；An为第n个高度下日间作业拍摄的所有帧图像的集合；An'为第n个高度下夜间作业拍摄的所有帧图像的集合；步骤三、针对每个高度，将该高度对应的2组图像集中所有目标标注的边框面积，取平均值作为该高度下对应的高度指标，共得到n个高度指标；高度指标集合为：R＝{R1,R2,…,Rn}；步骤四、将2*n组带有标注信息的图像集，分别输入每个子模型进行coco测评指标的测试，得到测评表；测评表中每个模型下，每个高度对应的日间作业或夜间作业的n组标注图像分别作为一个数据集，同一个高度下两个数据集分别对应各自的测评分数；测评分数为0到1之间的数。步骤五、无人机在固定作业条件下飞行拍摄，得到作业区域的照片流，将每张图片分别送入m个子模型中得到该图片的m个检测结果；每个检测结果中都包含不同个数的目标以及对应的目标边框，m个检测结果的目标边框集合为：R＝{R1,k1、R2,k2…,Ri,ki,...,Rm,km}；Ri,ki表示第i个子模型的检测结果中包含ki个目标边框，Ri,ki＝{ri,1,ri,2,..ri,j,...ri,ki}，ri,kj表示第i个子模型的检测结果中的第j个目标边框。步骤六、针对当前图片Q，利用m个检测结果，计算该图片Q的目标边框面积平均值；计算公式如下：其中，Rai,j表示第i个子模型的检测结果中第j个目标边框的面积；同理，得到照片流中每张图片的目标边框面积平均值；步骤七、将当前图片Q的目标边框面积平均值RA，与n个高度指标一一进行相似度比较，得到图片Q的相似度集合Sim；相似度Simn的计算公式如下：ε为取值0.001的极小数。各高度指标分别与当前图片Q的RA进行相似度计算后，得到相似度集合：Sim＝{Sim1,Sim2,...,Simn}，最后，从照片流中逐个选择下一张照片，再次重复与n个高度指标一一进行相似度比较，最终得到各照片对应的相似度集合。步骤八、将照片流的每张图片分别转换为灰度图，逐张遍历各灰度图上的所有像素点，判断当前图片Q上的像素点Ii,j的灰度值Pi,j是否小于预先设定的明暗阈值DS，如果是，将像素点Ii,j判定为暗点D，否则，将像素点Ii,j判定为明点D'，得到图片Q的明暗标志DF；明暗标志DF设定为：当前灰度图中的暗点数量的占比大于等于整张图像中60％的像素区域时，将该图像的明暗标志DF设为1，否则设为0。步骤九、对各图片的相似度集合Sim中所有的值按照明暗标志DF匹配，得到集合SimDF；具体为：SimDF＝{Sim1DF,Sim1DF',Sim2DF,Sim2DF',…,SimnDF,SimnDF'}步骤十、根据测试表以及高度指标，从集合SimDF中选出与各图片当前作业条件最匹配的测试数据集编号Matched_index；计算公式如下：Matched_index＝index(max(SimDF))从相似度集合Sim中选择最大值，即为与当前作业条件最匹配的高度；根据明暗标志DF匹配当前作业条件的日间或夜间；两个匹配都符合的编号即为Matched_index。步骤十一、针对每个图片，根据数据集编号Matched_index带入m个子模型中，通过查找测评表，得到测评分数S_matched集合作为对应模型的权重；数据集编号Matched_index中包含m个数据，分别对应m个子模型，每个数据包括同一高度下的日间/夜间作业条件，对应到测评表中，各个模型对应的测评分数作为各模型的权重；测评分数m个子模型S_matched集合为：S_matched＝{S(1,Matched_index)、S(2,Matched_index)...,S(m,Matched_index)}步骤十二、对测评分数S_matched归一化，计算各个子模型的加权融合权重W；具体公式为：W＝{W1、W2…,Wi,...,Wm}S_matchedi即为S(i,Matched_index)步骤十三、针对当前图片Q利用各子模型的加权融合权重W，分别计算图片Q中各目标的置信度C及各目标边框修正后的检测框，实现对航拍图像的目标检测。算法步骤如下：步骤1301、将当前图片Q输入m个子模型中进行检测，将各子模型的检测结果R中所有检测的目标边框都添加到列表ListB中；检测结果中各目标边框都包括目标的左上角坐标(X1,Y1)，右下角坐标(X2,Y2)以及置信度得分C；步骤1302、将各目标边框按照检测结果的置信度得分C降序排列在列表ListB中；步骤1303、建立空列表ListL和空列表F，并将ListB中的第一个目标边框Q0分别存入两个表中作为初始值；列表F为n行1列的表格，L为n行m列的表格；步骤1304、循环遍历列表ListB，逐个选择各目标边框，并判断当前本文档来自技高网...

【技术保护点】
1.一种基于自适应模型集成的无人机航拍图像目标检测方法，其特征在于，具体步骤如下：/n首先，利用目标检测技术，对特征提取网络进行训练，得到符合不同限制条件的m个检测子模型；m≥2；/n然后，无人机在不同的高度下分别进行日间作业与夜间作业的拍摄，并对所有的拍摄图像样本都进行标注，总共得到2*n组图像集；/n2*n组图像集为A＝{A

【技术特征摘要】
1.一种基于自适应模型集成的无人机航拍图像目标检测方法，其特征在于，具体步骤如下：
首先，利用目标检测技术，对特征提取网络进行训练，得到符合不同限制条件的m个检测子模型；m≥2；
然后，无人机在不同的高度下分别进行日间作业与夜间作业的拍摄，并对所有的拍摄图像样本都进行标注，总共得到2*n组图像集；
2*n组图像集为A＝{A1,A1',A2,A2',...,An,An'}；An为第n个高度下日间作业拍摄的所有帧图像的集合；An'为第n个高度下夜间作业拍摄的所有帧图像的集合；
针对每个高度，将该高度对应日间与夜间作业的2组图像集中所有目标标注的边框面积，取平均值作为该高度下对应的高度指标，共得到n个高度指标；
同时，将2*n组带有标注信息的图像集，分别输入每个子模型进行coco测评指标的测试，得到测评表；
接着，无人机在实际的固定作业条件下飞行拍摄，得到作业区域的照片流，将每张图片分别送入m个子模型中得到该图片的m个检测结果；每个检测结果中都包含不同个数的目标以及对应的目标边框；
针对当前图片Q，利用m个检测结果，计算该图片Q的目标边框面积平均值，并与n个高度指标一一进行相似度比较，得到图片Q的相似度集合Sim；
同时，将照片流的每张图片分别转换为灰度图，逐张遍历各灰度图上的所有像素点，判断当前图片Q上的像素点Ii,j的灰度值Pi,j是否小于预先设定的明暗阈值DS，如果是，将像素点Ii,j判定为暗点D，否则，将像素点Ii,j判定为明点D'，得到图片Q的明暗标志DF；
从相似度集合Sim中选择最大值，即为与当前作业条件最匹配的高度；根据明暗标志DF匹配当前作业条件的日间或夜间；两个匹配都符合的编号组成集合Matched_index；针对每个图片，根据数据集编号Matched_index带入m个子模型中，通过查找测评表，得到测评分数S_matched集合，并进行归一化，计算各个子模型的加权融合权重W；
最后，利用各子模型的加权融合权重W，分别计算图片Q中各目标的置信度C及各目标边框修正后的检测框，实现对航拍图像的目标检测。


2.如权利要求1所述的一种基于自适应模型集成的无人机航拍图像目标检测方法，其特征在于，所述的限制条件包括：天气条件，模型差异性，以及对大中小目标不同的敏感度。


3.如权利要求1所述的一种基于自适应模型集成的无人机航拍图像目标检测方法，其特征在于，所述的标注是指：每帧图像中都包括若干目标，每个目标都分别利用边框进行标注。


4.如权利要求1所述的一种基于自适应模型集成的无人机航拍图像目标检测方法，其特征在于，所述的测评表中每个模型下，每个高度分别对应日间作业或夜间作业，日间或夜间作业分别对应各自的测评分数；测评分数为0到1之间的数。


5.如权利要求1所述的一种基于自适应模型集成的无人机航拍图像目标检测方法，其特征在于，所述的图片Q的目标边框面积平均值，计算公式如下：



其中，Rai,j表示第i个子模型的检测结果中第j个目标边框的面积；
m个检测结果的目标边框集合为：R＝{R1,k1、R2,k2...,Ri,ki,...,Rm,km}；Ri,ki表示第i个子模型的检测结果中包含ki个目标边框，Ri,ki＝{ri,1,ri,2,..ri,j,...ri,ki}，ri,kj表示第i个子模型的检测结果中的第j个目标边框。


6.如权利要求1所述的一种基于自适应模型集成的无人机航拍图像目标检测方法，其特征在于，所述的图片Q的相似度Simn，计算公式如下：



RA为当前图片Q的目标边框面积平均值；ε为取值0.001的极小数；Rn为第n个高度对应的高度指...

【专利技术属性】
技术研发人员：曾国奇，朱晨曦，雷耀麟，马骏一，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11