【技术实现步骤摘要】
本专利技术涉及飞机跑道异物检测，尤其涉及一种基于自监督学习的飞机跑道异物检测方法。
技术介绍
1、机场跑道异物(foreign object debris,fod)是指飞行区内可能会损伤航空器、设备或威胁机场工作人员和乘客生命安全的外来物体，主要包括金属器件、碎石块、轮胎碎片等。fod会给飞机的起飞与降落带来严重的安全隐患，并造成大量财产损失。中国每年因跑道异物造成的航空轮胎损伤有6000多起，每一万次起降约有30～53次损伤。机场跑道异物检测是航空安全领域至关重要的一项工作。目前，大多数机场主要采用人工目视巡场方式对跑道进行定期的检查和清扫，需要在巡查时关闭跑道，这不但降低了机场容量，耗费大量的人力物力，而且受巡查人员自身素质和天气条件制约，容易出现漏检。因此，开发自动化跑道异物检测方法，对于保障飞行安全，提高飞机起降效率具有重要意义。
2、针对这一问题，主流算法致力于使用目标检测方法提高异物检测的准确率。如文献(基于特征融合注意力网络的机场跑道异物检测识别方法，cn113807291a)引入特征融合注意力网络以提高异物检测识别准确率。文献(一种机场跑道异物检测系统及方法，cn112505050a)使用毫米波雷达获取跑道图像，然后使用背景减除算法检测定位目标信息并确定危险等级。一些公司也开发了相关系统。如以色列设计的fodetect系统通过在跑道两侧部署了约200个边灯，使用摄像机和毫米波雷达扫描跑道。新加坡的iferret系统架设多个塔架并安装红外摄像机和毫米波雷达，扫描跑道异物。这两种方案的成本相对较高，并且，
技术实现思路
1、本专利技术的目的在于克服上述已有技术的不足而提供一种基于自监督学习的飞机跑道异物检测方法。
2、本专利技术提供的技术方案如下：一种基于自监督学习的飞机跑道异物检测方法，其特征在于具体包括如下步骤：
3、步骤1、数据采集与预处理
4、采集跑道图像，并对采集到的跑道图像进行整理，将所有采集的跑道图像划分训练集、验证集与测试集；
5、步骤2、图像增强与掩码构造
6、将训练集中的跑道图像与掩码逐像素点相乘，作为网络的输入图像；
7、步骤3、图像重建网络设计
8、通过图像重建网络对输入图像进行重建，设置跨层连接，获得重建图像；
9、步骤4、语义损失网络设计
10、输入重建图像和相对应的跑道图像，计算输出二者的语义损失并通过反馈优化网络权重；
11、步骤5、模型训练
12、使用sdg作为网络模型的优化器，训练网络；
13、步骤6、跑道异物检测阈值计算
14、通过验证集中的跑道图像设置有异物区域的检测阈值，以区分有异物与无异物的图像区域；
15、步骤7、异物检测与告警
16、通过测试集中的跑道图像，给出存在异物的提示。
17、进一步地，所述的步骤1数据采集与预处理中，在车顶安装横向摄像头固定装置，并架设6个摄像头，向下每隔1～2秒拍摄跑道图片，采集跑道图像；采集跑道图像时，同一摄像头所拍摄前后两张图片有一定的区域重叠；将所采集的跑道图像重新调整大小至128×128×3，人工检查并使用掩码标注异物位置；将所有采集的跑道图像按照8:1:1的比例划分训练集、验证集与测试集，其中有异物的跑道图像按照1:1比例分别随机放入验证集和测试集，构造所需的训练、验证和测试集合。
18、进一步地，所述的步骤2图像增强与掩码构造中，将训练集中的跑道图像x划分成n×n的n个像素块，随机产生m个掩码，每个掩码中有n/m个黑色像素块，重复m次得到m张掩码m1,m2,...,mm}，且要求第b张掩码中的黑色像素块与1～b-1张掩码的黑色像素块交集为空，确保每一个像素块都能被遮掩，将训练集中的跑道图像x与掩码mb逐像素点相乘，作为网络的输入图像xm。
19、进一步地，所述的步骤3图像重建网络设计中，设计自编码器结构网络对输入图像进行重建；该网络输入为跑道图像x与掩码mb逐像素点相乘之后的输入图像xm，输出为重建图像x'm；该网络共包含conv1～5和deconv1～5，将相对应的每层的输出记为ci和di，i＝1,...,5，；每个conv由三个卷积层conv(k×k,s,kn)构成，其中k为卷积核大小，s为步长，kn为卷积核个数；conv中三个卷积层的k分别取3,1,1，s分别取2,1,1.在conv1～5中，每层的kn分别取64,128,256,512,1024；第i层的卷积操作可以形式化为：
20、ci＝conv(ci-1,3×3,2,2i+5)→conv(1×1,1,2i+5)→conv(1×1,1,2i+5)，i＝1,...,5 (1)
21、其中，→表示将上一个卷积层conv的输出输入至下一个卷积层；
22、每个deconv层由一个反卷积层deconv(k×k,s,kn)和两个卷积层conv(k×k,s,kn)构成，deconv中的一个反卷积层deconv和两个卷积层conv的k分别取3,1,1，s分别取2,1,1.在deconv1～4中，每层的kn分别取1024,512,256,128.最后一层deconv5的一个反卷积层deconv和两个卷积层conv的卷积核个数kn分别取64,64和3，最终获得128×128×3的输出；设置跨层连接；第i层的deconv操作可以形式化为：
23、d1＝conv(c5,3×3,2,21024)→conv(1×1,1,21024)→conv(1×1,1,21024),i＝1；(2)
24、di＝(deconv(di-1,3×3,2,211-i)⊕c6-i)→conv(1×1,1,211-i)→conv(1×1,1,211-i),i＝2,...,4； (3)
25、d5＝(deconv(d4,3×3,2,26)⊕c1)→conv(1×1,1,26)→conv(1×1,1,23),i＝5.(4)
26、其中，⊕表示按通道拼接；
27、将输入图像xm输入至上述图像重建网络，获得重建图像x'm；
28、采用mse作为损失函数计算跑道图像x和重建图像x'm之间的重建损失，其公式如下所示：
29、
30、其中，e为批大小，即一次训练输入的图像个数，j＝1,...,e；xj、x'mj分别代表输入一批图像中第j张的跑道图像x和第j张的重建图像x'm；
31、进一步地，所述的步骤4语义损失网络设计中，将跑道图像xj和重建图像x'mj逐个输
32、入vgg19语义损失网络，按照公式(7)成对计算损失并更新网络：
33、
34、
35、其中，输入图像经过五个卷积模块，分别获得224×224×64、1本文档来自技高网...
【技术保护点】
1.一种基于自监督学习的飞机跑道异物检测方法，其特征在于具体包括如下步骤：
2.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤1数据采集与预处理中，在车顶安装横向摄像头固定装置，并架设6个摄像头，向下每隔1～2秒拍摄跑道图片，采集跑道图像；采集跑道图像时，同一摄像头所拍摄前后两张图片有一定的区域重叠；将所采集的跑道图像重新调整大小至128×128×3，人工检查并使用掩码标注异物位置；将所有采集的跑道图像按照8:1:1的比例划分训练集、验证集与测试集，其中有异物的跑道图像按照1:1比例分别随机放入验证集和测试集，构造所需的训练、验证和测试集合。
3.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤2图像增强与掩码构造中，将训练集中的跑道图像x划分成n×n的N个像素块，随机产生m个掩码，每个掩码中有N/m个黑色像素块，重复m次得到m张掩码M1,M2,...,Mm}，且要求第b张掩码中的黑色像素块与1～b-1张掩码的黑色像素块交集为空，确保每一个像素块都能被遮掩，将训练集中的跑道图像x与掩码M
4.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤3图像重建网络设计中，设计自编码器结构网络对输入图像进行重建；该网络输入为跑道图像x与掩码Mb逐像素点相乘之后的输入图像xM，输出为重建图像x'M；该网络共包含Conv1～5和DeConv1～5，将相对应的每层的输出记为Ci和Di，i＝1,...,5，；每个Conv由三个卷积层conv(k×k,s,kn)构成，其中k为卷积核大小，s为步长，kn为卷积核个数；Conv中三个卷积层的k分别取3,1,1，s分别取2,1,1.在Conv1～5中，每层的kn分别取64,128,256,512,1024；第i层的卷积操作可以形式化为：
5.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤4语义损失网络设计中，将跑道图像xj和重建图像x'Mj逐个输入VGG19语义损失网络，按照公式(7)成对计算损失并更新网络：
6.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤5模型训练中，按照如下顺序训练网络；
7.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤6跑道异物检测阈值计算中，训练完成后，保留图像重建网络，将验证集中的q张跑道图像t随机产生m个掩码并与跑道图像t相乘，获得q*m张图像tm，然后将q*m个图像输入至图像重建网络分别进行重建，获得填充后的重建图像Im，根据步骤1所标注异物区域掩码，分别计算q*m张重建图像Im中无异物区域与有异物区域的图像重建误差，求和后进行平均，获得无异物区域与有异物区域的单张图像平均重建误差vp、vn；取作为有异物区域的检测阈值，重建误差大于θ即认为图像中该区域存在异物。
8.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤7、异物检测与告警中，对于步骤1所构造的测试集中的跑道图像R，随机产生m个掩码并与R相乘，获得m张图像Rm，然后将上述m张图像Rm输入至图像重建网络分别进行重建，获得填充后的重建图像R'm，分别计算m张图像的重建误差，求和后进行平均，获得单张图像各区域的重建误差；将对于超过θ的区域，使用红框标注，并在屏幕上给出存在异物的提示。
...【技术特征摘要】
1.一种基于自监督学习的飞机跑道异物检测方法，其特征在于具体包括如下步骤：
2.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤1数据采集与预处理中，在车顶安装横向摄像头固定装置，并架设6个摄像头，向下每隔1～2秒拍摄跑道图片，采集跑道图像；采集跑道图像时，同一摄像头所拍摄前后两张图片有一定的区域重叠；将所采集的跑道图像重新调整大小至128×128×3，人工检查并使用掩码标注异物位置；将所有采集的跑道图像按照8:1:1的比例划分训练集、验证集与测试集，其中有异物的跑道图像按照1:1比例分别随机放入验证集和测试集，构造所需的训练、验证和测试集合。
3.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤2图像增强与掩码构造中，将训练集中的跑道图像x划分成n×n的n个像素块，随机产生m个掩码，每个掩码中有n/m个黑色像素块，重复m次得到m张掩码m1,m2,...,mm}，且要求第b张掩码中的黑色像素块与1～b-1张掩码的黑色像素块交集为空，确保每一个像素块都能被遮掩，将训练集中的跑道图像x与掩码mb逐像素点相乘，作为网络的输入图像xm。
4.根据权利要求1所述的一种基于自监督学习的飞机跑道异物检测方法，其特征在于所述的步骤3图像重建网络设计中，设计自编码器结构网络对输入图像进行重建；该网络输入为跑道图像x与掩码mb逐像素点相乘之后的输入图像xm，输出为重建图像x'm；该网络共包含conv1～5和deconv1～5，将相对应的每层的输出记为ci和di，i＝1,...,5，；每个conv由三个卷积层conv(k×k,s,kn)构成，其中k为卷积核大小，s为步长，kn为卷积核个数；conv中三...
【专利技术属性】
技术研发人员：张威，高龙，吕友彬，柳超，李煊，刘超慧，王翔，赵华阳，楚朋飞，蒋江涛，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。