基于SwinTrack的无人机巡检方法、装置、无人机、存储介质制造方法及图纸

本发明专利技术提供了一种基于SwinTrack的无人机巡检方法、装置、无人机、存储介质，方法包括：在根据水域巡检路线进行巡检的过程中获取水面热力图像；当识别出待检测船只图像，根据待检测船只图像从预设的热力图像模板数据库中匹配出船只模板图像；将船只模板图像和待检测船只图像输入至预先训练好的SwinTrack模型生成跟踪预测框，根据跟踪预测框的移动轨迹进行目标跟踪；当获取到跟踪结束信号，且当前的电量大于预设的电量阈值，继续根据水域巡检路线进行巡检。根据本实施例的技术方案，能够利用SwinTrack模型提高目标跟踪的准确性，使得无人机能够快速生成船只的跟踪预测框，有效提高了夜间对船只进行目标跟踪的准确性，提高水域管理的可靠性。管理的可靠性。管理的可靠性。

【技术实现步骤摘要】
基于SwinTrack的无人机巡检方法、装置、无人机、存储介质


[0001]本专利技术属于无人机
，尤其涉及一种基于SwinTrack的无人机巡检方法、装置、无人机、存储介质。

技术介绍

[0002]船只监控是水域管理中的重要环节，由于水域管理的特殊性，传统的方式只能依靠人工和监控在水域岸线进行船只监控，监控能力受到较大的限制。随着无人机的软硬件不断提升，出现了水域管理领域的无人机巡检技术，利用无人机的飞行特性进入水域对船只进行跟踪和定位，极大地提高了水域管理的可靠性，扩宽了水域管理的监控范围。但是水域在夜间并没有照明设施，虽然能够利用红外摄像头进行夜间监控，由于图像质量得不到保障，只能适用于静止的船只监控，对于移动过程中的船只很难实现目标跟踪，影响水域管理的效率和可靠性。

技术实现思路

[0003]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本专利技术实施例提供了一种基于SwinTrack的无人机巡检方法、装置、无人机、存储介质，能够提高无人机在夜间的跟踪能力，提高水域管理的效率和可靠性。
[0005]第一方面，本专利技术实施例提供了一种基于SwinTrack的无人机巡检方法，应用于无人机，包括：
[0006]获取预先设定好的水域巡检路线，在根据所述水域巡检路线进行巡检的过程中获取水面热力图像；
[0007]对所述水面热力图像进行图像识别，当识别出待检测船只图像，根据所述待检测船只图像从预设的热力图像模板数据库中匹配出船只模板图像；
[0008]将所述船只模板图像和所述待检测船只图像输入至预先训练好的SwinTrack模型，通过所述SwinTrack模型生成跟踪预测框，根据所述跟踪预测框的移动轨迹进行目标跟踪；
[0009]当获取到跟踪结束信号，且当前的电量大于预设的电量阈值，继续根据所述水域巡检路线进行巡检。
[0010]在一些实施例中，所述将所述船只模板图像和所述待检测船只图像输入至预先训练好的SwinTrack模型，通过所述SwinTrack模型生成跟踪预测框，包括：
[0011]将所述船只模板图像分割为多个图像块，得到第一图像块组；
[0012]将所述待检测船只图像分割为多个图像块，得到第二图像块组；
[0013]对所述第一图像块组和所述第二图像分别进行特征提取和序列转换，得到第一特征序列和第二特征序列，其中，所述第一特征序列根据所述第一图像块组得到，所述第二特征序列根据所述第二图像块组得到；
[0014]将所述第一特征序列和所述第二特征序列拼接成目标特征序列，对所述目标特征序列进行注意力融合后生成所述跟踪预测框。
[0015]在一些实施例中，对所述第一图像块组和所述第二图像分别进行特征提取和序列转换，得到第一特征序列和第二特征序列，包括：
[0016]对所述第一图像块组进行特征提取，得到第一中间序列，并确定所述第一中间序列的第一序列高和第一序列宽；
[0017]对所述第二图像块组进行特征提取，得到第二中间序列，并确定所述第二中间序列的第二序列高和第二序列宽；
[0018]获取预设的隐藏维数和网络步幅；
[0019]根据所述隐藏维数、所述网络步幅、所述第一序列高和所述第一序列宽将所述第一中间序列转换为所述第一特征序列；
[0020]根据所述隐藏维数、所述网络步幅、所述第二序列高和所述第二序列宽将所述第二中间序列转换为所述第二特征序列。
[0021]在一些实施例中，所述SwinTrack模型包括编码器和解码器，所述对所述目标特征序列进行注意力融合后生成所述跟踪预测框，包括：
[0022]将所述目标特征序列输入至所述编码器，通过所述编码器进行注意力融合，得到所述船只模板图像和所述待检测船只图像的相似度信息；
[0023]将所述相似度信息输入至所述解码器，通过所述解码器得到与所述待检测船只图像所对应的目标特征图；
[0024]根据所述目标特征图生成所述跟踪预测框。
[0025]在一些实施例中，所述根据所述目标特征图生成所述跟踪预测框，包括：
[0026]根据无约束位置编码算法对所述目标特征图进行位置编码；
[0027]根据预设的损失函数对位置编码后的所述目标特征图进行损失计算，得到所述跟踪预测框。
[0028]在一些实施例中，所述损失函数包括Varifocal Loss和CIoU Loss。
[0029]在一些实施例中，所述无人机与管理终端通信连接，所述方法还包括：
[0030]获取所述管理终端发送的所述水域巡检路线；
[0031]当获取到所述船只模板图像，向所述管理终端反馈与所述船只模板图像所对应的船只参考信息，所述船只参考信息包括船只类型和船只工作参数；
[0032]在根据所述跟踪预测框的移动轨迹进行目标跟踪的过程中，实时向所述管理终端发送所述跟踪预测框所对应的位置信息；
[0033]当获取到所述管理终端发送的所述跟踪结束信号，且当前的电量大于所述电量阈值，继续根据所述水域巡检路线进行巡检。
[0034]第二方面，本专利技术实施例提供了一种基于SwinTrack的无人机巡检装置，包括：
[0035]图像获取单元，用于获取预先设定好的水域巡检路线，在根据所述水域巡检路线进行巡检的过程中获取水面热力图像；
[0036]图像识别单元，用于对所述水面热力图像进行图像识别，当识别出待检测船只图像，根据所述待检测船只图像从预设的热力图像模板数据库中匹配出船只模板图像；
[0037]目标跟踪单元，用于将所述船只模板图像和所述待检测船只图像输入至预先训练
好的SwinTrack模型，通过所述SwinTrack模型生成跟踪预测框，根据所述跟踪预测框的移动轨迹进行目标跟踪；
[0038]巡检恢复单元，用于当获取到跟踪结束信号，且当前的电量大于预设的电量阈值，继续根据所述水域巡检路线进行巡检。
[0039]第三方面，本专利技术实施例提供了一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于SwinTrack的无人机巡检方法。
[0040]第四方面，本专利技术实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于执行如第一方面所述的基于SwinTrack的无人机巡检方法。
[0041]本专利技术实施例包括：获取预先设定好的水域巡检路线，在根据所述水域巡检路线进行巡检的过程中获取水面热力图像；对所述水面热力图像进行图像识别，当识别出待检测船只图像，根据所述待检测船只图像从预设的热力图像模板数据库中匹配出船只模板图像；将所述船只模板图像和所述待检测船只图像输入至预先训练好的SwinTrack模型，通过所述SwinTrack模型生成跟踪预测框，根据所述跟踪预测框的移动轨迹进行目标跟踪；当获取到跟踪结束信号，且当前的电量大于预设的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SwinTrack的无人机巡检方法，其特征在于，应用于无人机，包括：获取预先设定好的水域巡检路线，在根据所述水域巡检路线进行巡检的过程中获取水面热力图像；对所述水面热力图像进行图像识别，当识别出待检测船只图像，根据所述待检测船只图像从预设的热力图像模板数据库中匹配出船只模板图像；将所述船只模板图像和所述待检测船只图像输入至预先训练好的SwinTrack模型，通过所述SwinTrack模型生成跟踪预测框，根据所述跟踪预测框的移动轨迹进行目标跟踪；当获取到跟踪结束信号，且当前的电量大于预设的电量阈值，继续根据所述水域巡检路线进行巡检。2.根据权利要求1所述的基于SwinTrack的无人机巡检方法，其特征在于，所述将所述船只模板图像和所述待检测船只图像输入至预先训练好的SwinTrack模型，通过所述SwinTrack模型生成跟踪预测框，包括：将所述船只模板图像分割为多个图像块，得到第一图像块组；将所述待检测船只图像分割为多个图像块，得到第二图像块组；对所述第一图像块组和所述第二图像分别进行特征提取和序列转换，得到第一特征序列和第二特征序列，其中，所述第一特征序列根据所述第一图像块组得到，所述第二特征序列根据所述第二图像块组得到；将所述第一特征序列和所述第二特征序列拼接成目标特征序列，对所述目标特征序列进行注意力融合后生成所述跟踪预测框。3.根据权利要求2所述的基于SwinTrack的无人机巡检方法，其特征在于，对所述第一图像块组和所述第二图像分别进行特征提取和序列转换，得到第一特征序列和第二特征序列，包括：对所述第一图像块组进行特征提取，得到第一中间序列，并确定所述第一中间序列的第一序列高和第一序列宽；对所述第二图像块组进行特征提取，得到第二中间序列，并确定所述第二中间序列的第二序列高和第二序列宽；获取预设的隐藏维数和网络步幅；根据所述隐藏维数、所述网络步幅、所述第一序列高和所述第一序列宽将所述第一中间序列转换为所述第一特征序列；根据所述隐藏维数、所述网络步幅、所述第二序列高和所述第二序列宽将所述第二中间序列转换为所述第二特征序列。4.根据权利要求2所述的基于SwinTrack的无人机巡检方法，其特征在于，所述SwinTrack模型包括编码器和解码器，所述对所述目标特征序列进行注意力融合后生成所述跟踪预测框，包括：将所述目标特征序列输入至所述编码器，通过所述编码器进行注意力融合，得到所述船只模板图像和所述...

【专利技术属性】
技术研发人员：徐颖，梁长钊，蔡占川，江子义，廖锦锐，王文琪，邹琪，李文霸，李青，周建宏，谭梓峻，
申请(专利权)人：五邑大学，
类型：发明
国别省市：