本发明专利技术提供了一种无人机场景下目标实时跟踪方法及系统，包括：S1：根据场景使用无人机拍摄待跟踪目标，得到目标图像数据集；S2：预设目标检测模型并通过目标图像数据集优化目标检测模型；S3：追踪过程中拍摄实时目标图像数据；S4：对实时目标图像数据进行识别判断处理；S5：预设目标跟踪模型，根据识别判断处理结果、优化后的目标检测模型和目标跟踪模型进行目标跟踪，本发明专利技术基于无人机目标实时跟踪方面的缺陷，统筹各类常用方法的优缺点和适应性，解决了无人机场景下目标跟踪的诸多问题，对于遮挡和消失的目标跟踪效果好，实时性与准确度可以兼顾。
【技术实现步骤摘要】
【】本专利技术涉及图像处理和计算机视觉，尤其涉及一种无人机场景下目标实时跟踪方法及系统。
技术介绍
0、
技术介绍
1、无人机在军事领域已经广泛应用了很长一段时间，但传统的军用无人机往往被设计成非常大的尺寸，以满足军事打击、情报收集和长途飞行的需要。此外，无人机的高制造成本使其很长一段时间没有得到广泛应用。随着无人机成本的降低和智能应用的普及，无人机已广泛应用于设备检测、影视拍摄、运输和物流等领域，并在民用领域得到广泛普及。此外，可携带的微型无人机也成为当前消费者关注的热点。由于无人机起降方便，飞行灵活，在无人机上安装摄像头可以提供独特的空中视角，捕捉地面摄像头难以捕捉的图像和场景。安装轻型摄像头以实现各种智能功能已成为无人机发展的重要趋势。
2、在传统的无人机系统中，由于飞行控制处理器的计算性能限制，大多数无人机通常需要对捕获的图像进行编码，然后将其传输到地面进行相应的图像处理。处理后的结果随后被传输到无人机进行相应的操作。然而，将图像传输到地面，再加上过程中的编码、解码等任务，将消耗额外的时间和控制命令的返回，这将严重影响视频处理的实时性能，难以满足智能无人机自主飞行和目标跟踪的要求。
3、针对边缘场景的智能化需求，传统的芯片制作商如英特尔、英伟达、arm等公司先后发布面向人工智能(artificial intelligence，ai)和机器学习的边缘智能处理器，国内诸如华为、寒武纪、地平线等公司也开始研发自己的ai芯片，这极大提高了边缘设备的计算性能，为智能化提供了算力保障。
<
p>4、此外，在无人机场景下实现目标实时跟踪目前面临以下问题：5、1)受到计算性能的影响，当前基于深度学习的智能模型只能采用轻量化模型，往往模型越复杂准确性越高，推理时间越长，实际使用中需要对实时性和准确性做出取舍；
6、2)相机容易受到光照，气候，成像机理和视野条件干扰，无人机所拍摄的图像具有局限性和片面性，这给检测识别造成极大的困难；
7、3)日常生活中经常出现物体的姿态变化、尺度变化以及遮挡和消失现象，常用的单目标跟踪算法跟踪效果差，容易跟踪失败。
8、因此，有必要研究一种无人机场景下目标实时跟踪方法及系统来应对现有技术的不足，以解决或减轻上述一个或多个问题。
技术实现思路
0、
技术实现思路
1、有鉴于此，本专利技术提供了一种无人机场景下目标实时跟踪方法及系统，基于无人机目标实时跟踪方面的缺陷，统筹各类常用方法的优缺点和适应性，提出了一项无人机目标实时跟踪技术，解决了无人机场景下目标跟踪的诸多问题，包括：实际应用中无人机智能芯片大多采用国外大公司的产品，往往很少采用国产芯片；无人机场景下目标跟踪算法对于遮挡和消失的目标跟踪效果不好，以及实时性与准确度难以兼顾的问题。
2、一方面，本专利技术提供一种无人机场景下目标实时跟踪方法，所述目标实时跟踪方法包括以下步骤：
3、s1：根据场景使用无人机拍摄待跟踪目标，得到目标图像数据集；
4、s2：预设目标检测模型并通过目标图像数据集优化目标检测模型；
5、s3：追踪过程中拍摄实时目标图像数据；
6、s4：对实时目标图像数据进行识别判断处理；
7、s5：预设目标跟踪模型，根据识别判断处理结果、优化后的目标检测模型和目标跟踪模型进行目标跟踪。
8、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
9、当所述s4中识别判断处理结果为跟踪处理过程中的第一张图像数据时，通过优化后的目标检测模型和实时目标图像数据初始化目标跟踪模型。
10、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述初始化目标跟踪模型具体包括：
11、通过优化后的目标检测模型对实时目标图像数据进行检测识别并生成目标框信息；
12、使用目标框信息初始化目标跟踪模型。
13、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
14、当s4中识别判断处理结果为非跟踪处理过程中的第一张图像数据时，将该实时目标图像数据输入目标跟踪模型进行目标跟踪。
15、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，其特征在于，
16、当s5目标跟踪过程中没有出现目标消失和/或遮挡现象时，目标跟踪模型生成目标跟踪框信息。
17、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，其特征在于，
18、当s5目标跟踪过程中出现目标消失和/或遮挡现象时，目标跟踪模型在目标消失的周围进行搜索并生成搜索框，如果搜索框的特征和目标特征匹配，目标跟踪模型生成目标跟踪框，如果搜索框的特征和目标特征不匹配，则重复在目标消失的周围进行搜索并生成搜索框直至搜索框的特征和目标特征匹配。
19、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述目标实时跟踪方法还包括s6：如果识别判断结果不是最后一张图像数据时，将目标跟踪框信息更新至目标跟踪模型，如果识别判断结果是最后一张图像数据时，完成目标实时跟踪过程。
20、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s1具体为：根据待追踪场景中待跟踪目标的存在状态，拍摄待跟踪目标在不同角度和不同距离下的图像数据，集合后作为目标图像数据集。
21、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s2具体包括：
22、s21：预设目标检测的神经网络模型；
23、s22：通过目标图像数据集对神经网络模型进行迁移学习；
24、s23：获取优化后的与追踪场景相适配的目标检测模型。
25、如上所述的方面和任一可能的实现方式，进一步提供一种无人机场景下目标实时跟踪系统，所述目标实时跟踪系统包括：
26、目标图像数据采集模块，用于根据场景使用无人机拍摄待跟踪目标，得到目标图像数据集；
27、检测模型建立和优化模块，用于预设目标检测模型并通过目标图像数据集优化目标检测模型；
28、实时图像获取模块，用于追踪过程中拍摄实时目标图像数据；
29、识别判断处理模块，用于对实时目标图像数据进行识别判断处理；
30、目标跟踪模块，用于预设目标跟踪模型，根据识别判断处理结果、优化后的目标检测模型和目标跟踪模型进行目标跟踪。
31、与现有技术相比，本专利技术可以获得包括以下技术效果：
32、1)本专利技术将使用国产化硬件进行软件开发和模型适配；
33、2)本专利技术一定程度上解决了目标跟踪模型无法应对目标消失和遮挡的现象；
34、3)本专利技术使用了轻量化的目标检测和目标跟踪模型，兼顾了机载端目标检测和跟踪所需的实时性和准确性。
35、当然，实施本专利技术的任一产品并不一定需要同时达到以本文档来自技高网
...
【技术保护点】
1.一种无人机场景下目标实时跟踪方法，其特征在于，所述目标实时跟踪方法包括以下步骤：
2.根据权利要求1所述的目标实时跟踪方法，其特征在于，
3.根据权利要求2所述的目标实时跟踪方法，其特征在于，所述初始化目标跟踪模型具体包括：
4.根据权利要求1所述的目标实时跟踪方法，其特征在于，
5.根据权利要求4所述的目标实时跟踪方法，其特征在于，
6.根据权利要求5所述的目标实时跟踪方法，其特征在于，
7.根据权利要求6所述的目标实时跟踪方法，其特征在于，所述目标实时跟踪方法还包括S6：如果识别判断结果不是最后一张图像数据时，将目标跟踪框信息更新至目标跟踪模型，如果识别判断结果是最后一张图像数据时，完成目标实时跟踪过程。
8.根据权利要求1所述的目标实时跟踪方法，其特征在于，所述S1具体为：根据待追踪场景中待跟踪目标的存在状态，拍摄待跟踪目标在不同角度和不同距离下的图像数据，集合后作为目标图像数据集。
9.根据权利要求1所述的目标实时跟踪方法，其特征在于，所述S2具体包括：
10.一种无人机场景下目标实时跟踪系统，其特征在于，所述目标实时跟踪系统包括：
...
【技术特征摘要】
1.一种无人机场景下目标实时跟踪方法，其特征在于，所述目标实时跟踪方法包括以下步骤：
2.根据权利要求1所述的目标实时跟踪方法，其特征在于，
3.根据权利要求2所述的目标实时跟踪方法，其特征在于，所述初始化目标跟踪模型具体包括：
4.根据权利要求1所述的目标实时跟踪方法，其特征在于，
5.根据权利要求4所述的目标实时跟踪方法，其特征在于，
6.根据权利要求5所述的目标实时跟踪方法，其特征在于，
7.根据权利要求6所述的目标实时跟踪方法，其特征在于，所述目标实...
【专利技术属性】
技术研发人员：孙浩惠，黄坤，程宇，高伟，姜凯，
申请(专利权)人：航天时代飞鸿技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。