【技术实现步骤摘要】
本专利技术涉及目标检测、目标跟踪领域，并且更具体地，涉及一种基于无人机视角下的行人多目标跟踪方法。
技术介绍
1、随着无人机的迅速发展和广泛应用，无人机视角下的多目标跟踪技术逐渐成为研究热点。行人多目标跟踪作为计算机视觉领域的重要问题，对于实现智能监控、交通管理和安全防护等领域具有重要意义。然而，由于无人机视角下的行人多目标跟踪面临着目标分辨率低、尺度小等挑战，传统方法往往难以同时满足实时性、准确性和鲁棒性的要求。
2、目前，已有一些针对行人多目标跟踪的方法，然而，这些方法在处理无人机视角下的行人多目标跟踪时仍存在一些问题。首先，传统的目标检测算法往往受限于目标尺度变化和视角变化，在无人机视角下的行人多目标跟踪中容易失效。其次，传统的特征提取与分类方法对于行人目标的复杂背景和遮挡情况较为敏感，容易造成行人目标的误检和漏检。
3、公开号为cn114820702a的中国专利公开了“一种基于yolov5的deepsort无人机视角行人多目标跟踪方法”，使用目标检测yolov5网络，其可以对特征信息明显的正常尺度目标进行检测且有较好的效果，但是如果在高空视角、低分辨率、小尺度目标的复杂场景下，仅使用目标检测yolov5网络进行检测其检测精度是不够的。
4、因此，针对无人机视角下的行人多目标跟踪问题，需要提出一种新的方法来克服上述现有技术存在的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于无人机视角下的行人多目标跟踪方法，其目的在于通过设计和
2、为实现上述目的，本专利技术采用了如下技术方案：
3、一种基于无人机视角下的行人多目标跟踪方法，包括以下步骤：
4、s1.采集包含行人的无人机视角图像数据集，并对数据集进行预处理；
5、s2.设计并优化基于无人机视角下的行人检测与跟踪网络的损失函数；
6、所述损失函数公式如下：
7、；
8、其中，表示目标检测损失函数，表示目标跟踪损失函数，是一个自适应权重参数，用于平衡目标检测损失和目标跟踪损失的重要性；
9、s3.设计并优化基于无人机视角下的行人检测与跟踪网络；
10、所述行人检测与跟踪网络包括行人检测网络和行人追踪网络；所述行人检测网络包括多个特征提取模块、多个特征增强模块，还有特征融合模块以及多个注意力机制模块和多个检测头模块，通过一系列模块的组合，使行人检测网络能够准确地定位和识别图像中的行人目标；所述行人跟踪网络通过级联匹配模块、iou匹配模块以及卡尔曼滤波实现对行人目标的连续跟踪和轨迹估计；
11、s4.使用预处理之后的数据集训练设计好的行人检测与跟踪网络，得到行人检测与跟踪模型；
12、s5.利用训练好的行人检测与跟踪模型，实时检测新的无人机视角图像序列。
13、进一步的，所述步骤s1采集包含行人的无人机视角图像数据集，并对数据集进行预处理，具体如下：
14、s1-1.利用无人机采集不同场景下包含行人的视频和图像；
15、s1-2.将采集到的视频逐帧保存为图像，并与采集到的图像整合起来进行人工筛选；
16、s1-3.将筛选后的数据集进行人工标注，得到数据集中行人目标的真实位置信息和类别信息，所述真实位置信息为行人目标真实框的坐标信息；
17、s1-4.将标注之后的数据集采用数据增强技术进行进一步扩充；
18、s1-5.将采用数据增强技术处理之后的数据集按照8:2的比例划分为训练集和验证集。
19、进一步的，所述目标检测损失函数公式如下：
20、；
21、其中，n为行人目标的数量，表示图像中存在的行人目标个数，为检测目标的索引，表示第个行人目标，是平衡因子，用于平衡正负样本之间的权重，为预测框属于行人类别的概率，表示模型对第个行人目标的预测结果，表示行人预测框和行人真实框之间的交并比，交并比用于衡量行人预测框与行人真实框的匹配程度。
22、进一步的，所述目标跟踪损失函数公式如下：
23、；
24、其中为时间步，用于表示目标在不同时间点的状态，为跟踪目标的索引，用于区分不同的跟踪目标，t为总的时间步数，表示在时间步下的行人目标数量，为跟踪轨迹预测框，表示目标在时间步下的位置预测，为跟踪轨迹真实框，表示目标在时间步下的真实位置，表示跟踪轨迹预测框和跟踪轨迹真实框之间的交并比，表示跟踪轨迹预测框在时刻的速度向量，表示跟踪轨迹真实框在时刻的速度向量。
25、进一步的，所述行人检测网络细分为主干网络、颈部网络和头部网络；
26、所述主干网络是行人检测网络的核心部分，它由特征提取模块、特征增强模块、注意力机制模块和特征融合模块组成；
27、首先，输入的图像经过两个特征提取模块，获取行人的局部特征，所述局部特征包括形状、纹理以及姿态信息；
28、随后，使用特征增强模块进一步提升网络对行人特征的感知能力；
29、接下来，一系列的特征提取模块和特征增强模块被应用，使网络更好地捕捉和表示图像中的行人特征；
30、然后，注意力机制模块被引入，根据行人在图像中的重要性来自适应地调整特征的权重分配，使网络更加关注行人区域；
31、最后，特征融合模块将来自不同尺度和层级的特征有效地组合，得到更丰富和全面的特征表示。
32、进一步的，所述颈部网络位于主干网络和头部网络之间，其作用是进一步处理和压缩特征表示，颈部网络通过上采样、特征拼接、特征增强、特征提取和注意力机制操作，对主干网络提取的特征进行降维和抽象，提取更高级的语义特征。
33、进一步的，所述头部网络是行人检测网络的最后一部分，用于生成行人检测框和相关的检测信息，所述头部网络包括微小目标检测头模块、小目标检测头模块、中目标检测头模块和大目标检测头模块，头部网络通过不同尺寸的检测头模块，预测行人的位置、边界框和置信度得分。
34、进一步的，所述行人跟踪网络具体如下：
35、首先将当前帧的行人检测框与上一帧中预测的轨迹进行级联匹配；如果匹配成功，即找到了对应的轨迹，根据当前帧的行人检测框使用卡尔曼滤波进行轨迹的融合更新；对于不匹配的检测框，级联匹配模块将其与不匹配的轨迹进行iou匹配；如果不匹配的轨迹说明当前行人与上一帧的行人不是同一个目标，那么创建相应的新轨迹；对于iou匹配到的轨迹，同样使用卡尔曼滤波进行轨迹的融合更新；
36、使用卡尔曼滤波进行行人轨迹的预测，从而得到确定的轨迹，然后将确定的轨迹与下一帧的行人检测框进行级联匹配。
37、进一步的，所述步骤s4使用预处理之后的数据集训练设计好的行人检测与跟踪网络，得到行人检测与跟踪模型，具体如下：
38、s4-1.模型训练：本文档来自技高网...
【技术保护点】
1.一种基于无人机视角下的行人多目标跟踪方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述步骤S1采集包含行人的无人机视角图像数据集，并对数据集进行预处理，具体如下：
3.如权利要求1所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述目标检测损失函数公式如下：
4.如权利要求3所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述目标跟踪损失函数公式如下：
5.如权利要求1所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述行人检测网络细分为主干网络、颈部网络和头部网络；
6.如权利要求5所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述颈部网络位于主干网络和头部网络之间，其作用是进一步处理和压缩特征表示，颈部网络通过上采样、特征拼接、特征增强、特征提取和注意力机制操作，对主干网络提取的特征进行降维和抽象，提取更高级的语义特征。
7.如权利要求6所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述头部网络是行
8.如权利要求7所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述行人跟踪网络具体如下：
9.如权利要求2所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述步骤S4使用预处理之后的数据集训练设计好的行人检测与跟踪网络，得到行人检测与跟踪模型，具体如下：
10.如权利要求9所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述步骤S5利用训练好的行人检测与跟踪模型，实时检测新的无人机视角图像序列，具体如下：
...【技术特征摘要】
1.一种基于无人机视角下的行人多目标跟踪方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述步骤s1采集包含行人的无人机视角图像数据集，并对数据集进行预处理，具体如下：
3.如权利要求1所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述目标检测损失函数公式如下：
4.如权利要求3所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述目标跟踪损失函数公式如下：
5.如权利要求1所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述行人检测网络细分为主干网络、颈部网络和头部网络；
6.如权利要求5所述的基于无人机视角下的行人多目标跟踪方法，其特征在于，所述颈部网络位于主干网络和头部网络之间，其作用是进一步处理和压缩特征表示，颈部网络通过上采样、特征拼接、特征增强、特征提取和注意力机制操作，对主干网络...
【专利技术属性】
技术研发人员：姜明华，陈龙，余锋，刘莉，周昌龙，宋坤芳，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。