一种多元信息匹配的无人系统跨摄像头多目标跟踪方法技术方案

本发明专利技术公开了一种多元信息匹配的无人系统跨摄像头多目标跟踪方法，涉及图像处理、运动分析等领域。所提出的主要方案为：通过目标检测模型获取目标的检测框位置和类别；使用图像处理方法识别目标的外观颜色；建立特征提取网络捕获目标的深度外观特征；利用外观特征信息、位置信息以及属性约束、运动信息约束、最大相似度阈值约束等多维度约束对目标进行单摄像头下的跟踪；每间隔60帧将多个单摄像头多目标跟踪结果发送到跨摄像头多目标融合模块，利用外观特征信息以及属性约束、摄像头空间拓扑约束、目标运动时间约束、最大相似度阈值约束等多元信息对目标进行匹配，实现无人系统跨摄像头多目标跟踪。像头多目标跟踪。像头多目标跟踪。

【技术实现步骤摘要】
一种多元信息匹配的无人系统跨摄像头多目标跟踪方法


[0001]本专利技术涉及一种多目标跟踪方法，特别是一种多元信息匹配的无人系统跨摄像头多目标跟踪方法。

技术介绍

[0002]随着数字化技术的发展，多目标跟踪在视频监控、自动驾驶、智能交通系统和现代化军事等领域有着广泛应用，成为研究的热点话题。多目标跟踪的主要任务是关联视频或视频流中的众多目标，分别为每个目标赋予一个唯一的标识(Identification,ID)，并不断维持目标的ID保持不变。就目前而言，单摄像头多目标跟踪系统已经较为完善，但由于单个摄像头的监控范围有限，无法对目标进行进行连续跟踪，具有较大的局限性。跨摄像头多目标跟踪系统通过增加摄像头的数量可以克服单摄像头多目标跟踪系统所存在的固有缺陷，实现对目标的长时连续跟踪，具有很强的实用意义。然而由于复杂背景环境干扰、目标的遮挡与消失、不同摄像机下目标的尺度变化和姿态变化较大等问题，因此即使经过多年的努力，跨摄像头多目标跟踪仍然是一个尚未解决的问题，亟需更多研究。
[0003]目前，大多数跨摄像头目标跟踪方法包括两个阶段：
[0004](1)局部轨迹生成阶段。该阶段在单个摄像头内跟踪每个检测到的目标，并为其生成局部轨迹；单摄像头目标跟踪方法主要分为传统方法和基于深度学习的方法。传统的目标跟踪方法有光流法、粒子滤波和卡尔曼滤波等，这些方法跟踪速度较快，但一般仅仅通过建立运动模型而获取目标的运动特征，缺乏对目标尺度变化的相关处理，并没有提取图像区域中目标的外观视觉特征，因而一般跟踪效果不佳。随着人工智能的不断发展，基于深度学习的方法在多目标跟踪问题上取得了较好的效果，并逐渐成为了多目标跟踪领域的主流算法。经典的算法包括SORT、Deep SORT和MOTDT，这些方法一般首先对运动目标进行检测，接着通过滤波算法预测其运动轨迹，通过建立运动模型和外观模型，同时从运动特征、外观特征两方面对多目标进行关联匹配，大大提升了多目标跟踪的精度，然而这些跟踪方法的精度依赖于目标检测的精度，若检测算法效果不好，则跟踪效果也不尽人意。
[0005](2)跨摄像头轨迹匹配阶段。该阶段在所有摄像头中匹配多目标的所有局部轨迹以生成其完整的轨迹。一些方法不断在相邻摄像头之间匹配局部轨迹，最终实现所有摄像头上的轨迹匹配。另一些方法使用二分图匹配或者线性规划等方法迭代地匹配所有摄像头中的局部轨迹。此外，有研究工作试图使用贝叶斯公式或图模型来找到轨迹匹配的全局解决方案，通过最大化后验概率或找到从源节点到宿节点的网络流来获得每个目标的全局轨迹。

技术实现思路

[0006]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种多元信息匹配的无人系统跨摄像头多目标跟踪方法。
[0007]为了解决上述技术问题，本专利技术公开了一种多元信息匹配的无人系统跨摄像头多
目标跟踪方法，包括：目标检测模块、特征提取模块、颜色识别模块、单摄像头多目标跟踪模块和跨摄像头多目标融合模块；其中目标检测模块用于目标检测，特征提取模块用于目标特征提取，颜色识别模块用于目标颜色提取，单摄像头多目标跟踪模块用于得到单摄像头多目标跟踪结果，跨摄像头多目标融合模块用于完成跨摄像头多目标跟踪；
[0008]所述五个模块执行以下步骤：
[0009]步骤1，目标检测；基于深度学习方法建立目标检测模型获取单摄像头中所有目标在图像中的位置和类别；所述目标检测的方法包括：
[0010]使用YOLOv5作为目标检测模型，检测出目标的位置和类别；得到目标的位置和类别后，采取非极大值抑制算法获取检测结果，完成目标检测。
[0011]步骤2，目标颜色提取；对所有经过步骤1检测得到的目标进行遍历，使用图像处理方法识别目标的外观颜色；所述目标颜色提取的方法包括：
[0012]使用图像处理方法识别目标颜色，将目标所在图像区域由RGB空间转化为HSV空间；统计各个颜色的所占像素，通过比较，得到占用最多区域的颜色种类，该颜色即识别为目标的颜色。
[0013]步骤3，目标特征提取；对所有经过步骤1检测得到的目标进行遍历，采用ResNet18网络结构作为骨干网络，对目标多元特征进行提取；
[0014]所述目标特征提取的方法包括：
[0015]构建特征提取网络进行目标特征提取；所述特征提取网络采用ResNet18网络结构作为骨干网络；包括17个卷积层和一个全连接层，具体步骤如下：
[0016]步骤3
‑
1，使用特征提取网络中的最后一个卷积层Conv17的输出U∈R
512
×7×7作为所述特征提取模块中的注意力融合池模块的输入，其中，R
512
×7×7表示目标特征矩阵；
[0017]步骤3
‑
2，将注意力融合池模块的输入U划分为7块，每块用V
i1
∈R
512
×7，i1∈(1，7)表示，其中i1表示第i1块；
[0018]步骤3
‑
3，将每块V
i1
分别经过一个最大池化层和一个全连接层分别得到输出Pool
i1
和W
i1
，公式如下：
[0019]Pool
i1
＝max(V
i1
)∈R
512
[0020]W
i1
＝FC(V
i1
)∈R
512
×2[0021]其中，max(V
i1
)表示区域目标特征最大向量矩阵，FC(V
i1
)表示连接层矩阵元素；
[0022]步骤3
‑
4，将每个输出W
i1
按照分行提取的方式划分为W
i11
和W
i12
两个部分，将W
i11
经过Sigmoid函数生成权重信息，与W
i12
进行点乘，得到的结果与Pool
i1
进行相加，实现跳连接，获得结果Y
i1
∈R
512
；
[0023]步骤3
‑
5，将获取到的结果Y
i1
进行拼接，得到Y∈R
512
×7；
[0024]步骤3
‑
6，对7块V
i1
进行相同的拼接操作，最后得到特征向量Z∈R
512
。
[0025]步骤4，目标位置预测分析；使用卡尔曼滤波算法，由常量速度模型和线性观测模型对目标位置进行预测和更新；所述目标位置预测分析的方法包括：
[0026]使用卡尔曼滤波算法，由常量速度模型和线性观测模型对目标位置进行预测和更新；
[0027]其中预测公式如下：
[0028]x
’
＝Fx
[0029]P
’
＝FPF
T
+Q
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多元信息匹配的无人系统跨摄像头多目标跟踪方法，其特征在于，包括：目标检测模块、特征提取模块、颜色识别模块、单摄像头多目标跟踪模块和跨摄像头多目标融合模块；其中目标检测模块用于目标检测，特征提取模块用于目标特征提取，颜色识别模块用于目标颜色提取，单摄像头多目标跟踪模块用于得到单摄像头多目标跟踪结果，跨摄像头多目标融合模块用于完成跨摄像头多目标跟踪；所述五个模块执行以下步骤：步骤1，目标检测；基于深度学习方法建立目标检测模型获取单摄像头中所有目标在图像中的位置和类别；步骤2，目标颜色提取；对所有经过步骤1检测得到的目标进行遍历，使用图像处理方法识别目标的外观颜色；步骤3，目标特征提取；对所有经过步骤1检测得到的目标进行遍历，采用ResNet18网络结构作为骨干网络，对目标多元特征进行提取；步骤4，目标位置预测分析；使用卡尔曼滤波算法，由常量速度模型和线性观测模型对目标位置进行预测和更新；步骤5，多目标跟踪；利用外观特征信息、位置信息以及多维度约束对目标进行单摄像头下的多目标跟踪；得到单摄像头多目标跟踪结果；步骤6，跨摄像头多目标跟踪；每间隔设定时间将每个摄像头的单摄像头多目标跟踪结果发送到跨摄像头多目标融合模块，利用外观特征信息以及属性约束、摄像头空间拓扑约束、目标运动时间约束、最大相似度阈值约束的多元信息对目标进行匹配，完成跨摄像头多目标跟踪。2.根据权利要求1所述的一种多元信息匹配的无人系统跨摄像头多目标跟踪方法，其特征在于，步骤1中所述目标检测的方法包括：使用YOLOv5作为目标检测模型，检测出目标的位置和类别；得到目标的位置和类别后，采取非极大值抑制算法获取检测结果，完成目标检测。3.根据权利要求2所述的一种多元信息匹配的无人系统跨摄像头多目标跟踪方法，其特征在于，步骤2中所述目标颜色提取的方法包括：使用图像处理方法识别目标颜色，将目标所在图像区域由RGB空间转化为HSV空间；统计各个颜色的所占像素，通过比较，得到占用最多区域的颜色种类，该颜色即识别为目标的颜色。4.根据权利要求3所述的一种多元信息匹配的无人系统跨摄像头多目标跟踪方法，其特征在于，步骤3中所述目标特征提取的方法包括：构建特征提取网络进行目标特征提取；所述特征提取网络采用ResNet18网络结构作为骨干网络；包括17个卷积层和一个全连接层。5.根据权利要求4所述的一种多元信息匹配的无人系统跨摄像头多目标跟踪方法，其特征在于，步骤3中所述目标特征提取的方法包括：步骤3
‑
1，使用特征提取网络中的最后一个卷积层Conv17的输出U∈R
512
×7×7作为所述特征提取模块中的注意力融合池模块的输入，其中，R
512
×7×7表示目标特征矩阵；步骤3
‑
2，将注意力融合池模块的输入U划分为7块，每块用V
i1
∈R
512
×7，i1∈(1，7)表示，其中i1表示第i1块；
步骤3
‑
3，将每块V
i1
分别经过一个最大池化层和一个全连接层分别得到输出Pool
i1
和W
i1
，公式如下：Pool
i1
＝max(V
i1
)∈R
512
W
i1
＝FC(V
i1
)∈R
512
×2其中，max(V
i1
)表示区域目标特征最大向量矩阵，FC(V
i1
)表示连接层矩阵元素；步骤3
‑
4，将每个输出W
i1
按照分行提取的方式划分为W
i11
和W
i12
两个部分，将W
i11
经过Sigmoid函数生成权重信息，与W
i12
进行点乘，得到的结果与Pool
i1
进行相加，实现跳连接，获得结果Y
i1
∈R
512
；步骤3
‑
5，将获取到的结果Y
i1
进行拼接，得到Y∈R
512
×7；步骤3
‑
6，对7块V
i1
进行相同的拼接操作，最后得到特征向量Z∈R
512
。6.根据权利要求5所述的一种多元信息匹配的无人系统跨摄像头多目标跟踪方法，其特征在于，步骤4中所述目标位置预测分析的方法包括：使用卡尔曼滤波算法，由常量速度模型和线性观测模型对目标位置进行预测和更新；其中预测公式如下：x
’
＝FxP
’
＝FPF
T...

【专利技术属性】
技术研发人员：徐俊瑜，姚传明，赵芳，潘洪涛，陆中祥，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：