一种红外线行人跟踪方法技术

本发明专利技术公开了一种红外线行人跟踪方法，属于计算机视觉领域，一种红外线行人跟踪方法，包括主体网络设计、卷积模块搭建编解码网络、Transformer辅助网络、编解码、跟踪器，可以实现将Transformer多头自注意力计算与卷积计算进行结合，通过强化网络特征提取能力以提高对红外图像中行人特征信息的提取，对Transformer模块与卷积模块进行轻量化设计以确保模型的体积及运算速度，通过红外成像仪捕捉夜间的行人影像，之后通过跟踪算法获取行人的行动轨迹，根据轨迹判断行人的意图。根据轨迹判断行人的意图。

【技术实现步骤摘要】
一种红外线行人跟踪方法


[0001]本专利技术涉及计算机视觉领域，更具体地说，涉及一种红外线行人跟踪方法。

技术介绍

[0002]随着社会的进步，科技的创新与发展水平的提高，人们的生活水平不断提升，计算机视觉技术的发展也越来越深受人们的欢迎。近年来，深度学习算法的更新迭代，让计算机视觉技术突飞猛进。计算机视觉是一门用机器来代替人对物体进行观察的技术，该技术应用于物体目标跟踪，目标跟踪，目标分类等方面。而其中行人目标跟踪技术，越来越多的应用在生活中，在智能监控、车辆辅助驾驶、人体行为分析等领域有着广阔的应用前景。行人目标跟踪技术，用来研究和判断所给的图像或者视频序列中，是否存在需要跟踪的行人，并且能够准确快速的找到目标的具体位置。行人目标跟踪技术的发展，一定程度上为降低交通事故提供有效技术支持。
[0003]现有的行人目标跟踪技术可归纳为两类：一种是利用传统摄像头成像技术，另一种是基于红外热成像技术。如图1
‑
图2所示。传统的可见光设备无法应用在夜间驾驶或者无人驾驶领域，尤其在遇见雾天、雨天、雪天等恶劣的天气下，使用传统可见光设备进行行人跟踪时很难准确的跟踪到行人。与传统的情况相比，红外热成像是基于物体相对温度信息，对生物体发出红外辐射进行成像的技术。其所成的像受各种自然现象因素影响较小。红外热成像，具有非接触式，高灵敏，高可用性特点，能够在人流密集的场景下进行，在车站，医院，广场，商场等地方都有应用。在电力行业系统故障，石油勘测，安检，行人跟踪，身份证识别，医疗等方面也都有涉及。但红外图像采集到的行人没有色彩，在进行行人跟踪的时候，容易受和人相似红外热辐射物体的影响，因此有时准确率较低。现今行人跟踪速度远大于人类自己主观进行跟踪的速度。甚至机器跟踪准确率比人类跟踪准确率高，因为人类在进行跟踪时容易受到各种环境和身体状态的影响，例如疲劳，雨雪等恶劣天气影响跟踪准确率。
[0004]为此，本申请提出一种红外线行人跟踪方法。

技术实现思路

[0005]1.要解决的技术问题
[0006]针对现有技术中存在的问题，本专利技术的目的在于提供一种红外线行人跟踪方法，可以实现通过红外成像仪捕捉夜间的行人影像，之后通过跟踪算法获取行人的行动轨迹，根据轨迹判断行人的意图。
[0007]2.技术方案
[0008]为解决上述问题，本专利技术采用如下的技术方案。
[0009]一种红外线行人跟踪方法，包括主体网络设计、卷积模块搭建编解码网络、Transformer辅助网络、编解码、跟踪器，将Transformer多头自注意力计算与卷积计算进行结合，通过强化网络特征提取能力以提高对红外图像中行人特征信息的提取，对
Transformer模块与卷积模块进行轻量化设计以确保模型的体积及运算速度。
[0010]进一步的，所述主体网络设计，采用所述卷积模块搭建编解码网络，利用卷积计算充分提取局部特征，确保网络提取到目标特征，同时编解码的结构构造，也保证了目标不会随着特征图的下采样传递逐渐变小。
[0011]进一步的，所述主体网络设计，采用所述卷积模块搭建编解码网络，利用卷积计算充分提取局部特征，确保网络提取到目标特征，同时编解码的结构构造，也保证了目标不会随着特征图的下采样传递逐渐变小。
[0012]进一步的，所述卷积模块搭建编解码网络采用TBC(Tied Block Convolution)卷积替换标准卷积，TBC卷积的计算过程与分组卷积相类似，其对分组后的特征图进行计算时采用了同一组卷积，即对各个分组间的参数进行共享。对于TBC卷积的计算公式可表示为：
[0013][0014]上公式中X1,X2,...,X
G
表示对特征图的分组操作，将特征图分成G个组，每一组特征图的表示为X
i
＝c
i
/G
×
h
i
×
w
i
，而W
′
为TBC卷积与分组卷积的主要差别，为每个组卷积的共享卷积核，其可表示为(其中B的个数与特征图分组的个数G相同)，代表concat拼接操作，通过这种形式将特征图的维度进行恢复。TBC卷积的整体计算参数量为与同等输入与卷积核大小下的标准卷积计算参数量c
o
×
c
i
×
k
×
k相比缩小了B2倍，大大精简了网络参数量。基于TBC卷积在卷积模块的构造上，首先可以根据需要缩减参数的倍数划分出不同组数，其次采用了恒等映射的方式构建“输入
‑
输出”残差通道，避免由于划分的组数太多造成特征断层无连接。
[0015]进一步的，所述Transformer辅助网络从特征图中心点逐层放大的分割区域，每个区域都包含有上层区域，直至将整个特征图覆盖完毕，这种嵌套的方式使得每个特征块与特征块都有信息交互，当嵌套Transformer模块完成对特征图的嵌套块提取后，会由卷积层对每个特征快进行整合，将特征块的大小规整至相同，使得后续转换出的token大小相同能够进行匹配度计算，采用卷积计算能够对每个特征块的特征进行局部聚合，之后将对齐完毕后的特征块进行进行向量转换，获得一维向量的tokens，经由多头自注意力计算完成全局注意力关系构建。
[0016]进一步的，所述跟踪器选用了匀速线性卡尔曼滤波器对目标的运动轨迹进行预测。当检测器检测到目标存在时，对于一个目标的前后帧的空间运动信息本申请采用进行表示，其中(u,v)表示目标当前预测框的中心点，h为当前预测框的高，γ则表示当前预测框的长宽比；而则表示为上述四个元素的速度分量，使用匀速模型和线性观测模型的卡尔曼滤波器对目标的下一个状态(u,v,γ,h)进行预测。而对于预测的轨迹信息采用马氏距离进行运动匹配，快速确定预测每个目标的移动坐标：
[0017][0018]上式d
j
表示检测器所检测到的目标位置信息，y
i
为卡尔曼滤波器所预测的下一帧位置信息，S
i
为目标当前位置信息与预测位置信息之间的协方差矩阵计算。
[0019]3.有益效果
[0020]相比于现有技术，本专利技术的优点在于：
[0021]1.通过跟踪算法获取行人的行动轨迹，根据轨迹判断行人的意图是否可疑。
[0022]2.通过强化网络特征提取能力以提高对红外图像中行人特征信息的提取；并且对Transformer模块与卷积模块进行轻量化设计以确保模型的体积及运算速度。
[0023]3.可以根据需要缩减参数的倍数划分出不同组数，其次采用了恒等映射的方式构建“输入
‑
输出”残差通道，避免由于划分的组数太多造成特征断层无连接。
[0024]4.对于检测模块的特征提取网络，将卷积模块与transformer模块进行有效结合，提升了网络对于局部信息与全局信息的感知能力。
附图说明
[0025]图1为本专利技术的
技术介绍
中传统摄像机拍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外线行人跟踪方法，其特征在于：该方法包括主体网络设计、卷积模块搭建编解码网络、Transformer辅助网络、编解码、跟踪器，将Transformer多头自注意力计算与卷积计算进行结合，通过强化网络特征提取能力以提高对红外图像中行人特征信息的提取，对Transformer模块与卷积模块进行轻量化设计以确保模型的体积及运算速度。2.根据权利要求1所述的一种红外线行人跟踪方法，其特征在于：所述主体网络设计，采用所述卷积模块搭建编解码网络，利用卷积计算充分提取局部特征，确保网络提取到目标特征，同时编解码的结构构造，也保证了目标不会随着特征图的下采样传递逐渐变小。3.根据权利要求2所述的一种红外线行人跟踪方法，其特征在于：所述卷积模块搭建编解码网络采用TBC(Tied Block Convolution)卷积替换标准卷积，TBC卷积的计算过程与分组卷积相类似，其对分组后的特征图进行计算时采用了同一组卷积，即对各个分组间的参数进行共享。对于TBC卷积的计算公式可表示为：上公式中X1,X2,...,X
G
表示对特征图的分组操作，将特征图分成G个组，每一组特征图的表示为X
i
＝c
i
/G
×
h
i
×
w
i
，而W
′
为TBC卷积与分组卷积的主要差别，为每个组卷积的共享卷积核，其可表示为(其中B的个数与特征图分组的个数G相同)，代表concat拼接操作，通过这种形式将特征图的维度进行恢复。TBC卷积的整体计算参数量为与同等输入与卷积核大小下的标准卷积计算参数量c
o
×
c
i
×
k

【专利技术属性】
技术研发人员：张贵强，汪心怡，
申请(专利权)人：安徽信息工程学院，
类型：发明
国别省市：