基于注意力的特征提取结构的密集人群运动追踪方法技术

一种基于注意力的特征提取结构的密集人群运动追踪方法，包括以下步骤：S1.基本模型选取；S2.注意力机制模块搭建：在基本模型的特征提取部分中搭建注意力机制模块；以及S3.使用注意力机制模块改进基本模型。本发明专利技术方法使用注意力机制作用于视频帧的特征图，实现用特征图中所选特定区域的特征值跟整个特征图的特征值进行对比计算，可以获得更多的语义信息和人群个体的共同信息；把注意力机制模块处理完后得到的注意力特征图跟视频帧原来被提取的特征图进行特征融合，再使用高斯混合模型去计算出人群中特定个体的位置，提高了识别显著特定个体的准确率，得到每个人群特定个体的精确位置且对特定个体的位置识别和运动趋势预测的准确率有很大提高。的准确率有很大提高。的准确率有很大提高。

【技术实现步骤摘要】
基于注意力的特征提取结构的密集人群运动追踪方法


[0001]本专利技术涉及计算机视觉
，特别地，涉及基于注意力的特征提取结构的密集人群运动追踪方法。

技术介绍

[0002]目前，在户外场合中的人群个体运动追踪问题不仅在计算机视觉领域是一个非常重要的研究方向，在户外密集多人场景也有很大的实际应用价值。人群个体运动追踪的主要思路是对一张包含密集多人场景的视频帧进行特征提取，把人群每个个体的特征都提取出来，然后把每个个体在每个视频帧中的位置都识别出来，进而把该场景中的特定个体的运动轨迹识别出来。
[0003]为了完成人群个体运动追踪这个任务，不少方法被提出用于获取图片或视频帧中的人群个体的特征。一部分基于语义信息提取的方法，以及颜色特征提取的方法被提出并用于在视频中追踪每个个体的位置。另一方面，为了能有效地使用视频帧之间的时序信息，有一部分模型把光流(Optical Flow)或均值偏移(Mean Shift)的方法用于视频传播(Video Propagation)，以此能在视频中把前一帧获得的特征应用在当前帧的特征提取上，从而能更精确确定人群中个体的位置并追踪运动轨迹。此外，为了应对户外场景中人群密度越来越大的情况，拥有强大特征学习能力的深度学习(Deep Learning)模型也被应用于人群个体运动追踪。然而，由于深度学习模型需要很大的运算量去完成特征提取，所以它不仅对运算设备有很高的要求，而且处理数据也需要一定时间。在实际应用的场景下，用于数据处理的算法或模型很多时候需要实时的情况下完成数据的计算，所以虽然深度学习模型能在很多任务中达到很高精度，但运算量大的深度学习模型不太适用于人群个体运动追踪问题的实际应用。
[0004]在原来的结合特征模板、高斯混合模型和运动趋势的模型中，特征提取的做法主要是先使用视频帧与作为卷积核的特征模板矩阵进行一层卷积操作，以此来生成该视频帧对应的特征图。而该特征图中某个特定区域的特征值就会跟高斯混合模型的高斯核进行点乘操作，从而算出该特定区域特定个体的位置。然而，仅仅使用一层卷积来提取特征，提取到的特征精度不够高，容易把属于背景的像素当成是人群个体。

技术实现思路

[0005]本专利技术的目的是提供一种基于注意力的特征提取结构的密集人群运动追踪方法，得到每个人群特定个体的精确位置且对特定个体的位置识别和运动趋势预测的准确率有很大提高。
[0006]实现本专利技术目的的技术方案如下：
[0007]基于注意力的特征提取结构的密集人群运动追踪方法，包括以下步骤：S1.基本模型选取；S2.注意力机制模块搭建：在基本模型的特征提取部分中搭建注意力机制模块；以及S3.使用注意力机制模块改进基本模型。
[0008]优选的，在上述基于注意力的特征提取结构的密集人群运动追踪方法中，在步骤S1中，选择基于特征模板和高斯混合模型提取特征的人群追踪框架作为基本模型。
[0009]优选的，在上述基于注意力的特征提取结构的密集人群运动追踪方法中，在步骤S2中，搭建一个注意力机制模块在基本模型的特征提取部分中，进一步提取属于人群个体的特征，注意力机制模块能使用包含人群个体特征的运算核与图片或视频帧的特征图进行运算，从而把属于人群个体的特征都提取出来，得到特征图。
[0010]优选的，在上述基于注意力的特征提取结构的密集人群运动追踪方法中，在步骤S3中，通过把特征提取部分得到的特征图输入到注意力机制模块中，让特征图得到优化，进而能帮助模型更准确地识别人群个体的位置。
[0011]优选的，在上述基于注意力的特征提取结构的密集人群运动追踪方法中，在步骤S3中，改进后的基本模型的操作流程为：首先，一张包含人群场景的视频帧被输入到模型的特征提取结构；然后特征提取结构把提取到的特征图输入到邻近运动并发算法部分中，从而把主要人群个体在一定时间内的运动轨迹都预测出来。
[0012]优选的，在上述基于注意力的特征提取结构的密集人群运动追踪方法中，在步骤S3中，使用包含注意力机制模块和特征融合的特征提取结构进行特征提取，流程为：首先，一张包含人群场景的视频帧会被输入到特征提取结构中，视频帧会通过特征模板进行特征提取；然后，特征模板提取特征部分会输出一个特征图，特征图会分别被输入至两个分支，一个分支是进行注意力机制运算，另一个分支是与注意力机制模块输出的注意力特征图进行特征融合。
[0013]优选的，在上述基于注意力的特征提取结构的密集人群运动追踪方法中，在步骤S3中，在注意力机制模块中输入的特征图中的选中区域特征会作为卷积核被提取出来，与输入的特征图进行特征相关性比对运算；选中区域特征矩阵会被作为卷积核与输入的特征图进行操作；注意力机制模块输出的特征图会进行归一化操作，将得到的注意力特征图作为结果输出。
[0014]优选的，在上述基于注意力的特征提取结构的密集人群运动追踪方法中，当进行完注意力机制模块的运算后，特征模板提取特征部分的特征图与注意力机制模块输出的注意力特征图进行特征融合处理，融合运算的公式如下：
[0015]F
fuse
＝F
t
*α+F
a
*β
[0016]其中，F
fuse
是指经融合运算后的特征图，F
t
代表特征模板提取特征部分输出的特征图，F
a
是注意力机制模块输出的注意力特征图，α与β分别表示系数，α+β＝1，当完成特征融合步骤，融合后得到的特征图则会输入到高斯混合模型进行最后的特征分类，从而挑选出人群个体的精确位置；经高斯混合模型计算后得到的人群个体位置与高斯分布特征图会被传送到邻近运动并发算法部分中，把主要人群个体在一定时间内的运动轨迹都预测出来。
[0017]根据本专利技术的技术方案，产生的有益效果是：
[0018]与现有的基于提取颜色或语义等特征的传统算法比较，本专利技术在使用特征模板、高斯混合模型和提取运动趋势特征的基础上，加入了注意力机制模块，所以可以在特征提取的过程中可以更精确地把属于人群个体的特征提取。用这样的方式，能更好地对每个人群个体在视频帧中进行定位，提高人群定位与运动追踪的精准度。本专利技术在测试实验中，把加入了注意力机制模块的框架与没有加入注意力机制模块的框架在街道人群的数据集中
进行比较，前者输出结果的准确率比后者输出结果的准确率高至少1％。
[0019]与现有的基于深度学习的模型相比较，本专利技术在接受视频帧后能更快速计算出视频帧中人的数量。相比较，深度学习模型虽然可以达到很高的准确率，但在数据处理和特征提取上依然需要一定时间完成计算。由于本专利技术的低延时特点，所以，本专利技术更能应用到实际场景中。
[0020]使用注意力机制作用于视频帧的特征图，实现用特征图中所选特定区域的特征值跟整个特征图的特征值进行对比计算，从而可以获得更多的语义信息和人群个体的共同信息。此外，把注意力机制模块处理完后得到的注意力特征图跟视频帧原来被提取的特征图进行特征融合，再使用高斯混合模型去计算出人群中特定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力的特征提取结构的密集人群运动追踪方法，其特征在于，包括以下步骤：S1.基本模型选取；S2.注意力机制模块搭建：在基本模型的特征提取部分中搭建注意力机制模块；以及S3.使用注意力机制模块改进基本模型。2.根据权利要求1所述的基于注意力的特征提取结构的密集人群运动追踪方法，其特征在于，在步骤S1中，选择基于特征模板和高斯混合模型提取特征的人群追踪框架作为基本模型。3.根据权利要求1所述的基于注意力的特征提取结构的密集人群运动追踪方法，其特征在于，在步骤S2中，搭建一个所述注意力机制模块在所述基本模型的特征提取部分中，进一步提取属于人群个体的特征，所述注意力机制模块能使用包含人群个体特征的运算核与图片或视频帧的特征图进行运算，从而把属于人群个体的特征都提取出来，得到特征图。4.根据权利要求1所述的基于注意力的特征提取结构的密集人群运动追踪方法，其特征在于，在步骤S3中，通过把所述特征提取部分得到的特征图输入到所述注意力机制模块中，让所述特征图得到优化，进而能帮助模型更准确地识别人群个体的位置。5.根据权利要求1所述的基于注意力的特征提取结构的密集人群运动追踪方法，其特征在于，在步骤S3中，改进后的基本模型的操作流程为：首先，一张包含人群场景的视频帧被输入到模型的特征提取结构；然后特征提取结构把提取到的特征图输入到邻近运动并发算法部分中，从而把主要人群个体在一定时间内的运动轨迹都预测出来。6.根据权利要求1所述的基于注意力的特征提取结构的密集人群运动追踪方法，其特征在于，在步骤S3中，使用包含注意力机制模块和特征融合的特征提取结构进行特征提取，流程为：首先，一张包含人群场景的视...

【专利技术属性】
技术研发人员：黎俊良，张世雄，魏文应，陶键源，龙仕强，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：