一种行人跟踪系统及方法技术方案

本发明专利技术提供一种行人跟踪系统及方法，涉及计算机视觉技术领域。本申请确定多个视频帧中的第一帧包括目标对象的目标框；对于多个视频帧中的除了第一帧中的后续帧，根据所确定出的目标框确定出当前帧中包括目标对象的当前目标框；将当前目标框输入预训练好的VGG‑16网中，获取该图像中目标框的候选特征图；将候选特征图输入到预训练好的RPN网络中获得多个目标候选区域；通过不同大小的多个卷积核将多个目标候选区域的特征进行池化操作，获得针对目标对象的多个感兴趣区域；将多个感兴趣区域的特征进行全链接操作，区分目标和背景，获得的目标对象的多个跟踪仿射框；以及对多个跟踪仿射框进行非极大值抑制，得到当前帧的目标对象的跟踪结果。

【技术实现步骤摘要】
一种行人跟踪系统及方法
本专利技术涉及计算机视觉
，尤其涉及一种行人跟踪系统及方法。
技术介绍
行人跟踪技术即通过计算机视觉技术,对视频和图像中的画面进行行人目标的识别与跟踪。行人识别跟踪项目已经被许多国家列为重点研究项目,该项目被如此重视,是因为其技术超前且涉猎广泛:在国防军事领域，该技术可用于战场侦测、目标跟踪和精确制导等方面;在城市交通领域,该技术可用于智能交通、违章检测和无人驾驶等方面;在社会安全领域,该技术可用于人流量监测等。现有技术中公开了许多行人跟踪方法和装置。这些系统和方法中虽然使用了很多流行的神经网络技术，但是针对形变目标的准确定位没有特殊的解决方案。
技术实现思路
针对现有技术的不足，本专利技术提供一种行人跟踪系统及方法。本专利技术所采取的技术方案是：一方面，本专利技术提供一种行人跟踪系统，包括包括存储器和处理器；所述存储器用来存储有计算机可执行的指令；所述处理器用来执行所述可执行指令，确定多个视频帧中的第一帧包括目标对象的目标框；对于多个视频帧中的除了第一帧中的后续帧，根据所确定出的目标框确定出当前帧中包括目标对象的当前目标框；将当前目标框输入预训练好的VGG-16网中，获取该图像中目标框的候选特征图；将候选特征图输入到预训练好的RPN网络中获得多个目标候选区域；通过不同大小的多个卷积核将多个目标候选区域的特征进行池化操作，获得针对目标对象的多个感兴趣区域；将多个感兴趣区域的特征进行全链接操作，区分目标和背景，获得的目标对象的多个跟踪仿射框；以及对多个跟踪仿射框进行非极大值抑制，得到当前帧的目标对象的跟踪结果。另一方面，本专利技术还提供一种行人跟踪方法，采用上述的一种行人跟踪系统实现，该方法包括以下步骤：步骤1：确定出多个视频帧中的第一帧包括目标对象的目标框；步骤2：对于除第一帧的后续帧，根据所确定出的目标框确定出当前帧中包括所述目标对象的当前目标框；步骤3：将确定出的目标框调整成固定大小输入到预训练好的VGG-16网络中，获取所述当前帧中的目标框的候选特征图，设计损失函数。步骤4：将所述候选特征图输入到预训练好的RPN网络中获得多个目标候选区域；所述目标候选区域为当前帧中的目标对象存在的多个形状和位置同时存在的区域。步骤5：通过不同大小的多个卷积核将所述多个目标候选区域的特征进行池化操作，获得针对所述目标对象的多个感兴趣区域；所述多个不同大小的卷积核包括三个用于初略描述所述目标对象的不同形变的卷积核。步骤6：将所述多个感兴趣区域的特征进行全链接操作，区分目标和背景，将所述多个跟踪仿射框与参考目标框进行对比，得到交叠面积最大的仿射跟踪框，从而获得的所述目标对象的多个跟踪仿射框；步骤7：对所述多个跟踪仿射框进行非极大值抑制，得到所述当前帧的所述目标对象的跟踪结果；步骤8：判断当前图像下一帧的个数是否小于视频总帧数，如果否直接结束，如果是回到步骤2,进行下一帧图像的跟踪，直到所有视频的帧跟踪完毕。采用上述技术方案所产生的有益效果在于：本申请利用上一帧图像的仿射变换参数信息，对当前目标图像进行裁剪，缩小搜索范围，提高算法效率。另外，在池化操作时，应用不同大小、不同形状的卷积核，初步模拟目标的变形，有助于目标位置的更加准确提取。附图说明图1本专利技术实施例的使用计算机架构实现框图。图2为本专利技术实施例的的行人跟踪算法的流程图。图3为本专利技术实施例的流程示意性框图。图4为本专利技术实施例的水平NMS和仿射变换NMS效果对比图。图5为本专利技术实施例的跟踪结果图。图6为为本专利技术实施例的的VGG-16的网络结构。具体实施方式下面结合附图对本专利技术具体实施方式加以详细的说明。一方面，本专利技术提供一种行人跟踪系统，包括包括存储器和处理器；所述存储器用来存储有计算机可执行的指令；所述处理器用来执行所述可执行指令，确定多个视频帧中的第一帧包括目标对象的目标框；对于多个视频帧中的除了第一帧中的后续帧，根据所确定出的目标框确定出当前帧中包括目标对象的当前目标框；将当前目标框输入预训练好的VGG-16网中，获取该图像中目标框的候选特征图；将候选特征图输入到预训练好的RPN网络中获得多个目标候选区域；通过不同大小的多个卷积核将多个目标候选区域的特征进行池化操作，获得针对目标对象的多个感兴趣区域；将多个感兴趣区域的特征进行全链接操作，区分目标和背景，获得的目标对象的多个跟踪仿射框；以及对多个跟踪仿射框进行非极大值抑制，得到当前帧的目标对象的跟踪结果。如图1所示，其示出了适于用来实现本公开的实施例的电子系统600的结构示意图。图1示出的电子系统仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。如图1所示，电子系统600可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储装置608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子系统600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子系统600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携本文档来自技高网...

【技术保护点】
1.一种行人跟踪系统，其特征在于：包括存储器和处理器；/n所述存储器用来存储有计算机可执行的指令；/n所述处理器用来执行所述可执行指令，确定多个视频帧中的第一帧包括目标对象的目标框；对于多个视频帧中的除了第一帧中的后续帧，根据所确定出的目标框确定出当前帧中包括目标对象的当前目标框；将当前目标框输入预训练好的VGG-16网中，获取该图像中目标框的候选特征图；将候选特征图输入到预训练好的RPN网络中获得多个目标候选区域；通过不同大小的多个卷积核将多个目标候选区域的特征进行池化操作，获得针对目标对象的多个感兴趣区域；将多个感兴趣区域的特征进行全链接操作，区分目标和背景，获得的目标对象的多个跟踪仿射框；以及对多个跟踪仿射框进行非极大值抑制，得到当前帧的目标对象的跟踪结果。/n

【技术特征摘要】
1.一种行人跟踪系统，其特征在于：包括存储器和处理器；
所述存储器用来存储有计算机可执行的指令；
所述处理器用来执行所述可执行指令，确定多个视频帧中的第一帧包括目标对象的目标框；对于多个视频帧中的除了第一帧中的后续帧，根据所确定出的目标框确定出当前帧中包括目标对象的当前目标框；将当前目标框输入预训练好的VGG-16网中，获取该图像中目标框的候选特征图；将候选特征图输入到预训练好的RPN网络中获得多个目标候选区域；通过不同大小的多个卷积核将多个目标候选区域的特征进行池化操作，获得针对目标对象的多个感兴趣区域；将多个感兴趣区域的特征进行全链接操作，区分目标和背景，获得的目标对象的多个跟踪仿射框；以及对多个跟踪仿射框进行非极大值抑制，得到当前帧的目标对象的跟踪结果。


2.一种行人跟踪方法，通过权利要求1所述一种行人跟踪系统实现，其特征在于，包括以下步骤：
步骤1：确定出多个视频帧中的第一帧包括目标对象的目标框；
步骤2：对于除第一帧的后续帧，根据所确定出的目标框确定出当前帧中包括所述目标对象的当前目标框；
步骤3：将确定出的目标框调整成固定大小输入到预...

【专利技术属性】
技术研发人员：谢英红，李路，韩晓微，涂斌斌，李华，
申请(专利权)人：沈阳大学，
类型：发明
国别省市：辽宁;21