视频目标跟踪的方法和装置制造方法及图纸

本发明专利技术涉及一种视频目标跟踪的方法和装置，包括：获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；对第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库；在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据第二人脸特征和所述特征库将当前待跟踪目标与第一待跟踪目标进行特征匹配，以从第一视频帧开始跟踪第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新特征库，提高跟踪的连续性和鲁棒性。

【技术实现步骤摘要】
视频目标跟踪的方法和装置
本专利技术涉及计算机
，特别是涉及一种视频目标跟踪的方法和装置。
技术介绍
目标跟踪技术随着计算机技术的发展已经日臻完善和成熟，一直以来都是计算机视觉、图像处理领域的热点，被广泛应用在智能监控、智能交通、视觉导航、人机交互、国防侦察等领域。传统的目标跟踪算法通常使用一种或数种简单的传统特征匹配算法来区分目标，如利用图像本身的颜色、形状特征等，对目标人物的遮盖、转向、光照比较敏感，在人体目标跟踪场景下表现不佳。
技术实现思路
基于此，有必要针对上述技术问题，提供一种视频目标跟踪的方法和装置，提高跟踪的连续性和鲁棒性。一种视频目标跟踪的方法，所述方法包括：获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库；在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新所述特征库。一种视频目标跟踪的装置，所述装置包括：检测模块，用于获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；人脸特征提取模块，用于对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库；所述检测模块还用于在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标；所述人脸特征提取模块还用于对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征；跟踪模块，用于根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标；学习模块，用于在跟踪过程中根据提取的更新的人脸特征更新所述特征库。上述视频目标跟踪的方法和装置，通过获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标，对第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库，在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据第二人脸特征和所述特征库将当前待跟踪目标与第一待跟踪目标进行特征匹配，以从第一视频帧开始跟踪第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新特征库，通过引用基于深度神经网络的人脸特征进行特征匹配，可解决传统的目标跟踪算法由于没有较好的利用人脸特征，频繁出现跟错、跟偏和跟丢后无法重新正确找回目标的问题，特征库在跟踪过程中不断更新，可保存待跟踪目标在不同状态下对应的不同人脸特征，从而提高人脸特征匹配的成功率，减小目标跟踪过程对目标的变化、倾斜、遮盖、光照变化的敏感度，提高跟踪的连续性和鲁棒性。附图说明图1为一个实施例中视频目标跟踪的方法的应用环境图；图2为一个实施例中图1中终端的内部结构图；图3为一个实施例中图1中服务器的内部结构图；图4为一个实施例中视频目标跟踪的方法的流程图；图5为一个实施例中得到当前待跟踪目标的流程图；图6为一个实施例中更新特征库的流程图；图7为一个实施例中本文视频目标跟踪算法与传统模板匹配算法匹配对比示意图；图8为另一个实施例中得到当前待跟踪目标的流程图；图9为一个实施例中视频目标跟踪方法对应的目标跟踪系统示意图；图10为一个具体的实施例中本文视频目标跟踪算法得到的视频跟踪结果示意图；图11为一个具体的实施例中传统TLD跟踪算法得到的视频跟踪结果示意图；图12为一个实施例中视频目标跟踪的装置的结构框图；图13为另一个实施例中视频目标跟踪的装置的结构框图；图14为一个实施例中检测模块的结构框图。具体实施方式图1为一个实施例中视频目标跟踪的方法运行的应用环境图。如图1所示，该应用环境包括终端110、服务器120、视频采集装置130，其中终端110、服务器120、视频采集装置130通过网络进行通信。终端110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。视频采集装置130可为摄像头，布置在大楼进门处等位置。视频采集装置130可将采集的视频流发送至终端110或服务器120，终端110或服务器120可对视频流进行目标跟踪，视频采集装置130也可直接对视频流进行目标跟踪，并将跟踪结果发送至终端110显示。在一个实施例中，图1中的终端110的内部结构如图2所示，该终端110包括通过系统总线连接的处理器、图形处理单元、存储介质、内存、网络接口、显示屏幕和输入设备。其中，终端110的存储介质存储有操作系统，还包括第一视频目标跟踪的装置，该装置用于实现一种适用于终端的视频目标跟踪的方法。该处理器用于提供计算和控制能力，支撑整个终端110的运行。终端110中的图形处理单元用于至少提供显示界面的绘制能力，内存为存储介质中的第一视频目标跟踪的装置的运行提供环境，网络接口用于与视频采集装置130进行网络通信，如接收视频采集装置130采集的视频流等。显示屏幕用于显示跟踪结果等，输入设备用于接收用户输入的命令或数据等。对于带触摸屏的终端110，显示屏幕和输入设备可为触摸屏。图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。在一个实施例中，图1中服务器120的内部结构如图3所示，该服务器120包括通过系统总线连接的处理器、存储介质、内存和网络接口。其中，该服务器120的存储介质存储有操作系统、数据库、第二视频目标跟踪的装置，数据库用于存储数据，第二视频目标跟踪的装置用于实现一种适用于服务器120的视频目标跟踪的方法。该服务器120的处理器用于提供计算和控制能力，支撑整个服务器120的运行。该服务器120的内存为存储介质中的第二视频目标跟踪的装置的运行提供环境。该服务器120的网络接口用于与外部的视频采集装置130通过网络连接通信，比如接收视频采集装置130发送的视频流等。如图4所示，在一个实施例中，提供了一种视频目标跟踪的方法，以应用于上述应用环境中的终端、服务器或视频采集装置，包括如下步骤：步骤S210，获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标。具体的，视频流由分布在入口处的视频采集装置采集得到，如果视频目标跟踪的方法应用于视频采集装置，则可直接从视频采集装置的存储器中获得到视频流。如果视频目标跟踪的方法应用于终端或服务器，则视频采集装置可实时将视频流发送至终端或服务器。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是，则返回人脸的位置、大小和姿态，可通过推荐框的方式显示人脸区域，得到第一视频帧对应的第一待跟踪目标。通过不断的对视频流进行人脸检测，直到检测到有人脸出现，人脸区域为第一待跟踪目标。由于一帧中可能检测到多个人脸，第一待跟踪目标可能为多本文档来自技高网...

【技术保护点】
一种视频目标跟踪的方法，所述方法包括：获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库；在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新所述特征库。

【技术特征摘要】
1.一种视频目标跟踪的方法，所述方法包括：获取视频流，根据人脸检测算法识别人脸区域，得到第一视频帧对应的第一待跟踪目标；对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库；在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标，对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所述第一待跟踪目标，在跟踪过程中根据提取的更新的人脸特征更新所述特征库。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第一待跟踪目标的人脸状态通过人脸识别算法识别得到对应的人脸身份信息，根据图像特征提取算法得到所述人脸身份信息对应的目标特征；所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：判断当前视频帧根据人脸检测算法是否识别到人脸区域，如果没有识别到人脸区域，则根据图像特征提取算法获取当前帧对应的当前图像特征；将所述当前图像特征与所述目标特征对比得到匹配的目标人脸身份信息；根据所述目标人脸身份信息得到当前视频帧对应的当前待跟踪目标。3.根据权利要求1所述的方法，其特征在于，所述对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库的步骤包括：获取第一待跟踪目标对应的第一人脸身份信息；建立所述第一人脸身份信息对应的第一人脸特征集合，将所述第一人脸特征加入所述第一人脸特征集合并存储至特征库；所述在跟踪过程中根据提取的更新的人脸特征更新所述特征库的步骤包括：获取当前待跟踪目标对应的当前人脸身份信息；从所述特征库获取所述当前人脸身份信息对应的第一人脸特征集合；计算所述第一人脸特征集合中的人脸特征与所述第二人脸特征的差异量，如果所述差异量超过预设阈值，则在所述第一人脸特征集合中增加所述第二人脸特征。4.根据权利要求1所述的方法，其特征在于，所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：基于归一化的像素差异特征和人体半身识别算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标。5.根据权利要求1所述的方法，其特征在于，所述在当前视频帧根据人脸检测算法识别人脸区域，得到当前视频帧对应的当前待跟踪目标的步骤包括：基于归一化的像素差异特征识别人脸区域，在当前视频帧得到第一推荐区域；根据光流分析算法计算得到所述第一待跟踪目标在当前视频帧对应的第二推荐区域；根据所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标的步骤包括：根据帧间相关性进行运动预测得到预期运动范围，根据所述预期运动范围筛选所述第一推荐区域和所述第二推荐区域得到所述当前待跟踪目标。7.根据权利要求1至6任一项所述的方法，其特征在于，所述深度神经网络的网络结构为11层网络层，包括堆栈式的卷积神积网络和完全连接层，所述堆栈式的卷积神积网络由多个卷积层和maxpol层组成，具体网络结构为：conv3-64*2+LRN+maxpoolconv3-128+maxpoolconv3-256*2+maxpoolconv3-512*2+maxpoolconv3-512*2+maxpoolFC2048FC1024，其中con3表示半径为3的卷积层，LRN表示LRN层，maxpool表示maxpool层，FC表示完全连接层。8.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述第一待跟踪目标通过基于深度神经网络的人脸特征提取得到第一人脸特征加入特征库的步骤包括：对所述第一待跟踪目标通过深度神经网络进行人脸特征提取得到第一特征矢量；所述对所述当前待跟踪目标通过基于深度神经网络的人脸特征提取得到第二人脸特征，根据所述第二人脸特征和所述特征库将所述当前待跟踪目标与第一待跟踪目标进行特征匹配，以从所述第一视频帧开始跟踪所...

【专利技术属性】
技术研发人员：余三思，
申请(专利权)人：腾讯科技上海有限公司，
类型：发明
国别省市：上海,31