目标跟踪方法及装置制造方法及图纸

本申请提供的目标跟踪方法及装置，通过选取待跟踪图像中的一帧图像作为模板帧，其中模板帧中包含跟踪目标。通过基于特征金字塔网络的孪生神经网络提取模板帧中跟踪目标的第一特征和待跟踪图像中其他图像的第二特征。通过区域推荐网络的分类分支识别出待跟踪图像中的背景图片，通过区域推荐网络中的回归分支确定跟踪目标在该待跟踪图像的跟踪目标的精确位置。本申请中的孪生网络作为特征提取网络，获取融合底层和高层特征的特征图，保证了获取的特征图既有底层特征的准确性和又有高层特征的鲁棒性。通过区域推荐网络的分类分支获得跟踪目标大致位置，通过回归分支确定所述跟踪目标的精确位置，进而获得更加精确的目标位置。

【技术实现步骤摘要】
目标跟踪方法及装置
本申请涉及图像识别领域，具体而言，涉及一种目标跟踪方法及装置。
技术介绍
图像跟踪一直都是计算机视觉领域的难题，事先知道第一帧中的目标位置，然后需要在后续帧中找到目标。由于先验知识少、目标被遮挡、目标消失、运动模糊、目标和环境的剧烈变化、目标的高速运动或者相机的抖动都会对目标跟踪造成影响，因此图像跟踪一直都是计算机视觉领域的难题。传统的方法是使用模板图在待识别图中进行对比，输出的响应图，相当于每个位置和模板帧的相似度。但这种方法通过多尺度测试来预测尺度的变化，这里会降低识别速度，输出的响应图的分辨率比较低，输出预测的位置精度差。
技术实现思路
为了克服现有技术中的上述不足，本申请的目的在于提供一种目标跟踪方法，应用于图像处理设备，所述图像处理设备预设有神经网络模型，所述神经网络模型包括孪生神经网络和区域推荐网络，所述孪生神经网络包括特征金字塔网络，所述方法包括：获取待跟踪视频，并将所述跟踪视频中标记有跟踪目标的一帧图像作为模板图像；通过所述特征金字塔网络学习所述模板图像获得模板特征图像；将所述待跟踪视频作为检测图像；依次选取所述检测图像中的一张图像作为目标检测图像；针对每个所述目标检测图像，通过所述金字塔网络学习该目标检测图像获得检测特征图像；通过所述区域推荐网络学习所述模板特征图像和检测特征图像获得所述检测图像中所述跟踪目标的分类概率和所述跟踪目标的位置信息，根据所述分类概率和位置信息在所述目标检测图像中标记出跟踪目标。可选地，所述区域推荐网络包括分类网络、回归网络和全连接层；所述通过所述区域推荐网络学习所述模板特征图像和检测特征图像获得所述检测图像中所述跟踪目标的分类概率和所述跟踪目标的位置信息，根据所述分类概率和位置信息在所述目标检测图像中标记出跟踪目标的步骤包括：通过所述分类网络学习所述模板特征图像和检测特征图像获得所述跟踪目标分类概率，进而确定所述跟踪目标的大致位置；通过所述回归网络学习所述模板特征图像和检测特征图像获得所述跟踪目标的多个标记框以及所述标记框的置信度，所述置信度表示所述标记框标记的目标为所述跟踪目标的概率；根据所述跟踪目标的大致位置和所述多个标记框的置信度确定所述跟踪目标在所述检测图像中的精确位置。可选地，所述分类网络包括第一特征提取分支、第一搜索分支和全连接层，所述第一特征提取分支包括第一特征层；通过所述分类网络学习所述模板特征图像和检测特征图像获得所述跟踪目标分类概率，进而确定所述跟踪目标的大致位置的步骤包括：通过所述第一特征层学习所述模板特征图像获得预设数量的第一索引特征图像；将所述第一索引特征图像作为滤波器，通过所述第一搜索分支根据所述滤波器在所述检测特征图像中进行搜索进而获得所述第一跟踪特征；通过所述全连接层学习所述第一跟踪特征，分辨出所述目标检测图像前景和背景，进而获得所述跟踪目标的大致位置。可选地，所述回归网络包括第二特征提取分支、第二搜索分支和全连接层，所述第二特征提取分支包括第二特征层，所述通过所述回归网络学习所述模板特征图像和检测特征图像获得所述跟踪目标的多个标记框以及所述标记框的置信度的步骤包括：通过所述第二特征层学习所述模板特征图像获得预设数量的第二索引特征图像；将所述第二索引特征图像作为滤波器，通过所述第二搜索分支根据所述滤波器在所述检测特征图像中进行搜索进而获得所述第二跟踪特征；通过所述全连接层学习所述第二跟踪特征，获得所述跟踪目标的多个标记框以及所述标记框的置信度。可选地，所述根据所述跟踪目标的大致位置和所述多个标记框的置信度确定所述跟踪目标在所述检测图像中的精确位置的步骤包括：根据所述标记框的置信度，通过非极大值抑制算法确定所述跟踪目标在所述目标检测图像中的精确位置。本申请的另目的在于提供一种目标跟踪装置，应用于图像处理设备，所述图像处理设备预设有神经网络模型，所述神经网络模型包括孪生神经网络和区域推荐网络，所述孪生神经网络包括特征金字塔网络；所述图像处理设备包括模板图像获取模块、第一特征模块、检测图像获取模块、第二特征模块和标记模块；所述模板图像获取模块用于获取待跟踪视频，并将所述跟踪视频中标记有跟踪目标的一帧图像作为模板图像；所述第一特征模块用于通过所述特征金字塔网络学习所述模板图像获得模板特征图像；所述检测图像获取模块用于将所述待跟踪视频中所述模板图像之后的图像作为检测图像；根据时间顺序依次选取所述检测图像中的一张图像作为目标检测图像；所述第二特征模块用于针对每个所述目标检测图像，通过所述金字塔网络学习该目标检测图像获得检测特征图像；所述标记模块用于通过所述区域推荐网络学习所述模板特征图像和检测特征图像获得所述检测图像中所述跟踪目标的分类概率和所述跟踪目标的位置信息，根据所述分类概率和位置信息在所述目标检测图像中标记出跟踪目标。可选地，所述区域推荐网络包括分类网络、回归网络和全连接层，所述标记模块通过以下方式对所述跟踪目标进行标记：通过所述分类网络学习所述模板特征图像和检测特征图像获得所述跟踪目标分类概率，进而确定所述跟踪目标的大致位置；通过所述回归网络学习所述模板特征图像和检测特征图像获得所述跟踪目标的多个标记框以及所述标记框的置信度，所述置信度表示所述标记框标记的目标为所述跟踪目标的概率；根据所述跟踪目标的大致位置和所述多个标记框的置信度确定所述跟踪目标在所述检测图像中的精确位置。可选地，所述分类网络包括第一特征提取分支、第一搜索分支和全连接层，所述第一特征提取分支包括第一特征层；所述标记模块通过以下方式获得所述跟踪目标的大致位置：通过所述第一特征层学习所述模板特征图像获得预设数量的第一索引特征图像；将所述第一索引特征图像作为滤波器，通过所述第一搜索分支根据所述滤波器在所述检测特征图像中进行搜索进而获得所述第一跟踪特征；通过所述全连接层学习所述第一跟踪特征，分辨出所述目标检测图像前景和背景，进而获得所述跟踪目标的大致位置。可选地，所述回归网络包括第二特征提取分支和第二搜索分支，所述第二特征提取分支包括第二特征层；所述标记模块通过以下方式获得所述跟踪目标的多个标记框以及所述标记框的置信度：通过所述第二特征层学习所述模板特征图像获得预设数量的第二索引特征图像；将所述第二索引特征图像作为滤波器，通过所述第二搜索分支根据所述滤波器在所述检测特征图像中进行搜索进而获得所述第二跟踪特征；通过所述全连接层学习所述第二跟踪特征，获得所述跟踪目标的多个标记框以及所述标记框的置信度。可选地，所述标记模块通过以下方式确定所述跟踪目标在所述目标检测图像中的精确位置：根据所述标记框的置信度，通过非极大值抑制算法确定所述跟踪目标在所述目标检测图像中的精确位置。相对于现有技术而言，本申请具有以下有益效果：本申请提供的目标跟踪方法及装置，通过选取待跟踪本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，应用于图像处理设备，所述图像处理设备预设有神经网络模型，所述神经网络模型包括孪生神经网络和区域推荐网络，所述孪生神经网络包括特征金字塔网络，所述方法包括：/n获取待跟踪视频，并将所述跟踪视频中标记有跟踪目标的一帧图像作为模板图像；/n通过所述特征金字塔网络学习所述模板图像获得模板特征图像；/n将所述待跟踪视频作为检测图像；依次选取所述检测图像中的一张图像作为目标检测图像；/n针对每个所述目标检测图像，通过所述金字塔网络学习该目标检测图像获得检测特征图像；/n通过所述区域推荐网络学习所述模板特征图像和检测特征图像获得所述检测图像中所述跟踪目标的分类概率和所述跟踪目标的位置信息，根据所述分类概率和位置信息在所述目标检测图像中标记出跟踪目标。/n

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，应用于图像处理设备，所述图像处理设备预设有神经网络模型，所述神经网络模型包括孪生神经网络和区域推荐网络，所述孪生神经网络包括特征金字塔网络，所述方法包括：
获取待跟踪视频，并将所述跟踪视频中标记有跟踪目标的一帧图像作为模板图像；
通过所述特征金字塔网络学习所述模板图像获得模板特征图像；
将所述待跟踪视频作为检测图像；依次选取所述检测图像中的一张图像作为目标检测图像；
针对每个所述目标检测图像，通过所述金字塔网络学习该目标检测图像获得检测特征图像；
通过所述区域推荐网络学习所述模板特征图像和检测特征图像获得所述检测图像中所述跟踪目标的分类概率和所述跟踪目标的位置信息，根据所述分类概率和位置信息在所述目标检测图像中标记出跟踪目标。


2.根据权利要求1所述的目标跟踪方法，其特征在于，所述区域推荐网络包括分类网络和回归网络；所述通过所述区域推荐网络学习所述模板特征图像和检测特征图像获得所述检测图像中所述跟踪目标的分类概率和所述跟踪目标的位置信息，根据所述分类概率和位置信息在所述目标检测图像中标记出跟踪目标的步骤包括：
通过所述分类网络学习所述模板特征图像和检测特征图像获得所述跟踪目标分类概率，进而确定所述跟踪目标的大致位置；
通过所述回归网络学习所述模板特征图像和检测特征图像获得所述跟踪目标的多个标记框以及所述标记框的置信度，所述置信度表示所述标记框标记的目标为所述跟踪目标的概率；
根据所述跟踪目标的大致位置和所述多个标记框的置信度确定所述跟踪目标在所述检测图像中的精确位置。


3.根据权利要求2所述的目标跟踪方法，其特征在于，所述分类网络包括第一特征提取分支、第一搜索分支和全连接层，所述第一特征提取分支包括第一特征层；通过所述分类网络学习所述模板特征图像和检测特征图像获得所述跟踪目标分类概率，进而确定所述跟踪目标的大致位置的步骤包括：
通过所述第一特征层学习所述模板特征图像获得预设数量的第一索引特征图像；
将所述第一索引特征图像作为滤波器，通过所述第一搜索分支根据所述滤波器在所述检测特征图像中进行搜索进而获得第一跟踪特征；
通过所述全连接层学习所述第一跟踪特征，分辨出所述目标检测图像前景和背景，进而获得所述跟踪目标的大致位置。


4.根据权利要求2所述的目标跟踪方法，其特征在于，所述回归网络包括第二特征提取分支、第二搜索分支和全连接层，所述第二特征提取分支包括第二特征层，所述通过所述回归网络学习所述模板特征图像和检测特征图像获得所述跟踪目标的多个标记框以及所述标记框的置信度的步骤包括：
通过所述第二特征层学习所述模板特征图像获得预设数量的第二索引特征图像；
将所述第二索引特征图像作为滤波器，通过所述第二搜索分支根据所述滤波器在所述检测特征图像中进行搜索进而获得第二跟踪特征；
通过所述全连接层学习所述第二跟踪特征，获得所述跟踪目标的多个标记框以及所述标记框的置信度。


5.根据权利要求4所述的目标跟踪方法，其特征在于，所述根据所述跟踪目标的大致位置和所述多个标记框的置信度确定所述跟踪目标在所述检测图像中的精确位置的步骤包括：
根据所述标记框的置信度，通过非极大值抑制算法确定所述跟踪目标在所述目标...

【专利技术属性】
技术研发人员：张顺丰，陈志超，毛河，周彬，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川;51