一种视频图像自动识别目标的编号一致性管理方法技术

本发明专利技术公开了一种视频图像自动识别目标的编号一致性管理方法，属于视频图像目标跟踪技术领域，包括以下步骤：S1：目标编号初始化；S2：帧间目标匹配；S3：目标集清洗；S4：输出有效目标；S5：多目标编号跟踪。本发明专利技术采用活力值表示目标的跟踪状态，非常方便的区别新增、漏检、虚警、遮挡等各种情况；保留足够帧数的目标缓存数据，使被遮挡的目标重新出现时，也能够重新识别到，并保留原编号；具有准确、高效的优良特性，非常适合实时处理应用，值得被推广使用。值得被推广使用。值得被推广使用。

【技术实现步骤摘要】
一种视频图像自动识别目标的编号一致性管理方法


[0001]本专利技术涉及视频图像目标跟踪
，具体涉及一种视频图像自动识别目标的编号一致性管理方法。

技术介绍

[0002]视频目标跟踪技术作为计算机视觉的重要研究方向，近年来受到广泛关注。视频目标跟踪指已知视频序列中目标的初始状态(如位置、大小、编号等)，在后续序列中对目标进行检测分析，获取目标的状态并进行标识。计算机在目标特征提取、目标检测等预处理的基础上对目标进行深入分析，实现对目标状态的理解。当前，目标跟踪技术的应用范围越来越广，在军事和民用上均有着重要的应用价值，如侦察监视、视频监控、智能交通等。
[0003]采用基于深度学习的神经网络智能目标识别方法能够实现视频图像序列中多类别、多目标的自动识别。自动目标识别结果中每个目标都有类别、位置、大小、置信度等信息。对目标进行编号一致性管理能够避免目标辨识的歧义，方便对识别目标进行连续跟踪识别，统计观测期间目标数量，对同一目标进行状态分析等。编号一致性管理要求每个目标都有唯一编号，同一目标在出现期间的编号保持不变。目标编号一致性管理是视频观测中的重要步骤。但是，多种因素影响目标编号一致性管理，主要有如下因素：(1)目标识别漏检；(2)目标识别虚警；(3)目标被遮挡；(4)目标进入视场；(5)目标离开视场等。这使得适应多种复杂情况的稳健的编号一致性管理算法非常有难度。为此，提出一种视频图像自动识别目标的编号一致性管理方法。

技术实现思路

[0004]本专利技术所要解决的技术问题在于：如何解决因目标识别漏检、虚警、遮挡、进入和离开视场等因素导致视频目标编号无法保持一致的问题，提供了一种视频图像自动识别目标的编号一致性管理方法，该方法采用了目标活力值判断、帧间目标位置匹配、基于FFT的图像相关性匹配等技术，突破了帧间目标编号一致性管理技术难题，保证了视频图像识别目标的连续跟踪。
[0005]本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：
[0006]S1：目标编号初始化
[0007]对第一帧图像经过目标识别之后的目标识别结果进行目标参数初始化，目标按照顺序从1开始编号，每个目标的活力值初始化为最大值；
[0008]S2：帧间目标匹配
[0009]将后续每帧图像新的目标识别结果与上一帧目标集进行匹配，匹配成功的目标更新编号，设置活力值为最大值；对前一帧中未匹配上的目标进行帧间跟踪检测，通过对前后帧图像中目标区域的图像进行基于FFT的图像相关性匹配，得到目标在当前帧中的准确位置，更新目标参数，递减活力值；对当前帧中未匹配上的目标进行匹配跟踪检测，遍历上一帧目标集中活力值小于0的目标，进行基于FFT的匹配跟踪检测；将匹配上的目标的活力值
设置为最大值，将原目标编号赋值给当前帧中的目标；对于未匹配上的目标，作为新目标，按顺序设置新编号和最大活力值，并添加到目标集中；
[0010]S3：目标集清洗
[0011]将活力值小于最小值的目标从目标集中删除，得到当前帧最终目标集；
[0012]S4：输出有效目标
[0013]将最终目标集中活力值大于0的目标输出；
[0014]S5：多目标编号跟踪
[0015]迭代执行步骤S2～S5，对连续视频的多目标编号进行跟踪。
[0016]更进一步地，在所述步骤S1中，目标参数包括编号、类别、位置、大小、置信度、活力值、目标区ROI(Region of Interest)图像，其中，目标按照顺序从1开始编号，类别、位置、大小、置信度从目标识别结果获取，目标区ROI图像根据目标位置从当前帧图像中提取。
[0017]更进一步地，在所述步骤S1中，活力值为判断该目标是否应该继续输出的依据，取值范围[-N，M]，其中，M、N均为正整数，M表示目标识别过程连续漏检的最大允许帧数，N表示目标活力值降到0后，没有连续识别/跟踪到的最大允许帧数；目标活力值每帧动态变化。
[0018]更进一步地，在所述步骤S2中，匹配时对上一帧目标集中活力值大于0的目标与当前帧识别的目标集中同类型的目标进行匹配。
[0019]更进一步地，匹配准则包括两种，分别为位置匹配和图像相关性匹配；
[0020]位置匹配的指标为目标范围矩形框的重叠率，表达式如下：
[0021][0022]其中，A为第一帧中的目标框位置，B为第二帧中的目标框位置，设置两个重叠率阈值T1和T2，T1<T2；若重叠率大于阈值T2，则判断前后帧两个目标为同一目标，更新目标为当前帧目标的大小；否则进行图像相关性匹配；
[0023]图像相关性匹配对前后帧两个目标进行基于FFT的图像相关性计算，若计算得到相关性大于阈值R，则判断为同一目标，根据重叠率范围，对输出目标的大小进行赋值；若相关性小于阈值R，则判断不是同一个目标。
[0024]更进一步地，在根据重叠率范围对输出目标的大小进行赋值时，当重叠率大于T1,则目标大小取前后帧两个目标大小的平均，当重叠率小于T1，则判断当前帧目标的大小不准确，继续采用前一帧的目标大小。
[0025]更进一步地，在所述步骤S3中，对匹配成功的目标更新编号的具体过程为：对于前一帧目标集中活力值大于0且能够在当前帧中找到正确匹配目标的目标，更新目标的位置、大小、置信度、目标区ROI图像，设置活力值保持为M，编号不变。
[0026]更进一步地，在所述步骤S3中，对前一帧中未匹配上的目标进行帧间跟踪检测的具体过程为：
[0027]S311：对前一帧中活力值大于0且在当前帧中没有正确匹配到的目标，与当前帧的对应区域进行相关计算；
[0028]S311：判断相关值与阈值C的大小关系，当相关值大于等于阈值C时，则判断得到当前帧识别结果出现漏检，上一帧中的该目标要持续保留，并更新到匹配的当前帧的新位置上，目标区ROI图像不更新，目标活力值递减1，当递减后的活力值仍大于0时，将目标输出，
当递减后的活力值小于等于0时，不再输出目标；当相关值小于阈值C时，判断得到上一帧目标在当前帧中没有再出现，不再更新目标区ROI图像，同时设置活力值为0。
[0029]更进一步地，在所述步骤S3中，对当前帧中未匹配上的目标进行匹配跟踪检测的具体过程为：
[0030]S321：对当前帧中每一个没有与前一帧正确配对的目标，遍历前一帧输出的活力值在[-N，0]范围内的所有目标，计算两者目标区ROI图像的匹配相关值；
[0031]S322：判断相关值与阈值C的大小关系，当相关值大于等于阈值C，则将当前帧中未正确配对的目标激活，重新出现并采用原编号，同时将活力值设置为最大值M；当相关值小于阈值C，则判断出现新目标，按照顺序给当前帧中未正确配对的目标分配新的编号，活力值设置为最大值M。
[0032]本专利技术相比现有技术具有以下优点：该视频图像自动识别目标的编号一致性管理方法，采用活力值表示目标的跟踪状态，非常方便的区别新增、漏检、虚警、遮挡等各种情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像自动识别目标的编号一致性管理方法，其特征在于，包括以下步骤：S1：目标编号初始化对第一帧图像经过目标识别之后的目标识别结果进行目标参数初始化，目标按照顺序从1开始编号，每个目标的活力值初始化为最大值；S2：帧间目标匹配将后续每帧图像新的目标识别结果与上一帧目标集进行匹配，匹配成功的目标更新编号，设置活力值为最大值；对前一帧中未匹配上的目标进行帧间跟踪检测，通过对前后帧图像中目标区域的图像进行基于FFT的图像相关性匹配，得到目标在当前帧中的准确位置，更新目标参数，递减目标活力值；对当前帧中未匹配上的目标进行匹配跟踪检测，遍历上一帧目标集中活力值小于0的目标，进行基于FFT的匹配跟踪检测；将匹配上的目标的活力值设置为最大值，将原目标编号赋值给当前帧中的目标；对于未匹配上的目标，作为新目标，按顺序设置新编号和最大活力值，并添加到目标集中；S3：目标集清洗将活力值小于最小值的目标从目标集中删除，得到当前帧最终目标集；S4：输出有效目标将最终目标集中活力值大于0的目标输出；S5：多目标编号跟踪迭代执行步骤S2～S5，对连续视频的多目标编号进行跟踪。2.根据权利要求1所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：在所述步骤S1中，目标参数包括编号、类别、位置、大小、置信度、活力值、目标区ROI图像，其中，目标按照顺序从1开始编号，类别、位置、大小、置信度从目标识别结果获取。3.根据权利要求2所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：在所述步骤S1中，活力值为判断该目标是否应该继续输出的依据，取值范围为[-N，M]，其中，M、N均为正整数，M表示目标识别过程连续漏检的最大允许帧数，N表示目标活力值降到0后，没有连续识别/跟踪到的最大允许帧数；目标活力值每帧动态变化。4.根据权利要求1所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：在所述步骤S2中，匹配时对上一帧目标集中活力值大于0的目标与当前帧识别的目标集中同类型的目标进行匹配。5.根据权利要求4所述的一种视频图像自动识别目标的编号一致性管理方法，其特征在于：匹配准则包括两种，分别为位置匹配和图像相关性匹配；位置匹配的指标为目标范围矩形框的重叠率，表达式如下：其中，A为第一帧中的目标框位置，B为第二帧中的目标框位置，设置两个重叠率阈值T1和T2，T1<T2；若重叠率大于阈值T2，则判断...

【专利技术属性】
技术研发人员：吴涛，常沛，高晶晶，童列树，许涛，孙晓晖，牛蕾，刘浩，陈曦，王蒙，张玉营，李玉景，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：