目标检测跟踪方法、装置、电子设备和存储介质制造方法及图纸

本申请提供一种目标检测跟踪方法、装置、电子设备和存储介质，涉及视频图像处理技术领域，该方法包括：获取目标视频，对目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，根据各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新，对目标模板集中的图像进行特征提取，得到图像特征集，根据目标视频中的第二类图像帧和图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。通过对目标视频中不同位置中的帧数进行分别处理，并在检测与跟踪的过程中实时地对目标模板集以及目标跟踪模型进行更新，能够准确地对目标视频中的多个目标进行实时的检测与跟踪。实时的检测与跟踪。实时的检测与跟踪。

【技术实现步骤摘要】
目标检测跟踪方法、装置、电子设备和存储介质


[0001]本申请涉及视频图像处理
，具体而言，涉及一种目标检测跟踪方法、装置、电子设备和存储介质。

技术介绍

[0002]随着经济和社会的不断发展，在视频图像的处理技术上，在对多种视频中的多种目标进行检测以及跟踪的处理时，例如在对交通信息视频中的车辆目标或者在对多种场合的监控视频中的行人目标进行检测以及跟踪时，由于近年来神经网络、机器学习等人工智能新技术的快速发展，已经由传统的过度依赖人和硬件设备这一特点，不断地向智能化和信息化的方向发展，基于人工智能的目标检测与跟踪技术成为目前研究的热点。
[0003]基于人工智能的目标检测与跟踪技术相比于传统的视频图像处理技术，它可模仿人的视觉功能对目标进行检测和跟踪，具备成本低、易安装、可维护性好等优点。当前主要有基于图像特征点的检测跟踪方法，基于光流的检测跟踪方法，基于神经网络的检测跟踪方法等，这些方法都有一定的局限性，无法兼顾准确性与实时性。

技术实现思路

[0004]有鉴于此，本申请实施例的目的在于提供一种目标检测跟踪方法、装置、电子设备和存储介质，以改善现有技术中存在的实时性与准确性无法兼容的问题。
[0005]为了解决上述问题，第一方面，本申请实施例提供了一种目标检测跟踪方法，所述方法包括：
[0006]获取目标视频；
[0007]对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标；
[0008]根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新；
[0009]对所述目标模板集中的图像进行特征提取，得到图像特征集；
[0010]根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。
[0011]在上述实现过程中，在获取到目标视频后对所述目标视频中的内容进行读取，对所述目标视频中的每一帧图像进行检测或者跟踪处理。将所述目标视频中的第一类图像帧进行检测处理，并根据检测后得到的各个第一类图像帧中包含的多个目标的目标信息对所述目标模板集进行更新，对更新后所述目标模板集进行图像特征的提取，提取得到所述图像特征集，根据所述图像特征集以及第二类图像帧对当前的目标跟踪模型进行训练，得到更新后的所述目标跟踪模型。其中，所述第一类图像帧和所述第二类图像帧分别处于所述目标视频中的不同帧数位置，通过对所述目标视频中的不同位置的帧数进行分别处理，能够对所述目标视频中的多个目标进行检测与跟踪，并在检测与跟踪的过程中实时地对所述目标模板集以及所述目标跟踪模型进行更新，提高检测与跟踪的准确性和实时性。
[0012]可选地，所述对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，包括：
[0013]对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，任一第一类图像帧对应的第一目标集中包括所述第一类图像帧中的一个或多个目标，其中所述第一类图像帧为所述目标视频中的第n帧，n对m取余结果为0的帧，m为预设整数值，所述第二类图像帧为所述目标视频中除所述第一类图像帧之外的图像帧；
[0014]针对每个第一目标集，将所述第一目标集中的第一目标与所述目标模板集中的各个目标模板进行对比，以确定出第一目标模板，所述第一目标为所述第一目标集中任意一个目标，所述目标模板集中包括一个或多个目标模板；
[0015]计算所述第一目标与所述第一目标模板的相似度。
[0016]在上述实现过程中，所述第一类图像帧为所述目标视频中的第n帧，由n对m进行取余处理，m为用户预先设置的整数值，由用户根据自身需求以及实际情况对m的大小进行选择，所述第一类图像帧的n对m的取余结果为0，所述第二类图像帧为所述目标视频中除去所述第一类图像帧的其他图像帧。在对各个所述第一类图像帧进行检测以确定各个所述第一类图像帧中包含的多个目标时，对各个所述第一类图像帧进行识别，识别后得到与所述各个第一类图像帧对应的所述第一目标集，其中，任一第一类图像帧对应的所述第一目标集中包含一个或多个所述第一类图像帧中的目标，在每一个所述第一目标集中任意选出一个目标第一目标，所述目标模板集中包含了一个或者多个目标模板，将所述第一目标与所述目标模板集中的各个目标模板进行轮流对比，确定出与所述第一目标的图像交并比最高的所述第一目标模板，并根据所述第一目标与所述第一目标模板包含的信息计算出两者的相似度。通过将所述第一类图像帧的目标集中的目标与所述目标模板集中的目标模板进行对比，确定出所述第一类图像帧中所包含的多个目标的目标信息。
[0017]可选地，所述计算所述第一目标与所述第一目标模板的相似度，包括：
[0018]根据所述第一目标与所述第一目标模板的运动矢量，计算出所述第一目标与所述第一目标模板的第一相似度；
[0019]根据所述第一目标与所述第一目标模板的直方图，计算出所述第一目标与所述第一目标模板的第二相似度；
[0020]根据所述第一相似度与所述第二相似度，计算出所述第一目标与所述第一目标模板的所述相似度。
[0021]在上述实现过程中，由所述第一目标和所述第一目标模板之间的运动矢量，以及所述第一目标模板的运动矢量，计算出所述第一目标与所述第一目标模板的第一相似度；对所述第一目标以及所述第一目标模板在图像中的占比进行计算，得到所述第一目标以及所述第一目标模板的直方图，并将所述第一目标以及所述第一目标模板的直方图归一化到相同的尺寸，根据归一化后的所述第一目标以及所述第一目标模板的直方图得到所述第一目标与所述第一目标模板的第二相似度；再根据所述第一相似度和所述第二相似度计算得到所述相似度，所述相似度为综合相似度，通过对所述第一目标和所述第一目标模板的运动矢量和直方图的计算，能够得到更加准确以及具有实时性的综合相似度。
[0022]可选地，所述对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，包括：
[0023]根据目标检测算法对所述各个第一类图像帧进行识别，以确定出所述各个第一类图像帧的识别结果，所述识别结果包括所述第一类图像中包含的至少一个目标，以及所述至少一个目标对应的置信度；
[0024]根据所述各个第一类图像帧的识别结果，构建所述各个第一类图像帧对应的第一目标集。
[0025]在上述实现过程中，所述各个第一类图像帧对应的第一目标集中包含了多个目标以及目标对应的置信度数据，根据目标检测算法对各个所述第一类图像帧进行识别，识别出各个所述第一类图像帧中包含的至少一个目标以及所述至少一个目标对应的置信度，作为所述第一类图像帧的识别结果，根据各个第一类图像帧的识别结果，将获取到的各个目标以及各个目标对应的置信度进行结合，构建出所述第一目标集。通过构建所述第一目标集将所述第一类图像帧中的多个目标以及目标置信度信息进行收集，以便进行计算。
[0026]所述根据所述各个第一类图像帧中包含的目标的目标信息对目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测跟踪方法，其特征在于，所述方法包括：获取目标视频；对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标；根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新；对所述目标模板集中的图像进行特征提取，得到图像特征集；根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。2.根据权利要求1所述的方法，其特征在于，所述对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，包括：对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，任一第一类图像帧对应的第一目标集中包括所述第一类图像帧中的一个或多个目标，其中所述第一类图像帧为所述目标视频中的第n帧，n对m取余结果为0的帧，m为预设整数值，所述第二类图像帧为所述目标视频中除所述第一类图像帧之外的图像帧；针对每个第一目标集，将所述第一目标集中的第一目标与所述目标模板集中的各个目标模板进行对比，以确定出第一目标模板，所述第一目标为所述第一目标集中任意一个目标，所述目标模板集中包括一个或多个目标模板；计算所述第一目标与所述第一目标模板的相似度。3.根据权利要求2所述的方法，其特征在于，所述计算所述第一目标与所述第一目标模板的相似度，包括：根据所述第一目标与所述第一目标模板的运动矢量，计算出所述第一目标与所述第一目标模板的第一相似度；根据所述第一目标与所述第一目标模板的直方图，计算出所述第一目标与所述第一目标模板的第二相似度；根据所述第一相似度与所述第二相似度，计算出所述第一目标与所述第一目标模板的所述相似度。4.根据权利要求2所述的方法，其特征在于，所述对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，包括：根据目标检测算法对所述各个第一类图像帧进行识别，以确定出所述各个第一类图像帧的识别结果，所述识别结果包括所述第一类图像帧中包含的至少一个目标，以及所述至少一个目标对应的置信度；根据所述各个第一类图像帧的识别结果，构建所述各个第一类图像帧对应的第一目标集。5.根据权利要求4所述的方法，其特征在于，所述根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新，包括：当所述第一目标与所述第一目标模板的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判...

【专利技术属性】
技术研发人员：程晓明，陈林，钱林波，杨涛，周娇，侯佳，李旭，
申请(专利权)人：南京市城市与交通规划设计研究院股份有限公司，
类型：发明
国别省市：