滞留目标的检测方法、装置及存储介质制造方法及图纸

本申请提供一种滞留目标的检测方法及相关设备，可以有效对短时间消失目标和长时间消失目标的滞留进行判断。该方法包括：确定当前图像帧所对应的行人检测结果；根据行人检测结果确定当前图像帧中每个目标所对应的外观特征和运动特征；根据外观特征以及运动特征确定当前图像帧所对应的第一最终代价矩阵；根据第一最终代价矩阵与N个图像帧所对应的第二最终代价矩阵确定当前图像帧所对应的匹配结果，N个图像帧为所述当前图像帧之前的图像帧，N为大于或等于2的整数；根据当前图像帧的匹配结果更新所述当前图像帧所对应的跟踪目标的状态信息；根据当前图像帧所对应的跟踪目标的状态信息确定当前图像帧是否存在滞留目标。态信息确定当前图像帧是否存在滞留目标。态信息确定当前图像帧是否存在滞留目标。

【技术实现步骤摘要】
滞留目标的检测方法、装置及存储介质


[0001]本申请属于图像处理领域，特别涉及一种滞留目标的检测方法、装置及存储介质。

技术介绍

[0002]最近几年，视频监控系统应用到了许多行业，比如在车站、超市、银行、居民小区、学校等公共场所都安装了视频监控设备，并通过摄像头监控场景。然而由工作人员查看摄像头监控场景不但耗费人力财力和物力，而且在监控过程中也可能出现误监测和漏检测，所以用AI代替人监控场景的智能视频监控系统应运而生，并且受到越来越多的人重视，特别是在公共场所，例如车站、机场以及商场等人口密集的场所，存在很大的安全隐患，需要进行实时监测。由于存在这样的需求，所以针对人员滞留的智能检测系统应运而生，在人口密集的场所一旦有人员诸如老人，小孩或残障人士因为种种原因滞留在人流少的地方，没有及时被发现可能会造成严重的生命安全，而传统的人工检测又有上述的种种问题，所以智能人员滞留检测系统有极大的现实研究和应用价值。
[0003]为了开发智能人员滞留检测系统，多目标跟踪方法被广泛地部署在这些平台上。当前的多目标跟踪方法主要分为基于检测的方法，以及基于查询的方法。
[0004]基于检测的方法主要通过将输入的视频帧，首先进行目标检测获取行人检测框，通过特征提取网络获取每一个检测框的外观特征，然后预测之前跟踪目标在当前时刻的位置，通过关联算法将跟踪目标与检测框匹配，匹配成功的跟踪目标更新属性。
[0005]目前现有的方法对于基本只会处理短时间遮挡(<5s)对跟踪的影响，但在行人滞留检测等实际项目的应用时需要考虑到更长时间的消失对跟踪的影响，从而在实际应用中难以满足需求。

技术实现思路

[0006]本申请提供一种滞留目标的检测方法、装置及存储介质，可以有效对短时间消失目标和长时间消失目标的滞留进行判断。
[0007]本申请第一方面提供了一种滞留目标的检测方法，包括：
[0008]确定当前图像帧所对应的行人检测结果，所述当前图像帧为目标视频中的任意一图像帧；
[0009]根据所述行人检测结果确定所述当前图像帧中每个目标所对应的外观特征和运动特征；
[0010]根据所述外观特征以及所述运动特征确定所述当前图像帧所对应的第一最终代价矩阵；
[0011]根据所述第一最终代价矩阵与N个图像帧所对应的第二最终代价矩阵确定所述当前图像帧所对应的匹配结果，所述N个图像帧为所述当前图像帧之前的图像帧，所述N为大于或等于2的整数；
[0012]根据所述当前图像帧的匹配结果更新所述当前图像帧所对应的跟踪目标的状态
信息；
[0013]根据所述当前图像帧所对应的跟踪目标的状态信息确定所述当前图像帧是否存在滞留目标。
[0014]本申请第二方面一种滞留目标的检测装置，包括：
[0015]确定单元，用于确定当前图像帧所对应的行人检测结果，所述当前图像帧为目标视频中的任意一图像帧；
[0016]特征提取单元，用于根据所述行人检测结果确定所述当前图像帧中每个目标所对应的外观特征和运动特征；
[0017]代价矩阵确定单元，用于根据所述外观特征以及所述运动特征确定所述当前图像帧所对应的第一最终代价矩阵；
[0018]匹配单元，用于根据所述第一最终代价矩阵与N个图像帧所对应的第二最终代价矩阵确定所述当前图像帧所对应的匹配结果，所述N个图像帧为所述当前图像帧之前的图像帧，所述N为大于或等于2的整数；
[0019]更新单元，用于根据所述当前图像帧的匹配结果更新所述当前图像帧所对应的跟踪目标的状态信息；
[0020]判断单元，用于根据所述当前图像帧所对应的跟踪目标的状态信息确定所述当前图像帧是否存在滞留目标。
[0021]本申请实施例第三方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的滞留目标的检测方法的步骤。
[0022]本申请实施例第四方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述任一方面所述的滞留目标的检测方法的步骤。
[0023]相对于相关技术，本申请提供的实施例中，对给定视频进行多个目标的跟踪，通过检测器检测行人，在通过计算由运动特征的马氏距离和外观特征的余弦距离来获得代价矩阵，根据代价矩阵使用级联匹配和匈牙利匹配来获取匹配结果，从而判定跟踪目标是否滞留。由此，可以有效对短时间消失目标和长时间消失目标的滞留进行判断。
【附图说明】
[0024]图1为本申请实施例提供的滞留目标的检测方法的流程示意图；
[0025]图2为本申请实施例提供的状态转移矩阵的示意图；
[0026]图3为本申请实施例提供的滞留目标的检测装置的虚拟结构示意图；
[0027]图4为本申请实施例提供的服务器的硬件结构示意图。
【具体实施方式】
[0028]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
[0029]下面从滞留目标的检测装置的角度对滞留目标的检测方法的进行说明，该滞留目标的检测装置可以为服务器，也可以为服务器中的服务单元，具体不做限定。
[0030]请结合参阅图1，图1为本申请实施例提供的滞留目标的检测方法的流程示意图，
包括：
[0031]101、确定当前图像帧所对应的行人检测结果。
[0032]本实施例中，滞留目标的检测装置可以首先获取一个未修剪的目标视频V＝{v1,v2,...,v
n
}，其中v
i
(i＝1,2,...,n)为目标视频中的第i个图像帧，之后，可以获取当前图像帧所对应的行人检测结果。对于给定未修剪的目标视频，使用yolov5检测器获取当前图像帧所对应的行人检测框结果，定义一帧的行人检测结果为D＝{d1,d2,d3,......,d
i
}d
i
为其中一个检测结果，且d
i
＝(x1,y1,x2,y2)，(x,y)为检测框左上角和右下角的坐标；为了方便获取运动信息，通过计算将其表示为d
i
＝(x,y,a,h)，其中(x,y)表示检测框的中心坐标，a表示坐标框长宽比的值，h表示为坐标框高度。
[0033]102、根据行人检测结果确定当前图像帧中每个目标所对应的外观特征和运动特征。
[0034]本实施例中，滞留目标的检测装置在确定当前帧所对应的行人检测结果之后，可以根据行人检测结果确定当前图像帧中每个目标所对应的外观特征和运动特征。下面进行具体说明：
[0035]根据行人重识别网络提取当前图像帧中每个目标所对应的外观特征，行人重识别网络为预先通过对训练数据集进行训练得到的，行人重识别网络用于识别图像的外观特征；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种滞留目标的检测方法，其特征在于，包括：确定当前图像帧所对应的行人检测结果，所述当前图像帧为目标视频中的任意一图像帧；根据所述行人检测结果确定所述当前图像帧中每个目标所对应的外观特征和运动特征；根据所述外观特征以及所述运动特征确定所述当前图像帧所对应的第一最终代价矩阵；根据所述第一最终代价矩阵与N个图像帧所对应的第二最终代价矩阵确定所述当前图像帧所对应的匹配结果，所述N个图像帧为所述当前图像帧之前的图像帧，所述N为大于或等于2的整数；根据所述当前图像帧的匹配结果更新所述当前图像帧所对应的跟踪目标的状态信息；根据所述当前图像帧所对应的跟踪目标的状态信息确定所述当前图像帧是否存在滞留目标。2.根据权利要求1所述的方法，其特征在于，所述根据所述行人检测结果确定所述当前图像帧中每个目标所对应的外观特征和运动特征包括：根据行人重识别网络提取所述当前图像帧中每个目标所对应的外观特征，所述行人重识别网络为预先通过对训练数据集进行训练得到的，所述行人重识别网络用于识别图像的外观特征；若所述当前图像帧中存在新增的第一跟踪目标，则初始化所述第一跟踪目标的第一卡尔曼滤波参数；根据所述第一卡尔曼滤波参数确定所述第一跟踪目标在所述当前图像帧的第一运动特征；若所述当前图像帧不存在所述第一跟踪目标，则获取第一检测目标在第一图像帧所对应的第二卡尔曼滤波参数，所述第一检测目标为所述当前图像帧中的任意一个目标，所述第一图像帧为所述当前图像帧的前一图像帧；根据所述第二卡尔曼滤波参数预测所述第一检测目标在所述当前图像帧的第二运动特征；根据检测到所述第一检测目标在所述当前图像帧的第三运动特征以及所述第二运动特征确定所述第一检测目标所对应的卡尔曼增益；根据所述第一检测目标所对应的卡尔曼增益更新所述第一检测目标在所述当前图像帧的目标运动特征。3.根据权利要求2所述的方法，其特征在于，运动特征包括位置速度均值以及协方差矩阵，所述根据检测到所述第一检测目标在所述当前图像帧的第三运动特征以及所述第二运动特征确定所述第一检测目标所对应的卡尔曼增益包括：通过如下公式确定所述第一检测目标所对应的卡尔曼增益：K＝P
′
H
T
S
‑1；其中，K为所述第一检测目标所对应的卡尔曼增益，P
′
为所述第二运动特征中的协方差矩阵，H为状态转移矩阵，S为协方差矩阵的偏差，S＝HP
′
H
T
+R，R为随机噪声，R＝diag((0.05*h,0.05*h,0.1,005*h)2)，h为所述第一检测目标所对应的检测框的高度，diag表示
将矩阵对角化；所述根据所述第一检测目标所对应的卡尔曼增益更新所述第一检测目标在所述当前图像帧的目标运动特征包括：通过如下公式确定所述第一检测目标在所述当前图像帧的目标运动特征：其中，m为所述目标运动特征中的位置速度均值，P为所述目标运动特征中的协方差矩阵，m
′
为所述第二运动特征中的位置速度均值，y为位置速度均值的偏差，y＝z
‑
Hm
′
，z为所述第一检测目标在所述当前图像帧中的实际位置的检测框信息，K为所述卡尔曼增益，P
′
为所述第二运动特征中的协方差矩阵。4.根据权利要求1所述的方法，其特征在于，所述根据所述外观特征以及所述运动特征确定所述当前图像帧所对应的第一最终代价矩阵包括：通过所述外观特征确定所述当前图像帧中第二跟踪目标与第二检测目标之间的余弦距离；...

【专利技术属性】
技术研发人员：曹达，潘景渝，陆绍飞，荣辉桂，陈浩，秦拯，
申请(专利权)人：湖南大学，
类型：发明
国别省市：