一种基于目标跟踪的行为识别方法、设备及存储介质技术

本发明专利技术涉及行为识别领域，具体涉及一种基于目标跟踪的行为识别方法、设备及存储介质，包括如下步骤，采集连续图像，并将采集的连续图像解码为图像帧数据；设置行为识别算法的最大帧长度为X，输入图像帧数据；依次输入单个图像帧数据和上一个图像帧数据的推理结果至目标跟踪算法，得出此图像帧数据的推理结果，最终可得图像跟踪结果R；当R的长度大于X时，取R的前X个结果输入至行为识别算法中，获取行为识别结果P，记录并保存结果P；剔除R中最前面的一个推理结果，重复步骤，本发明专利技术可以利用连续帧与帧之间的关联信息，提高识别速度和识别准确度。确度。确度。

【技术实现步骤摘要】
一种基于目标跟踪的行为识别方法、设备及存储介质


[0001]本专利技术涉及行为识别领域，具体涉及一种基于目标跟踪的行为识别方法、设备及存储介质。

技术介绍

[0002]近年来许多活动场所都布置了高清摄像头监控异常事件的发生，但是仍然需要保安人员费时费力地对监控内容进行观察分析。随着人工智能技术的成熟，人们开始利用人工智能来实现安防智能监控。其中，安防智能监控需要运用到计算机视觉领域上的几个热点研究技术:目标检测技术，目标跟踪技术，行为识别技术。
[0003]目前主流的行为识别方法的流程为视频摄像头采集视频流数据，通过交换机和路由器传输到工控主机。工控机对视频流进行解码，抽取出视频流的所有图像帧，接着使用行为识别算法对单个图像帧进行识别，无法利用连续帧与帧之间的关联信息，识别准确度低且识别速度慢。

技术实现思路

[0004]本专利技术的目的是提供一种基于目标跟踪的行为识别方法、设备及存储介质，可以利用连续帧与帧之间的关联信息，提高识别速度和识别准确度。
[0005]为实现上述目的，本专利技术提供了如下的技术方案：
[0006]第一方面，本专利技术提供了一种基于目标跟踪的行为识别方法，其特征在于，包括如下步骤：
[0007]S1.采集连续图像，并将采集的连续图像解码为图像帧数据{f1,f2,f3....,fN}；
[0008]S2.设置行为识别算法的最大帧长度为X，输入步骤S1中的图像帧数据{f1,f2,f3....,fN}；
[0009]S3.基于步骤S2，将图像帧数据f1输入目标跟踪算法，得到图像帧数据f1的推理结果r1；
[0010]S4.基于步骤S3，将图像帧数据f2和图像帧数据f1的推理结果r1输入目标跟踪算法，得到图像帧数据f2的推理结果r2；
[0011]S5.重复步骤S4,依次输入单个图像帧数据和上一个图像帧数据的推理结果至目标跟踪算法，得出此图像帧数据的推理结果，最终可得图像跟踪结果R＝{r1,r2,r3.....rN}；
[0012]S6.基于步骤S5，当R的长度大于X时，取R的前X个结果{r1,r2,r3.....rX}输入至行为识别算法中，获取行为识别结果P，记录并保存结果P；
[0013]S7.剔除R中最前面的推理结果r1，重复步骤S6。
[0014]优选的，在步骤S1中，获取图像帧数据后，对图像帧进行图像模糊度评价。
[0015]进一步的，图像模糊度评价方法为：
[0016]灰度化及拉普拉斯算子滤波：将RGB彩色图像转为灰度图像，并利用拉普拉斯算子
进行滤波，实现图像的预处理；
[0017]方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差小于阈值200时，即判断图像为模糊图像。
[0018]进一步的，当判断图像为模糊图像时，需结合上帧图像防止误判，这样可以提高处理效率，也可以提高输出图像的真实性，具体方法为：
[0019]当一帧图像是模糊的，则当前帧图像和上一帧图像的方差比值大于阈值5时，即判断图像为非模糊图像；
[0020]当上一图像是非模糊的，则当前帧图像和上一帧图像的方差比值大于阈值0.3时，即判断图像为非模糊图像；
[0021]其他情况均为模糊图像。
[0022]进一步的，对模糊图像帧进行特定图像去模糊工作，图像去模糊采用基于GAN网络的图像去模糊深度学习网络进行去模糊工作，训练网络的数据集包含Kohler标准数据集、GOPRO数据集以及红外模糊
‑
清晰图像对数据集中的一种或多种。
[0023]优选的，在步骤S2中，将f1的先验知识默认为r0,r0为空。
[0024]优选的，步骤S1中采集的图像为红外或非红外视屏资源。
[0025]第二方面，本专利技术提供一种基于目标跟踪的行为识别设备，其特征在于：包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现上述的步骤。
[0026]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的步骤。
[0027]本专利技术的有益效果是：
[0028]1)原先单帧的行为识别，需要对每一帧的图像进行从头识别，而大部分场景下，连续两帧之间的差异均较小，在本申请中，前一帧图像的识别结果可作为后一帧图像识别的先验知识，从而大大减小后一帧的图像处理时间，进而提高整个视屏行为识别的速度。
[0029]2)在本申请中，可以利用连续图像帧之间的时间关联信息，确认不同帧图像的人员是否为同一人，一个复杂动作可能会持续十几帧以上，通过连续帧的画面信息来进行人员的行为判断可以大大提高准确率。
[0030]3)本申请通过对图像帧的模糊度评价以及对模糊图像进行去模糊，可改善可视化效果。
附图说明
[0031]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0032]图1是本专利技术的步骤图；
[0033]图2是本专利技术的流程图。
具体实施方式
[0034]实施例1
[0035]如图1和图2所示，本专利技术提供了一种基于目标跟踪的行为识别方法，包括如下步
骤：
[0036]S1.采集连续图像，图像为红外或非红外视屏资源，并将采集的连续图像解码为图像帧数据{f1,f2,f3....,fN}。
[0037]获取图像帧数据后，对图像帧进行图像模糊度评价。
[0038]图像模糊度评价方法为：
[0039]灰度化及拉普拉斯算子滤波：将RGB彩色图像转为灰度图像，并利用拉普拉斯算子进行滤波，实现图像的预处理；
[0040]方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差小于阈值200时，即判断图像为模糊图像。
[0041]当判断图像为模糊图像时，需结合上帧图像防止误判，这样可以提高处理效率，也可以提高输出图像的真实性，具体方法为：
[0042]当一帧图像是模糊的，则当前帧图像和上一帧图像的方差比值大于阈值5时，即判断图像为非模糊图像；
[0043]当上一图像是非模糊的，则当前帧图像和上一帧图像的方差比值大于阈值0.3时，即判断图像为非模糊图像；
[0044]其他情况均为模糊图像。
[0045]对模糊图像帧进行特定图像去模糊工作，图像去模糊采用基于GAN网络的图像去模糊深度学习网络进行去模糊工作，训练网络的数据集包含Kohler标准数据集、GOPRO数据集以及红外模糊
‑
清晰图像对数据集中的一种或多种。
[0046]S2.设置行为识别算法的最大帧长度为X，输入步骤S1中的图像帧数据{f1,f2,f3....,fN}，将f1的先验知识默认为r0,r0为空。
[0047]S3.基于步骤S2，将图像帧数据f1及r0输入目标跟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标跟踪的行为识别方法，其特征在于，包括如下步骤：S1.采集连续图像，并将采集的连续图像解码为图像帧数据{f1,f2,f3....,fN}；S2.设置行为识别算法的最大帧长度为X，输入步骤S1中的图像帧数据{f1,f2,f3....,fN}；S3.基于步骤S2，将图像帧数据f1输入目标跟踪算法，得到图像帧数据f1的推理结果r1；S4.基于步骤S3，将图像帧数据f2和图像帧数据f1的推理结果r1输入目标跟踪算法，得到图像帧数据f2的推理结果r2；S5.重复步骤S4,依次输入单个图像帧数据和上一个图像帧数据的推理结果至目标跟踪算法，得出此图像帧数据的推理结果，最终可得图像跟踪结果R＝{r1,r2,r3.....rN}；S6.基于步骤S5，当R的长度大于X时，取R的前X个结果{r1,r2,r3.....rX}输入至行为识别算法中，获取行为识别结果P，记录并保存结果P；S7.剔除R中最前面的推理结果r1，重复步骤S6。2.根据权利要求1所述的一种基于目标跟踪的行为识别方法，其特征在于：在步骤S1中，获取图像帧数据后，对图像帧进行图像模糊度判定。3.根据权利要求2所述的一种基于目标跟踪的行为识别方法，其特征在于：图像模糊度判定方法为：灰度化及拉普拉斯算子滤波：将RGB彩色图像转为灰度图像，并利用拉普拉斯算子进行滤波，实现图像的预处理；方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差小于阈值200时，即判断图像为模糊图像。...

【专利技术属性】
技术研发人员：陈光，乔梁，曾学文，何赵亮，黄晓明，马成城，
申请(专利权)人：国能九江发电有限公司，
类型：发明
国别省市：