一种视频帧检测方法及装置制造方法及图纸

本申请实施例公开了一种视频帧检测方法及装置。所述方法包括：获取目标视频帧序列；利用卷积神经网络模型提取所述目标视频帧序列的视频特征数据，所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行学习得到；根据所述视频特征数据进行视频重建，生成重建视频帧序列；基于所述目标视频帧序列和所述重建视频帧序列之间的差异值，确定所述目标视频帧序列中存在异常事件。利用本申请实施例，可以提高视频帧检测的检测准确率和检测效率。

A Video Frame Detection Method and Device

The embodiment of this application discloses a video frame detection method and device. The method includes: acquiring the target video frame sequence; extracting the video feature data of the target video frame sequence by using the convolution neural network model, which is set up to learn from multiple reference historical video frame sequences; reconstructing video frame sequence according to the video feature data; and reconstructing video frame sequence based on the target video frame. The difference value between the sequence and the reconstructed video frame sequence determines that there are abnormal events in the target video frame sequence. With the application embodiment, the detection accuracy and efficiency of video frame detection can be improved.

【技术实现步骤摘要】
一种视频帧检测方法及装置
本申请涉及视频图像处理
，特别涉及一种视频帧检测方法及装置。
技术介绍
随着世界城市化的进展和汽车的普及，无论是在发展中国家还是发达国家，交通拥挤加剧、交通事故频繁、交通环境恶化等问题变得日趋严重。智能交通系统可以将先进的计算机处理技术、信息技术、数据通讯传输技术及电子自动控制技术等综合运用于交通运输管理体系中，通过对交通信息的实时采集、传输和处理，借助各种科技手段和设备，对各种交通状况进行协调和处理。交通监控视频中的异常事件检测属于智能交通系统中的重要环节。随着人工智能技术的快速发展，现有技术中，可以利用深度学习对历史交通监控视频进行学习，具体的做法是，获取大量的训练视频数据，其中包括正样本和负样本，正样本是指训练视频数据中包括交通异常事件，负样本是指训练视频数据中不包括交通异常事件。利用深度学习方式对所述正样本和负样本进行训练学习，生成视频分类模型。在训练生成视频分类模型之后，可以将具有一定时长的视频片段输入至所述视频分类模型中，所述视频分类模型可以识别出输入视频片段中是否包括交通异常事件。现有技术中利用深度学习方式生成视频分类模型的方法在实施时具有以下缺点：(1)在深度学习的训练过程，需要对正样本和负样本进行人工标注，即标注训练视频数据中是否包含交通异常事件，由于参与训练的视频数据数量较多，因此人工成本较高；(2)在真实的应用场景中，交通异常事件占日常交通中的比例很小。这样，不仅增加获取包含交通异常事件视频数据的难度，并且，由于正样本和负样本的分布不平衡，对于视频分类模型的训练具有较大的影响；(3)交通异常事件的分类较多，不同类别的交通异常事件的差异较大，因此，很难总结出交通异常事件的“共性”，不利于对视频分类模型的训练。
技术实现思路
本申请实施例的目的在于提供一种视频帧检测方法及装置，可以提高视频帧检测的检测准确率和检测效率。本申请实施例提供的视频帧检测方法及装置具体是这样实现的：一种视频帧检测方法，所述方法包括：获取目标视频帧序列；利用卷积神经网络模型提取所述目标视频帧序列的视频特征数据，所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行学习得到；根据所述视频特征数据进行视频重建，生成重建视频帧序列；基于所述目标视频帧序列和所述重建视频帧序列之间的差异值，确定所述目标视频帧序列中存在异常事件。一种卷积神经网络模型构建方法，所述方法包括：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值不大于预设阈值。一种卷积神经网络模型构建方法，所述方法包括：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)利用所述卷积神经网络模型分别预测所述多个基准历史视频帧序列的预测视频帧序列4)计算所述基准历史视频帧序列的下一组基准历史视频帧序列与所述预测视频帧序列之间的预测差异值；5)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值与所述预测差异值的和值不大于预设阈值。一种视频检测装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：获取目标视频帧序列；利用卷积神经网络模型提取所述目标视频帧序列的视频特征数据，所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行学习得到；根据所述视频特征数据进行视频重建，生成重建视频帧序列；基于所述目标视频帧序列和所述重建视频帧序列之间的差异值，确定所述目标视频帧序列中存在异常事件。一种卷积神经网络模型构建装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值不大于预设阈值。一种卷积神经网络模型构建装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)利用所述卷积神经网络模型分别预测所述多个基准历史视频帧序列的预测视频帧序列4)计算所述基准历史视频帧序列的下一组基准历史视频帧序列与所述预测视频帧序列之间的预测差异值；5)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值与所述预测差异值的和值不大于预设阈值。本申请提供的视频帧检测方法及装置，可以利用卷积神经网络模型对目标视频帧序列进行异常事件检测，检测所述目标视频帧序列中是否存在异常事件。其中所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行无监督训练学习得到，利用所述卷积伸进网络模型进行异常事件检测，具有下述优势：(1)训练所述卷积神经网络模型时所使用的数据源为不包括异常事件的基准历史视频帧序列。由于现实情况中异常事件的发生概率较低，因此，获取不包括异常事件的历史视频数据比获取包含异常事件的历史视频数据相对比较容易；(2)不包括异常事件的基准历史视频帧序列，即“正常”基准历史视频帧序列的规律性比较强，因此，利用所述卷积神经网络模型可以很好地提取“正常”基准历史视频帧序列的特征数据，提升所述卷积神经网络模型的识别精度；(3)对历史视频数据进行无监督学习，节省现有技术中对训练数据进行人工打标的过程，降低数据训练成本，提高数据训练效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是应用场景中一段交通视频中的视频帧序列；图2是应用场景中视频帧编号和误差值之间的曲线关系图；图3是应用场景中发生交通事故时的一个视频帧画面；图4是应用场景中对上述视频帧的重建视频帧画面；图5是应用场景中视频帧和重建视频帧的重建差异值分布图；图6是本申请提供的视频帧检测方法的一种实施例的方法流程图；图7是本申请实施例适用的三维卷积神经网络模型示意图；图8是本申请提供的视频帧检测装置的一种实施例的模块结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。为了方便本领域技术人员理解本申请实施例提供本文档来自技高网...

【技术保护点】
1.一种视频帧检测方法，其特征在于，所述方法包括：获取目标视频帧序列；利用卷积神经网络模型提取所述目标视频帧序列的视频特征数据，所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行学习得到；根据所述视频特征数据进行视频重建，生成重建视频帧序列；基于所述目标视频帧序列和所述重建视频帧序列之间的差异值，确定所述目标视频帧序列中存在异常事件。

【技术特征摘要】
1.一种视频帧检测方法，其特征在于，所述方法包括：获取目标视频帧序列；利用卷积神经网络模型提取所述目标视频帧序列的视频特征数据，所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行学习得到；根据所述视频特征数据进行视频重建，生成重建视频帧序列；基于所述目标视频帧序列和所述重建视频帧序列之间的差异值，确定所述目标视频帧序列中存在异常事件。2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行学习得到包括：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值不大于预设阈值。3.根据权利要求2所述的方法，其特征在于，所述重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值不大于预设阈值包括：判断所述重建差异值是否大于预设阈值；若判断结果为是，则调整所述卷积神经网络模型的模型参数；重复步骤1)和2)，直至所述重建差异值不大于所述预设阈值。4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型被设置为根据多个基准历史视频帧序列进行学习得到包括：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)利用所述卷积神经网络模型分别预测所述多个基准历史视频帧序列的预测视频帧序列；4)计算所述基准历史视频帧序列的下一组基准历史视频帧序列与所述预测视频帧序列之间的预测差异值；5)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值与所述预测差异值的和值不大于预设阈值。5.根据权利要求4所述的方法，其特征在于，所述重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值与所述预测差异值的和值不大于预设阈值包括：判断所述重建差异值与所述预测差异值的和值是否大于预设阈值；若判断结果为是，则调整所述卷积神经网络模型的模型参数；重复步骤1)至4)，直至所述重建差异值与所述预测差异值的和值不大于预设阈值。6.根据权利要求2或4所述的方法，其特征在于，所述计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值包括：分别计算所述基准历史视频帧序列和所述重建视频帧序列对应视频帧之间的欧式距离；根据所述欧式距离确定所述历史视频序列和所述重建视频帧序列之间的重建差异值。7.根据权利要求4所述的方法，其特征在于，所述计算所述基准历史视频帧序列的下一组基准历史视频帧序列与所述预测视频帧序列之间的预测差异值包括：分别计算所述基准历史视频帧序列的下一组基准历史视频帧序列和所述预测视频帧序列对应视频帧之间的欧式距离；设置所述欧式距离的权重值，所述权重值的大小被设置为按照视频帧时间上由先至后的顺序依次递减；根据所述欧式距离和所述欧式距离的权重值确定所述下一组基准历史视频帧序列和所述预测视频帧序列之间的预测差异值。8.根据权利要求1所述的方法，其特征在于，在确定所述目标视频帧序列中存在异常事件之后，所述方法包括：发送警报消息，所述警报消息中包括所述异常事件的发生地点和发生时间。9.一种卷积神经网络模型构建方法，其特征在于，所述方法包括：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值不大于预设阈值。10.根据权利要求9所述的方法，其特征在于，所述重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值不大于预设阈值包括：判断所述重建差异值是否大于预设阈值；若判断结果为是，则调整所述卷积神经网络模型的模型参数；重复步骤1)和2)，直至所述重建差异值不大于预设阈值。11.根据权利要求9所述的方法，其特征在于，所述计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值包括：分别计算所述基准历史视频帧序列和所述重建视频帧序列对应视频帧之间的欧式距离；根据所述欧式距离确定所述历史视频序列和所述重建视频帧序列之间的重建差异值。12.一种卷积神经网络模型构建方法，其特征在于，所述方法包括：1)利用卷积神经网络模型分别提取多个基准历史视频帧序列的视频特征数据，并根据所述视频特征数据进行视频重建，生成重建视频帧序列；2)计算所述基准历史视频帧序列和所述重建视频帧序列之间的重建差异值；3)利用所述卷积神经网络模型分别预测所述多个基准历史视频帧序列的预测视频帧序列4)计算所述基准历史视频帧序列的下一组基准历史视频帧序列与所述预测视频帧序列之间的预测差异值；5)重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值与所述预测差异值的和值不大于预设阈值。13.根据权利要求12所述的方法，其特征在于，所述重复调整所述卷积神经网络模型的模型参数，直至所述重建差异值与所述预测差异值的和值不大于预设阈值包括：判断所述重建差异值与所述预测差异值的和值是否大于预设阈值；若判断结果为是，则调整所述卷积神经网络模型的模型参数；重复步骤1)至4)，直至所述重建差异值与所述预测差异值的和值不大于预设阈值。14.根据权利要求12所述的方法，其特征在于，所述计算所述基准历史视频帧序列和所述重建...

【专利技术属性】
技术研发人员：赵一儒，刘垚，邓兵，黄建强，华先胜，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY