一种视频中异常行为的检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频中异常行为的检测方法、装置、设备及存储介质，该方法包括：当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。本发明专利技术实施例的技术方案，实现了通过计算机完成对视频中异常行为动作的检测，提高了获取视频中异常行为动作的效率，节省了大量人力成本和时间成本，避免了由于人工监测导致漏检测现象发生。

【技术实现步骤摘要】
一种视频中异常行为的检测方法、装置、设备及存储介质
本专利技术实施例涉及图像处理和视频监控领域，尤其涉及一种视频中异常行为的检测方法、装置、设备及存储介质。
技术介绍
随着科技的不断进步，视频监控技术被广泛应用于各个行业，尤其对于公公场所的安全性需求，提供了极大的帮助。现有的视频监控技术仅能用于视频的捕获、存储和回放，功能性较为单一，对于视频图像中的异常行为(例如，打架和伤人)，还是通过安保人员的监测方式获取。然而，人工监测的方式容易出现人员疲惫现象，尤其面对不同通道传来的监控视频时，往往会目不暇接、反应迟缓，很难及时观察到一些潜在的异常行为，无法对突发的异常行为做出迅速、高效、合理、准确的反应。
技术实现思路
本专利技术实施例提供了一种视频中异常行为的检测方法、装置、设备及存储介质。第一方面，本专利技术实施例提供了一种视频中异常行为的检测方法，包括：当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。第二方面，本专利技术实施例提供了一种视频中异常行为的检测装置，包括：视频片段集获取模块，用于当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；异常行为得分获取模块，用于将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；异常行为检测执行模块，用于根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。第三方面，本专利技术实施例还提供了一种设备，设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本专利技术任意实施例所述的视频中异常行为的检测方法。第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时实现本专利技术任意实施例所述的视频中异常行为的检测方法。本专利技术实施例的技术方案，将待检测的视频分割为视频片段集后，通过训练完成的目标异常行为识别模型，获取各视频片段的异常行为得分，并据此判断待检测的视频中是否存在异常行为，实现了通过计算机完成对视频中异常行为动作的检测，提高了获取视频中异常行为动作的效率，节省了大量人力成本和时间成本，避免了由于人工监测导致漏检测现象发生。附图说明图1是本专利技术实施例一提供的一种视频中异常行为的检测方法的流程图；图2是本专利技术实施例二提供的一种视频中异常行为的检测方法的流程图；图3A是本专利技术实施例三提供的一种视频中异常行为的检测方法的流程图；图3B是本专利技术实施例三提供的三维卷积神经网络单元的结构图；图3C是本专利技术实施例三提供的第一类型三维残差卷积模块的结构图；图3D是本专利技术实施例三提供的第二类型三维残差卷积模块的结构图；图3E是本专利技术实施例三提供的第三类型三维残差卷积模块的结构图；图3F是本专利技术实施例三提供的第四类型三维残差卷积模块的结构图；图4是本专利技术实施例四提供的一种视频中异常行为的检测方法的流程图；图5是本专利技术实施例五提供的一种视频中异常行为的检测方法的流程图；图6是本专利技术实施例六提供的一种视频中异常行为的检测装置的结构框图；图7是本专利技术实施例七提供的一种设备的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种视频中异常行为的检测方法的流程图，本实施例适用于对视频图像中的异常行为进行检测，该方法可以由本专利技术实施例中的视频中异常行为的检测装置来执行，该装置可以通过软件和/或硬件实现，并集成在终端设备中，典型的，可以集成监控摄像组件的控制终端中，该方法具体包括如下步骤：S110、当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段。需要进行异常行为检测的视频，可能为一段时长较长的视频，例如，由监控摄像头拍摄的历史监控录像，时长可达几个小时甚至几十个小时，也可能为一段时长较短的视频，例如，由监控摄像头拍摄的实时监控录像，以10秒作为获取周期，也即待检测视频的时长为10秒，为了便于对视频图像的识别，需要将待检测的视频进行分割处理；预设片段时长可以根据需求设定，通常设定为较短时长的视频片段，例如，将预设片段时长设定为3秒，也即将获取到的待检测的视频分割为一个或多个3秒长度的视频片段，并组成视频片段集；当待检测的视频被分割成多个视频片段后，该视频中剩余部分不足3秒时，以实际剩余时长作为一个视频片段；特别的，当待检测的视频时长较短，小于等于预设片段时长时，该视频本身作为一个视频片段。S120、将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分。目标异常行为识别模型是通过训练样本训练后获取的数学模型，在本专利技术实施例中，用于根据输入的各个视频片段，通过提取图像内容，例如，图像中是否存在挥动武器、挥拳和/或脚踢等异常行为动作，进而确定该视频片段的异常行为得分，而视频片段中不同的异常行为动作，异常行为得分也不相同，例如，挥动武器和脚踢，这两个动作的危险程度不同，获取到的异常行为得分也不相同；其中，异常行为得分，也即异常行为的概率，其取值范围为大于等于0且小于等于1，如果判断该视频片段中存在异常行为的概率越高，那么相应的，异常行为得分越高。可选的，在本专利技术实施例中，目标异常行为识别模型基于神经网络算法构建；具体的，在将所述视频片段集输入至训练完成的目标异常行为识别模型前，包括：根据神经网络算法构建初始异常行为识别模型；获取训练样本集；其中，所述训练样本集包括至少一个训练样本，所述训练样本包括至少一个正视频包和至少一个负视频包，所述正视频包包括异常行为动作，所述负视频包不包括异常行为动作，所述正视频包根据所述预设片段时长分割为正视频示例集，所述负视频包根据所述预设片段时长分割为负视频示例集，所述正视频示例集包括至少一个正视频示例，所述负视频示例集包括至少一个负视频示例，所述正视频示例和所述负视频示例均包括标签；根据所述训练样本集中的至少一个训练样本对所述初始异常行为识别模型进行训练，以获取训练完成的目标异常行为识别模型。...

【技术保护点】
1.一种视频中异常行为的检测方法，其特征在于，包括：/n当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；/n将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；/n根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。/n

【技术特征摘要】
1.一种视频中异常行为的检测方法，其特征在于，包括：
当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；
将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；
根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。


2.根据权利要求1所述的方法，其特征在于，在将所述视频片段集输入至训练完成的目标异常行为识别模型前，还包括：
根据神经网络算法构建初始异常行为识别模型；
获取训练样本集；其中，所述训练样本集包括至少一个训练样本，所述训练样本包括至少一个正视频包和至少一个负视频包，所述正视频包包括异常行为动作，所述负视频包不包括异常行为动作，所述正视频包根据所述预设片段时长分割为正视频示例集，所述负视频包根据所述预设片段时长分割为负视频示例集，所述正视频示例集包括至少一个正视频示例，所述负视频示例集包括至少一个负视频示例，所述正视频示例和所述负视频示例均包括标签；
根据所述训练样本集中的至少一个训练样本对所述初始异常行为识别模型进行训练，以获取训练完成的目标异常行为识别模型。


3.根据权利要求2所述的方法，其特征在于，所述根据所述训练样本集中的至少一个训练样本对所述初始异常行为识别模型进行训练，以获取训练完成的目标异常行为识别模型，包括：
将所述训练样本集中的第一训练样本输入至所述初始异常行为识别模型中，以获取所述第一训练样本中各视频示例的预测异常行为得分，并将预测异常行为得分最高的正视频示例和负视频示例，分别作为目标正视频示例和目标负视频示例；
根据所述第一训练样本中各视频示例的预测异常行为得分，绘制接受者操作特征曲线，并获取与所述接受者操作特征曲线对应的曲线下方面积；
判断所述曲线下方面积是否符合预设阈值条件；
若所述曲线下方面积符合预设阈值条件，则将所述初始异常行为识别模型作为训练完成的目标初始异常行为识别模型。


4.根据权利要求3所述的方法，其特征在于，在判断所述曲线下方面积是否符合预设阈值条件后，还包括：
若所述曲线下方面积不符合预设阈值条件，则根据所述目标正视频示例的预测异常行为得分、所述目标负视频示例的预测异常行为得分、所述目标正视频示例的期望异常行为得分和所述目标负视频示例的期望异常行为得分，调整所述初始异常行为识别模型的网络参数，以获取调整后的中间异常行为识别模型，并继续获取所述训练样本集中的第二训练样本对所述中间异常行为识别模型进行训练，直至获取到目标曲线下方面积符合预设阈值条件时，将与所述目标曲线下方面积对应的目标中间异常行为识别模型作为训练完成的目标异常行为识别模型。


5.根据权利要求4所述的方法，其特征在于，所述根据所述目标正视频示例的预测异常行为得分、所述目标负视频示例的预测异常行为得分、所述目标正视频示例的期望异常行为得分和所述目标负视频示例的期望异常行为得分，调整所述初始异常行为识别模型的网络参数，以获取调整后的中间异常行为识别模型，包括：
将所述目标正视频示例的期望异常行为得分与所述目标负视频示例的期望异常行为得分的差值，作为目标期望得分；
将所述目标正视频示例的预测异常行为得分与所述目标负视频示例的预测异常行为得分的差值，作为目标预测得分；
根据所述目标预测得分，构建目标函数；
根据所述目标函数和所述目标期望得分，调整所述初始异常行为识别模型的网络参数。


6.根据权利要求5所述的方法，其特征在于，所述根据所述目标预测得分，构建目标函数，包括：
根据所述目标预测得分、平滑约束项、稀疏约束项和正则化项，构建目标函数。


7.根据权利要求2所述的方法，其特征在于，所述根据神经网络算法构建初始异常行为识别模型，包括：
获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神...

【专利技术属性】
技术研发人员：徐轲，
申请(专利权)人：苏州交驰人工智能研究院有限公司，
类型：发明
国别省市：江苏;32