异常行为分类模型的训练方法、异常行为分类方法技术

本公开提供了一种异常行为分类模型的训练方法、异常行为分类方法，可以应用于金融领域或其他领域。该训练方法包括：获取训练集数据，训练集数据包括视频特征信息；将视频特征信息输入RGB特征提取模块，得到RGB特征信息；将视频特征信息输入光流特征提取模块，得到光流特征信息；将RGB特征信息和光流特征信息输入时序特征提取模块，得到时序特征信息，时序特征提取模块的损失函数为时序相似度损失函数；将时序特征信息输入分类模块，输出当前时刻视频中动作的分类结果；以及根据分类结果和分类标签调整异常行为分类模型的训练参数，得到训练后的异常行为分类模型。本公开还提供了一种异常行为分类模型的训练装置、设备、存储介质和程序产品。介质和程序产品。介质和程序产品。

Training method and abnormal behavior classification method of abnormal behavior classification model

【技术实现步骤摘要】
异常行为分类模型的训练方法、异常行为分类方法


[0001]本公开涉及金融领域，具体涉及计算机视觉领域，特别涉及一种异常行为分类模型的训练方法、异常行为分类方法及其装置、一种电子设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]动作检测是指针对一段未裁剪的视频，计算机能够分析该未裁剪视频，在视频结束时识别出视频中出现的动作类别以及与该动作对应的起始点与结束点。在线动作检测是指利用模型，在输入的视频流中实时检测当前时刻的动作类别，而无需在整段视频输入模型后才输出动作的类别等信息。
[0003]视频包含表观与动作两种类型的信息，分别由RGB流与光流来保存。现有技术中基于在线动作检测算法的模型不能表征RGB流与光流之间时序信息变化趋势的差异，也不能体现动作内部的时序信息的关联。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种异常行为分类模型的训练方法、异常行为分类方法、装置、设备、介质和程序产品，用于表征RGB流与光流之间时序信息变化趋势，体现动作内部的时序信息的关联，提升异常行为分类模型的检测准确度。
[0005]根据本公开的第一个方面，提供了一种异常行为分类模型的训练方法，异常行为分类模型包括RGB特征提取模块、光流特征提取模块、时序特征提取模块和分类模块和分类模块；方法包括：获取训练集数据，训练集数据包括视频特征信息；将视频特征信息输入RGB特征提取模块，得到RGB特征信息；将视频特征信息输入光流特征提取模块，得到光流特征信息，光流特征提取模块的损失函数为光流稳定性损失函数；将RGB特征信息和光流特征信息输入时序特征提取模块，得到时序特征信息，时序特征提取模块的损失函数为时序相似度损失函数；将时序特征信息输入分类模块，输出当前时刻视频中动作的分类结果；以及根据分类结果和分类标签调整异常行为分类模型的训练参数，得到训练后的异常行为分类模型。
[0006]根据本公开的实施例，其中，光流稳定性损失函数为：
[0007][0008]其中，L
fs
表示光流稳定性损失函数，表示第t时刻输入光流特征提取模块的原始光流特征，表示光流特征提取模块提取的第t时刻的光流特征，σ2表示原始光流特征信息的方差。
[0009]根据本公开的实施例，其中，时序相似度损失函数为：
[0010][0011]其中，L
ts
表示时序相似度损失函数，表示RGB特征提取模块输出的第t时刻的RGB特征信息，f
tf
表示光流特征提取模块输出的第t时刻的光流特征信息。
[0012]根据本公开的实施例，其中，将RGB特征信息和光流特征信息输入时序特征提取模块，得到时序特征信息包括：将RGB特征信息和光流特征信息转换为m维的RGB列向量矩阵和n维光流列向量矩阵，其中，m为大于2的整数，n为大于2的整数；基于m维的RGB列向量矩阵和n维的光流列向量矩阵，确定L维的时序信息矩阵，其中，L等于m+n；以及将L维的时序信息矩阵输入时序特征提取模块，得到时序特征信息。
[0013]根据本公开的实施例，其中，获取训练集数据包括：将预设时长的训练视频数据输入视频特征提取模块，得到视频特征信息，视频特征信息包括在预设时长内训练视频数据所有帧的图像信息；以及基于视频特征信息，得到训练集数据，其中，训练集包括基于多个不同预设时长的视频数据得到的视频特征信息。
[0014]根据本公开的实施例，其中，光流特征提取模块包括多个长短期记忆单元；RGB特征提取模块包括多个长短期记忆单元。
[0015]根据本公开的第二个方面，提供了一种异常行为分类方法，包括：获取待分类的样本数据，样本数据包括视频特征信息；将视频特征信息输入异常行为分类模型，得到分类结果，其中，异常行为分类模型是利用上述异常行为分类模型的训练方法训练得到的。
[0016]根据本公开的第三个方面，提供了一种异常行为分类模型的训练装置，包括：第一获取模块，用于获取训练集数据，训练集数据包括视频特征信息；第一确定模块，用于将视频特征信息输入RGB特征提取模块，得到RGB特征信息；第二确定模块，用于将视频特征信息输入光流特征提取模块，得到光流特征信息，光流特征提取模块的损失函数为光流稳定性损失函数；第三确定模块，用于将RGB特征信息和光流特征信息输入时序特征提取模块，得到时序特征信息，时序特征提取模块的损失函数为时序相似度损失函数；第一分类模块，用于将时序特征信息输入分类模块，输出当前时刻视频中动作的分类结果；以及训练模块，用于根据分类结果和分类标签调整异常行为分类模型的训练参数，得到训练后的异常行为分类模型。
[0017]根据本公开的第四个方面，提供了一种异常行为分类装置，包括：第二获取模块，用于获取待分类的样本数据，样本数据包括视频特征信息；第二分类模块，用于将视频特征信息输入异常行为分类模型，得到分类结果，其中，异常行为分类模型是根据上述方法训练得到的。
[0018]根据本公开的第五个方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当一个或多个指令被一个或多个处理器执行时，使得一个或多个处理器实现上述异常行为分类模型的训练方法。
[0019]根据本公开的第六个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述异常行为分类模型的训练方法。
[0020]根据本公开的第七个方面，提供了一种计算机程序产品，计算机程序产品包括计算机可执行指令，指令在被执行时用于实现上述异常行为分类模型的训练方法。
附图说明
[0021]通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
[0022]图1示意性示出了根据本公开实施例的异常行为分类模型的训练方法和异常行为分类方法的系统架构；
[0023]图2示意性示出了根据本公开实施例的异常行为分类模型的训练方法的流程图；
[0024]图3示意性示出了根据本公开实施例的得到时序特征信息方法的流程图；
[0025]图4示意性示出了根据本公开实施例的获取训练集数据方法的流程图；
[0026]图5示意性示出了根据本公开实施例的异常行为分类方法的流程图；
[0027]图6示意性示出了根据本公开实施例的异常行为分类模型的训练装置的结构框图；
[0028]图7示意性示出了根据本公开实施例的异常行为分类装置的结构框图；以及
[0029]图8示意性示出了根据本公开实施例的适于异常行为分类模型的训练方法的电子设备的方框图。
具体实施方式
[0030]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常行为分类模型的训练方法，所述异常行为分类模型包括所述RGB特征提取模块、所述光流特征提取模块、所述时序特征提取模块和分类模块和分类模块；所述方法包括：获取训练集数据，所述训练集数据包括视频特征信息；将所述视频特征信息输入所述RGB特征提取模块，得到RGB特征信息；将所述视频特征信息输入所述光流特征提取模块，得到光流特征信息，所述光流特征提取模块的损失函数为光流稳定性损失函数；将所述RGB特征信息和所述光流特征信息输入所述时序特征提取模块，得到时序特征信息，所述时序特征提取模块的损失函数为时序相似度损失函数；将所述时序特征信息输入所述分类模块，输出当前时刻视频中动作的分类结果；以及根据所述分类结果和分类标签调整异常行为分类模型的训练参数，得到训练后的异常行为分类模型。2.根据权利要求1所述的方法，其中，所述光流稳定性损失函数为：其中，L
fs
表示光流稳定性损失函数，表示第t时刻输入光流特征提取模块的原始光流特征，表示光流特征提取模块提取的第t时刻的光流特征，σ2表示原始光流特征信息的方差。3.根据权利要求1所述的方法，其中，所述时序相似度损失函数为：其中，L
ts
表示时序相似度损失函数，表示RGB特征提取模块输出的第t时刻的RGB特征信息，f
tf
表示光流特征提取模块输出的第t时刻的光流特征信息。4.根据权利要求1所述的方法，其中，将所述RGB特征信息和所述光流特征信息输入时序特征提取模块，得到时序特征信息包括：将所述RGB特征信息和所述光流特征信息转换为m维的RGB列向量矩阵和n维光流列向量矩阵，其中，m为大于2的整数，n为大于2的整数；基于所述m维的RGB列向量矩阵和所述n维的光流列向量矩阵，确定L维的时序信息矩阵，其中，L等于m+n；以及将所述L维的时序信息矩阵输入所述时序特征提取模块，得到时序特征信息。5.根据权利要求1所述的方法，其中，所述获取训练集数据包括：将预设时长的训练视频数据输入视频特征提取模块，得到视频特征信息，所述视频特征信息包括在所述预设时长内所述训练视频数据所有帧的图像信息；以及基于所述视频特征信息，得到所述...

【专利技术属性】
技术研发人员：朱嘉桐，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：