【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种视频异常检测方法、装置、电子设备和存储介质。
技术介绍
1、随着计算机视觉技术的迅速发展，视频异常检测的应用范围越来越广泛，例如，起火检测、家居跌倒检测、工业违规操作检测和体育违规检测等等。因此，需要针对各检测场景构建对应的视频异常检测模型。
2、目前，在面临新的新增检测场景时，需要重新构建和训练该新增检测场景对应的视频异常检测模型，或者，需要对旧的检测场景对应的视频异常检测模型进行重新训练。然而，现有方式均需要进行模型训练，导致针对新增检测场景时，需要耗费较多的训练时间，进而导致视频异常检测的效率降低。
技术实现思路
1、本专利技术提供一种视频异常检测方法、装置、电子设备和存储介质，用以解决现有技术中针对新增检测场景的视频异常检测的效率低的缺陷，实现快速适应各种视频异常检测场景的需求。
2、本专利技术提供一种视频异常检测方法，包括：
3、确定待检测视频，以及所述待检测视频对应的检测场景；
4、获取所述检测场景对应的提示样本集，所述提示样本集包括至少一个正常样本和至少一个异常样本，所述正常样本包括所述检测场景对应的正常的第一样本视频和所述第一样本视频对应的第一文本描述数据，所述异常样本包括所述检测场景对应的异常的第二样本视频和所述第二样本视频对应的第二文本描述数据；
5、将各所述第一样本视频的视频特征、各所述第一文本描述数据的文本特征、各所述第二样本视频的视频特征，以及各所述第二文本描
6、基于所述任务编码，更新视频异常检测模型的模型参数；
7、将所述待检测视频的视频特征输入至更新后的视频异常检测模型，得到所述更新后的视频异常检测模型输出的视频异常检测结果。
8、根据本专利技术提供的一种视频异常检测方法，所述将各所述第一样本视频的视频特征、各所述第一文本描述数据的文本特征、各所述第二样本视频的视频特征，以及各所述第二文本描述数据的文本特征，输入至任务编码模型，得到所述任务编码模型输出的任务编码，包括：
9、分别将各所述第一样本视频的视频特征与各所述第一文本描述数据的文本特征进行特征融合，得到所述至少一个正常样本的第一融合特征，并分别将各所述第二样本视频的视频特征与各所述第二文本描述数据的文本特征进行特征融合，得到所述至少一个异常样本的第二融合特征；
10、分别将所述至少一个正常样本的第一融合特征，输入至所述任务编码模型中的特征提取层，得到所述特征提取层输出的所述至少一个正常样本的第一表示特征，并分别将所述至少一个异常样本的第二融合特征，输入至所述特征提取层，得到所述特征提取层输出的所述至少一个异常样本的第二表示特征；
11、将所述至少一个正常样本的第一表示特征进行特征融合，得到正常表示特征，并将所述至少一个异常样本的第二表示特征进行特征融合，得到异常表示特征；
12、将所述正常表示特征与所述异常表示特征进行特征融合，得到融合表示特征；
13、将所述融合表示特征输入至所述任务编码模型的任务编码层，得到所述任务编码层输出的任务编码。
14、根据本专利技术提供的一种视频异常检测方法，任一所述正常样本的第一融合特征是基于如下方式确定：
15、将所述正常样本中的所述第一样本视频的视频特征与所述正常样本中的所述第一文本描述数据的文本特征进行特征融合，得到所述正常样本的第一融合特征；
16、其中，所述第一样本视频的视频特征是基于如下方式确定：
17、获取所述第一样本视频的视频时空特征，所述视频时空特征包括多个通道的时空特征图；
18、针对任一所述通道，将所述通道的时空特征图进行特征整合，得到所述通道的通道特征；
19、将各所述通道的通道特征进行特征拼接，得到所述第一样本视频的视频特征。
20、根据本专利技术提供的一种视频异常检测方法，所述任务编码模型是基于如下方式训练：
21、获取样本检测场景对应的提示样本训练集，所述提示样本训练集包括至少一个第一正常训练样本和至少一个第一异常训练样本，所述第一正常训练样本包括所述样本检测场景对应的正常的第三样本视频和所述第三样本视频对应的第三文本描述数据，所述第一异常训练样本包括所述样本检测场景对应的异常的第四样本视频和所述第四样本视频对应的第四文本描述数据；
22、将各所述第三样本视频的视频特征、各所述第三文本描述数据的文本特征、各所述第四样本视频的视频特征，以及各所述第四文本描述数据的文本特征，输入至待训练模型，得到所述待训练模型输出的样本任务编码；
23、基于所述样本任务编码，更新所述视频异常检测模型的模型参数；
24、将所述样本检测场景对应的第五样本视频的视频特征输入至更新后的视频异常检测模型，得到所述更新后的视频异常检测模型输出的样本视频异常检测结果；
25、基于所述样本视频异常检测结果和所述第五样本视频对应的视频异常检测结果标签，对所述待训练模型进行训练，得到所述任务编码模型。
26、根据本专利技术提供的一种视频异常检测方法，所述将各所述第一样本视频的视频特征、各所述第一文本描述数据的文本特征、各所述第二样本视频的视频特征，以及各所述第二文本描述数据的文本特征，输入至任务编码模型，得到所述任务编码模型输出的任务编码，之前还包括：
27、获取所述检测场景对应的正样本，以及所述正样本对应的负样本，所述正样本包括至少一个第二正常训练样本和至少一个第二异常训练样本，所述第二正常训练样本包括所述检测场景对应的正常的第六样本视频和所述第六样本视频对应的第五文本描述数据，所述第二异常训练样本包括所述检测场景对应的异常的第七样本视频和所述第七样本视频对应的第六文本描述数据，所述负样本包括至少一个第三正常训练样本和至少一个第三异常训练样本，所述第三正常训练样本包括第八样本视频和所述第八样本视频对应的第七文本描述数据，所述第三异常训练样本包括第九样本视频和所述第九样本视频对应的第八文本描述数据；
28、将各所述第六样本视频的视频特征、各所述第五文本描述数据的文本特征、各所述第七样本视频的视频特征，以及各所述第六文本描述数据的文本特征，输入至初始任务编码模型，得到所述初始任务编码模型输出的所述正样本对应的第一任务编码，并将各所述第八样本视频的视频特征、各所述第七文本描述数据的文本特征、各所述第九样本视频的视频特征，以及各所述第八文本描述数据的文本特征，输入至初始任务编码模型，得到所述初始任务编码模型输出的所述负样本对应的第二任务编码；
29、基于所述第一任务编码和所述第二任务编码，对所述初始任务编码模型进行对比学习训练，得到所述任务编码模型。
30、根据本专利技术提供的一种视频异常检测方法，任一所述第一样本文档来自技高网...
【技术保护点】
1.一种视频异常检测方法，其特征在于，包括：
2.根据权利要求1所述的视频异常检测方法，其特征在于，所述将各所述第一样本视频的视频特征、各所述第一文本描述数据的文本特征、各所述第二样本视频的视频特征，以及各所述第二文本描述数据的文本特征，输入至任务编码模型，得到所述任务编码模型输出的任务编码，包括：
3.根据权利要求2所述的视频异常检测方法，其特征在于，任一所述正常样本的第一融合特征是基于如下方式确定：
4.根据权利要求1所述的视频异常检测方法，其特征在于，所述任务编码模型是基于如下方式训练：
5.根据权利要求1所述的视频异常检测方法，其特征在于，所述将各所述第一样本视频的视频特征、各所述第一文本描述数据的文本特征、各所述第二样本视频的视频特征，以及各所述第二文本描述数据的文本特征，输入至任务编码模型，得到所述任务编码模型输出的任务编码，之前还包括：
6.根据权利要求1所述的视频异常检测方法，其特征在于，任一所述第一样本视频的视频特征是基于视频编码器编码得到的，任一所述第一文本描述数据的文本特征是基于文本编码器编码得到的
7.根据权利要求1所述的视频异常检测方法，其特征在于，所述第一文本描述数据包括所述检测场景对应的场景描述数据和所述检测场景对应的异常描述数据。
8.一种视频异常检测装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述视频异常检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频异常检测方法。
...【技术特征摘要】
1.一种视频异常检测方法，其特征在于，包括：
2.根据权利要求1所述的视频异常检测方法，其特征在于，所述将各所述第一样本视频的视频特征、各所述第一文本描述数据的文本特征、各所述第二样本视频的视频特征，以及各所述第二文本描述数据的文本特征，输入至任务编码模型，得到所述任务编码模型输出的任务编码，包括：
3.根据权利要求2所述的视频异常检测方法，其特征在于，任一所述正常样本的第一融合特征是基于如下方式确定：
4.根据权利要求1所述的视频异常检测方法，其特征在于，所述任务编码模型是基于如下方式训练：
5.根据权利要求1所述的视频异常检测方法，其特征在于，所述将各所述第一样本视频的视频特征、各所述第一文本描述数据的文本特征、各所述第二样本视频的视频特征，以及各所述第二文本描述数据的文本特征，输入至任务编码模型，得到所述任务编码模型...
【专利技术属性】
技术研发人员：陈茂东，谌鹏，丁东成，程大龙，常欢，殷保才，胡金水，魏思，
申请(专利权)人：科大讯飞华南人工智能研究院广州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。