一种视频检测方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种视频检测方法、装置、电子设备及存储介质，所述方法包括：获取待检测的视频；提取音频特征数据；提取视频特征数据；确定音频特征数据和视频特征数据之间的特征距离；判断视频的真伪，基于音频特征数据、视频特征数据和特征距离来判断视频的真伪。本方法中，使用音频特征数据对视频特征数据中的嘴部区域执行注意力机制，强化了视频的嘴部区域的特征，同时，由于考虑了音频、视频、音视频多模态特征距离三个维度的虚假视频判别，从而能够有效的提升算法泛化性和鲁棒性，使得该方法具有泛化性好、可靠性高等优点。可靠性高等优点。可靠性高等优点。

【技术实现步骤摘要】
一种视频检测方法、装置、电子设备及存储介质


[0001]本申请涉及视频检测
，尤其涉及一种虚假视频检测方法、装置、电子设备和存储介质。

技术介绍

[0002]随着近两年Deepfake技术在国外Reddit论坛上的迅速爆火，Deepfake技术所带来的道德伦理问题也越来越被社会广泛关注。Deepfake是指利用机器学习技术，将视频中的人脸换成给定人脸，伪造人脸的逼真程度，人眼几乎无法分辨，从而达到伪造视频的作用。这项技术原本用于影视制作等行业帮助人们方便地编辑和生成视频内容。Deepfake技术被广泛关注的原因在于，它容易被别有用心者用来伪造个人或公众任务的视频，制造虚假新闻、恶意视频、色情传播等，轻则侵犯个人肖像权和隐私权，重则严重损害新闻媒体的公信度，破坏社会治安和国家安全，对社会新闻传播产生重大不利影响。
[0003]基于此，虚假视频检测技术也引起了学术界和工业界的广泛关注，越来越国内外学者和研究机构开始展开虚假视频检测技术的研究。
[0004]目前的已有的虚假视频检测技术，大多基于深度神经网络，对单帧人脸图片或多帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频检测方法，其特征在于，所述方法包括：获取待检测的视频，所述视频包括音频数据和视频数据；提取所述音频数据的音频特征数据，并提取所述视频数据的视频特征数据；转换所述音频特征数据和所述视频特征数据到同一模态，并计算转换到同一模态的所述音频特征数据和所述视频特征数据之间的特征距离；基于所述音频特征数据、所述视频特征数据以及所述特征距离来判断所述视频的真伪。2.根据权利要求1所述的视频检测方法，其特征在于，所述提取所述视频数据的视频特征数据包括：提取所述视频数据的初步视频特征数据；执行空间注意力操作，使用所述音频特征数据对所述初步视频特征数据中的发音关联区域执行空间注意力操作以得到所述视频特征数据。3.根据权利要求2所述的视频检测方法，其特征在于，所述发音关联区域包括所述视频特征数据中的人脸的嘴部区域、颏部区域以及颊部区域中的至少一个区域。4.根据权利要求2所述的视频检测方法，其特征在于，基于所述音频特征数据、所述视频特征数据以及所述特征距离来判断所述视频的真伪包括：确定视频数据的真伪，基于所述初步视频特征数据或所述视频特征数据来确定所述视频数据的真伪。5.根据权利要求1或4所述的视频检测方法，其特征在于，基于所述音频特征数据、所述视频特征数据以及所述特征距离来判断所述视频的真伪包括：确定所述特征距离是否小于预定阈值。6.根据权利要求5所述的视频检测方法，其特征在于，基于所述音频特征数据、所述视频特征数据以及所述特征距离来判断所述视频的真伪包括：确定音频数据的真伪，基于所述音频特征数据来确定所述音频数据的真伪，当所述特征距离小于所述预定阈值且所述音频数据的真伪和所述视频数据的真伪的确定结果均为真时，判断所述视频为真视频。7.根据权利要求4所述的视频检测方法，其特征在于，所述确定视频数据的真伪包括：对所述初步视频特征数据或所述视频特征数据在空间维度上进行全局...

【专利技术属性】
技术研发人员：胡诗卉，何山，胡金水，殷兵，刘聪，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：