【技术实现步骤摘要】
视频替换检测及其模型的训练方法及装置
[0001]本说明书一个或多个实施例涉及终端
，尤其涉及一种视频替换检测及其模型的训练方法及装置。
技术介绍
[0002]随着Deepfake等视频替换算法和工具使用门槛的降低，越来越多经过替换的假视频、假新闻流传在互联网上，视频替换检测技术的需求越来越高。
[0003]现有技术中，一般借助分类器进行视频替换检测，具体的，将从待检测视频抽取的各帧图像分别输入分类器进行检测，将各帧图像的检测结果进行加权融合，根据融合结果确定该待检测视频是否经过替换。
技术实现思路
[0004]有鉴于此，本说明书一个或多个实施例提供一种视频替换检测及其模型的训练方法及装置。
[0005]为实现上述目的，本说明书一个或多个实施例提供技术方案如下：
[0006]根据本说明书一个或多个实施例的第一方面，提出了一种视频替换检测方法，包括：
[0007]从待检测视频中抽取多帧图像，并提取每帧图像的图像特征向量；
[0008]生成所述待检测视频对应的视频特征...
【技术保护点】
【技术特征摘要】
1.一种视频替换检测方法，其特征在于，包括：从待检测视频中抽取多帧图像，并提取每帧图像的图像特征向量；生成所述待检测视频对应的视频特征向量，所述视频特征向量与针对所述多帧图像对应的图像特征向量的融合结果相关；根据所述视频特征向量确定所述待检测视频是否经过替换。2.根据权利要求1所述的视频替换检测方法，其特征在于，生成所述待检测视频对应的视频特征向量，包括：基于至少一个维度对所述多帧图像进行分组，各图像分组包含相邻的至少两帧图像，所述维度与每个图像分组中包含的图像数量相对应；融合各图像分组对应的时序特征向量，其中，所述时序特征向量由所述图像分组包含的图像对应的图像特征向量组合而成；将所述时序特征向量的融合结果与所述图像特征向量的融合结果进行拼接，得到所述视频特征向量。3.根据权利要求2所述的视频替换检测方法，其特征在于，融合各图像分组对应的时序特征向量，包括：将各图像分组对应的时序特征行向量作为卷积核；分别采用每个卷积核对所述多帧图像对应的图像特征向量进行卷积处理，得到对应于各个卷积核的第一卷积结果；对各个第一卷积结果进行加权融合，得到所述时序特征向量的融合结果。4.根据权利要求3所述的视频替换检测方法，其特征在于，对各个第一卷积结果进行加权融合，包括：基于注意力机制确定各个第一卷积结果的权重；基于所述权重对所述各个第一卷积结果进行加权融合。5.根据权利要求1～4任一项所述的视频替换检测方法，其特征在于，融合所述多帧图像对应的图像特征向量，包括：依次将所述多帧图像中每帧图像对应的图像特征向量作为卷积核；分别采用每个卷积核对所述多帧图像对应的图像特征向量进行卷积处理，得到对应于各个卷积核的第二卷积结果；对各个第二卷积结果进行加权融合，所述加权融合的结果用于确定所述视频特征向量。6.根据权利要求5所述的视频替换检测方法，其特征在于，采用所述卷积核对所述多帧图像对应的图像特征向量进行卷积处理，包括：采用所述卷积核对所述多帧图像对应的图像特征向量组成的矩阵进行卷积处理，以根据所述卷积处理的结果确定所述第二卷积结果；或者，采用所述卷积核分别对各帧图像对应的图像特征向量进行卷积处理，并将得到的对应于各帧图像的初始卷积结果拼接为与所述卷积核对应的第二卷积结果。7.根据权利要求6所述的视频替换检测方法，其特征在于，对各个第二卷积结果进行加权融合，包括：基于注意力机制确定各个第二卷积结果的权重；
基于所述权重对所述各个第二卷积结果进行加权融合。8.根据权利要求1所述的视频替换检测方法，其特征在于，生成所述待检测视频对应的视频特征向量，包括：将所述各帧图像对应的图像特征向量输入长短期记忆网络或3D卷积神经网络进行特征向量融合处理，由所述长短期记忆网络或3D卷积神经网络输出所述视频特征向量。9.根据权利要求1所述的视频替换检测方法，其特征在于，根据所述视频特征向量确定所述待检测视频是否经过替换，包括：将所述视频特征向量输入分类器进行识别，由所述分类器输出所述待检测视频是否经过替换的结果。10.根据权利要求1所述的视频替换检测方法，其特征在于，所述视频替换检测方法由视频替换检测模型执行；所述视频替换检测模型包含特征提取子模型、特征融合子模型和检测子模型；所述提取每帧图像的图像特征向量，包括：所述图像经过所述特征提取子模型的特征提取，得到所述图像的图像特征向量；所述生成所述待检测视频对应的视频特征向量，包括：各帧图像对应的图像特征向量...
【专利技术属性】
技术研发人员：李小丹，毛潇锋，陈岳峰，郎一宁，何源，薛晖，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。