一种基于强化学习的视频篡改操作检测方法及装置制造方法及图纸

本申请提供了一种基于强化学习的视频篡改操作检测方法及装置，能够使得时间信息得到充分研究，有利于提高检测结果的准确性。该方法包括：确定待检测视频中一帧图像上的第一篡改区域；基于目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的篡改区域。

【技术实现步骤摘要】
一种基于强化学习的视频篡改操作检测方法及装置
本申请涉及篡改检测
，具体涉及一种基于强化学习的视频篡改操作检测方法及装置。
技术介绍
近年来，涌现了大量基于深度学习的多媒体(如图像、视频)编辑工具和生成模型。普通人用肉眼分辨多媒体内容的真实性变得越来越困难，为了确保多媒体内容的真实性，需要对多媒体的内容进行取证。由于视频传达的信息比图像更丰富，因此视频取证在研究界引起了越来越多的关注。但是之前的研究主要集中在图像的检测中，对视频的检测也是采用逐帧图像分别进行检测的方式，并未充分考虑视频的时间信息。
技术实现思路
有鉴于此，本申请实施例致力于提供一种基于强化学习的视频篡改操作检测方法及装置，使得时间信息得到充分研究，以提高检测结果的准确性。本申请第一方面提供了一种基于强化学习的视频篡改操作检测方法，包括：确定待检测视频中一帧图像上的第一篡改区域；基于目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的篡改区域。在一种可能的实现方式中，所述基于目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的篡改区域，包括：基于所述目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的目标边界框的位置和大小，所述目标边界框为所述其他帧图像中的与所述第一篡改区域对应的区域的边界框；将所述目标边界框的位置和大小还原到与其对应的所述其他帧图像中，分割出所述其他帧图像中的篡改区域。在一种可能的实现方式中，所述分割出所述其他帧图像中的篡改区域，包括：通过语义分割模型对所述目标边界框中的图像进行分割，得到所述目标边界框中的目标对象，其中，所述目标对象为所述其他帧图像中的篡改区域。在一种可能的实现方式中，所述基于所述目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的目标边界框的位置和大小，包括：将所述第一篡改区域作为样本，通过监督学习的方式进行训练，得到第一网络；将所述第一网络作为初始网络，通过强化学习的方式确定所述目标边界框的位置和大小。在一种可能的实现方式中，所述第一篡改区域的篡改类型包括以下中的至少一种：拼接操作、复制移动操作和对象删除操作。本申请第二方面提供了一种基于强化学习的视频篡改操作检测装置，包括用于执行本申请第一方面或第一方面中任一种可能的实现方式中所述的方法的单元。本申请第三方面提供了一种基于强化学习的视频篡改操作检测装置，包括存储器和处理器。存储器用于存储指令，当所述指令被执行时，所述处理器用于执行如本申请第一方面或第一方面中任一种可能的实现方式中所述的方法。上述装置可以是一个或多个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序(也可以称为代码或指令)，当所述计算机程序在计算机上运行时，是的计算机执行如本申请第一方面或第一方面中任一实施例中所述的方法。基于上述技术方案，本申请并不是对视频中的每一帧图像单独进行篡改检测，而是在检测到某一帧图像上的第一篡改区域后，利用目标跟踪算法，对该第一篡改区域进行跟踪，从而确定其他帧图像上的篡改区域。通过目标跟踪算法，在跟踪的过程中能够使得时间信息得到充分利用，有利于提高检测结果的准确性。附图说明图1是本申请实施例提供的一种基于强化学习的视频篡改操作检测方法的示意性流程图。图2是使用本申请提供的方法与其他方法的实验结果的对比示意图。图3是本申请实施例提供的一种基于强化学习的视频篡改操作检测装置的示意性框图。图4是本申请实施例提供的另一种基于强化学习的视频篡改操作检测装置的示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。近年来，涌现了大量基于深度学习的多媒体(如图像、视频)编辑工具和生成模型。随着多媒体编辑工具的快速发展，篡改(或称为伪造)者无需专业技能即可方便地修改多媒体内容，视频篡改已经对我们生活的许多方面产生了负面影响，例如：假新闻、网络谣言、保险诈骗、甚至学术出版物等。普通用户和执法者对多媒体的身份验证感到苦恼，为了明确区分造假媒体和真实版本，多媒体取证已经进行了多年的研究。在所有篡改操作中，基于对象的篡改操作在语义级别更改多媒体内容方面起着重要作用。一些常规操作，例如中值滤波、重采样，被用于减轻后处理中的篡改伪像。与这些常规操作不同，基于对象的伪造可以直接更改多媒体内容传递的消息。因此，本申请实施例的方法主要针对基于对象的篡改操作。本申请实施例中的对象可以包括静态对象和动态对象。一般而言，基于对象的篡改操作可分为三类：复制移动操作、拼接操作和对象删除操作。本申请实施例中的篡改操作的类型可以为其中的一种或多种类型。复制移动操作是指添加同一视频中的对象，具体可以指复制当前视频中的一个区域以替换当前视频中的另一个区域。拼接操作是指添加其他视频中的对象，具体可以指使用来自其他视频的内容替换部分当前视频中的内容。与复制移动操作不同，被篡改的区域必须来自另一个视频。对象删除操作是指从当前视频中移除对象。与图像相比，视频包含更丰富的运动信息和更高的数据维数，因此视频取证在研究界引起了越来越多的关注。但是之前的研究主要集中在图像的检测中，对视频的检测也是采用逐帧图像分别进行检测的方式，并未充分考虑视频的时间信息。例如，在篡改检测中，是将视频分成多个帧图像，然后对该多个帧图像分别进行检测，来确定该多个帧图像的篡改区域。这种检测方式并未考虑连续帧图像在时间上的关联性，容易造成检测结果不准确。基于此，本申请实施例提供一种基于强化学习的视频篡改操作检测的方法，能够在篡改检测的过程中考虑时间信息，提高检测结果的准确性。如图1所示，该方法包括步骤S110～S120。S110、确定待检测视频中一帧图像上的第一篡改区域的位置和大小。该一帧图像可以是视频中的任意一帧被篡改的图像。例如，如果视频中有多帧图像被篡改，则该一帧图像可以是该多帧图像中的任意一帧图像。当然，如果该一帧图像为该多帧被篡改的图像中的第一帧图像，则将在后续的跟踪过程中使得时间信息得到充分考虑，能够进一步提高检测结果的准确性。本申请实施例中的篡改区域可以称为篡改痕迹特征，或者也可以称为特征图。S120、基于目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的篡本文档来自技高网...

【技术保护点】
1.一种基于强化学习的视频篡改操作检测方法，其特征在于，包括：/n确定待检测视频中一帧图像上的第一篡改区域；/n基于目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的篡改区域。/n

【技术特征摘要】
1.一种基于强化学习的视频篡改操作检测方法，其特征在于，包括：
确定待检测视频中一帧图像上的第一篡改区域；
基于目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的篡改区域。


2.根据权利要求1所述的方法，其特征在于，所述基于目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的篡改区域，包括：
基于所述目标跟踪算法，在所述待检测视频中的其他帧图像中对所述第一篡改区域进行跟踪，确定所述其他帧图像中的目标边界框的位置和大小，所述目标边界框为所述其他帧图像中的与所述第一篡改区域对应的区域的边界框；
将所述目标边界框的位置和大小还原到与其对应的所述其他帧图像中，分割出所述其他帧图像中的篡改区域。


3.根据权利要求2所述的方法，其特征在于，所述分割出所述其他帧图像中的篡改区域，包括：
通过语义分割模型对所述目标边界框中的图像进行分割，得到所述目标边界框中的目标对象，其中，所述目标对象为所述其他帧图像中的篡改区域。


4.根据...

【专利技术属性】
技术研发人员：金骁，许静，何振，于家伟，吴杰胜，易康，
申请(专利权)人：南开大学，
类型：发明
国别省市：天津;12