伪造视频检测制造技术

使用视频(212)的一个或多个帧的图像分析(306)和频域分析(310)来检测所述视频是否是从原始视频(200)衍生并且进行更改的伪造视频。所述分析可以使用神经网络来实施(302)。所述分析可以使用神经网络来实施(302)。所述分析可以使用神经网络来实施(302)。

【技术实现步骤摘要】
【国外来华专利技术】伪造视频检测


[0001]本申请总体上涉及技术上创新的非常规解决方案，这些解决方案必须源于计算机技术并产生具体的技术改进。

技术介绍

[0002]如本文所理解，现代数字图像处理与深度学习算法相结合，呈现如下有趣且令人愉快但潜在地险恶的能力：将一个人的视频图像更改为另一个人的图像，或者通过以此人的声音说出此人实际上从未说过的话的这种方式更改此人的视频。虽然这种能力可以轻松的方式使用，但它也可用于通过使得看起来好像此人说了诋毁的话来诽谤个人。因此，本文提供了用于确定视频是真的还是由机器学习生成的伪造品的技术

技术实现思路

[0003]因此，一种系统包括至少一个面部检测模块，其用于接收图像并确定在图像中是否存在图像中的面部上的至少一个纹理不规则性或图像中的面部与背景之间的至少一个纹理不规则性，或两者。系统还包括用于接收图像的至少一个第一神经网络；用于接收图像并将频谱输出到至少一个第二神经网络的至少一个离散傅里叶变换(DFT)；以及用于访问由面部检测模块、第一神经网络和第二神经网络输出的特征以确定图像是否从原始图像更改并提供代表其的输出的至少一个检测模块。
[0004]纹理不规则性可以包括棋盘图案。
[0005]检测模块可以至少部分地通过检测频谱中的至少一个不规则性来确定图像从原始图像更改。
[0006]频谱中的不规则性可以包括比原始图像中的对应区域更亮的至少一个亮度区域。亮度区域可以在频域中沿着图像的周边定位。实际上，频谱中的不规则性可以包括在频域中沿着图像的周边定位的多个亮度区域。
[0007]面部检测模块可以被配置用于输出指示图像中的面部上的照明不规则性的特征向量，所述照明不规则性指示图像已从原始图像更改。
[0008]在另一方面，一种方法包括通过面部检测模块处理图像以输出特征向量，所述特征向量指示图像中的面部上的至少一个照明不规则性，或图像中的至少一个纹理不规则性，或两者。所述方法还包括通过至少一个离散傅里叶变换(DFT)和至少一个神经网络来处理图像以输出指示在频域中的图像中的至少一个不规则性的特征向量，并至少部分地基于特征向量返回图像已从原始图像更改的指示。
[0009]在另一方面，一种设备包括具有指令的至少一个计算机存储介质，所述指令可由至少一个处理器执行以通过图像检测模块处理图像以确定空间域中的图像中是否存在不规则性。指令可执行以将图像转换到频域并在频域中处理图像以确定频域中是否存在不规则性。指令可执行以至少部分地基于确定图像中存在不规则性，输出图像从原始图像数字地更改的指示。
[0010]可以响应于确定频域中的不规则性或空间域中的不规则性中的任一个来输出图像从原始图像数字地更改的指示。或者，可以仅响应于确定频域中的不规则性和空间域中的不规则性两者来输出图像从原始图像数字地更改的指示。
[0011]可以参考附图最佳地理解本申请的关于其结构和操作两者的细节，在附图中，相同的附图标记指代相同的部分，并且在附图中：
附图说明
[0012]图1是包括根据本专利技术原理的示例的示例系统的框图；
[0013]图2是示出真实视频和自真实视频衍生的伪造视频的示意图；
[0014]图3是用于使用图像处理和频域分析两者来检测伪造视频的示例逻辑的流程图；
[0015]图4是用于训练图3中使用的神经网络的示例逻辑的流程图；
[0016]图5示出真实视频帧和对应伪造视频帧的图示，示出了伪造帧中的伪影；
[0017]图6是用于执行图3的逻辑的示例神经网络架构的框图；
[0018]图7是用于使用视频序列分析检测伪造视频的示例逻辑的流程图；
[0019]图8是用于执行图7的逻辑的示例性神经网络架构的框图；
[0020]图9是用于采用区块链技术处理伪造视频生成的示例逻辑的流程图；
[0021]图10是用于向互联网服务提供商(ISP)或经销商报告伪造视频以便ISP/经销商可以将此视频从公众视野中移除的示例用户界面(UI)的屏幕截图；
[0022]图11是用于记录或上传或下载视频以及视频中嵌入的验证散列的示例逻辑的流程图；
[0023]图12是用于回放图11中记录或访问的视频的示例逻辑的流程图，其中散列用于验证真实性；
[0024]图13是使用先前原理的混合逻辑的示例逻辑的流程图；
[0025]图14示出两组真实图像和更改图像中的示例照明伪影；
[0026]图15示出图像中的示例生成对抗网络(GAN)伪影或不规则性；以及
[0027]图16使用真实和更改图像示出另一与GAN相关的伪影或不规则性。
具体实施方式
[0028]本公开总体上涉及计算机生态系统，其包括消费型电子(CE)装置网络的各个方面，例如但不限于计算机模拟网络，例如计算机游戏网络以及独立的计算机模拟系统。本文的系统可以包括通过网络连接的服务器和客户端部件，使得可以在客户端与服务器部件之间交换数据。客户端部件可以包括一个或多个计算装置，所述计算装置包括例如Sony或由微软(Microsoft)或任天堂(Nintendo)或其他制造商制作的游戏控制台等游戏控制台，虚拟现实(VR)头戴式耳机、增强现实(AR)头戴式耳机、便携式电视机(例如智能TV、启用互联网的TV)、便携式计算机(例如膝上型计算机和平板计算机)以及其他移动装置(包括智能手机和下面讨论的附加示例)。这些客户端装置可在多种操作环境下操作。例如，一些客户端计算机可以采用例如Linux操作系统、来自微软的操作系统或Unix操作系统，或由苹果计算机或谷歌生产的操作系统。可以使用这些操作环境来执行一个或多个浏览程序，例如由微软或谷歌或摩斯拉制作的浏览器，或可访问由下文论述的互联网服
务器托管的网站的其他浏览器程序。此外，根据本专利技术原理的操作环境可以用于执行一个或多个计算机游戏程序。
[0029]服务器和/或网关可以包括执行指令的一个或多个处理器，所述指令将服务器配置为通过例如互联网的网络来接收和传输数据。或者，客户端和服务器可以通过本地内联网或虚拟专用网络进行连接。服务器或控制器可以由例如Sony个人计算机等游戏控制台实例化。
[0030]信息可以在客户端与服务器之间通过网络进行交换。为此目的并且为了安全起见，服务器和/或客户端可以包括防火墙、负载平衡器、临时存储装置和代理，以及用于可靠性和安全性的其他网络基础设施。一个或多个服务器可以形成一种设备，所述设备实现向网络成员提供例如在线社交网站的安全社区的方法。
[0031]如本文使用，指令是指用于处理系统中的信息的计算机实现的步骤。指令可以在软件、固件或硬件中实现，并且包括由系统部件执行的任何类型的编程步骤。
[0032]处理器可以是任何常规通用单芯片或多芯片处理器，所述处理器可以借助于例如地址线、数据线和控制线的各种线以及寄存器和移位寄存器来执行逻辑。
[0033]通过本文的流程图和用户界面描述的软件模块可以包括各种子例程、程序等。在不限制本公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，其包括：至少一个面部检测模块，其用于接收图像并确定在所述图像中是否存在所述图像中的面部上的至少一个纹理不规则性或所述图像中的所述面部与背景之间的至少一个纹理不规则性，或两者；至少一个第一神经网络，其用于接收所述图像；至少一个离散傅里叶变换(DFT)，其用于接收所述图像并将频谱输出到至少一个第二神经网络；至少一个检测模块，其用于访问由所述面部检测模块、所述第一神经网络和所述第二神经网络输出的特征以确定所述图像是否从原始图像更改并提供代表其的输出。2.如权利要求1所述的系统，其中所述纹理不规则性包括棋盘图案。3.如权利要求1所述的系统，其中所述检测模块至少部分地通过检测所述频谱中的至少一个不规则性来确定所述图像从原始图像更改。4.如权利要求3所述的系统，其中所述频谱中的所述不规则性包括比所述原始图像中的对应区域更亮的至少一个亮度区域。5.如权利要求4所述的系统，其中所述亮度区域在频域中沿着所述图像的周边定位。6.如权利要求3所述的系统，其中所述频谱中的所述不规则性包括多个亮度区域。7.如权利要求6所述的系统，其中所述多个亮度区域在频域中沿着所述图像的周边定位。8.如权利要求1所述的系统，其中所述面部检测模块被配置用于输出指示所述图像中的面部上的照明不规则性的特征向量，所述照明不规则性指示所述图像已从所述原始图像更改。9.一种方法，其包括：通过面部检测模块处理图像以输出特征向量，所述特征向量指示所述图像中的面部上的至少一个照明不规则性，或所述图像中的至少一个纹理不规则性，或两者；通过至少一个离散傅里叶变换(DFT)和至少一个神经网络来处理所述图像以输出特征向量，所述特征向量指示在频域中的所述图像中的至少一个不规则性；以及至少部分地基于所述特征向量返回所述图像已从原始图像更改的指示。10.如权利要求9所述的方法，其中所述纹理不规则性包括所述图像中的面部上的纹理不规则性或所述图...

【专利技术属性】
技术研发人员：X叶，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：