对被操纵图像的检测制造技术

用于检测变形的或平均化的图像的装置(30)，其中变形的或平均化的图像是合成生成的图像，包括来自两个或更多个不同的源图像的信息，两个或更多个不同的源图像对应于两个或更多个主体。装置包括：特征提取模块，用于接收输入图像(33)并输出该图像的一组描述符特征特性；分类器模块(36)，被配置为，基于描述符特征而将输入图像认定为表明图像已经变形或平均化的第一类型或表明图像没有变形或平均化的第二类型。特征提取模块包括多个神经网络(31、32)，神经网络向分类器模块提供互补性的描述符特征。装置进一步包括融合模块(35)，用于将来自每个神经网络的描述符特征数据组合并将融合的特征数据发送给分类器模块。分类器模块包括机器学习系统，机器学习系统被训练为使用训练数据集将图像分类，训练数据集包括变形的或平均化的图像和没有变形或平均化的图像。

Detection of manipulated image

【技术实现步骤摘要】
【国外来华专利技术】对被操纵图像的检测
本专利技术涉及对被操纵图像的检测，尤其涉及为了蒙蔽身份检查和相关安全措施而操纵的图像。本专利技术特别但不限于涉及：当例如在护照或其他身份证件、此类证件的申请、边境管制应用或银行应用中使用时，对已变形的或平均化的面部图像的检测。
技术介绍
面部识别是一种广泛使用的生物测定方法，已成为日常生活的一部分。对个人的自动识别(观察到面部生物特征)，尤其是在受限条件下，可产生非常高的准确性。这一事实使面部生物测定在国际边境管制中发挥了重要作用。面部识别系统是基于过去40年从信号和模式识别算法中收集到的知识而建立的，产生了准确且可靠的面部识别算法。这种性能的提升使面部生物测定可用于从取证、监视、物理和逻辑访问控制到电子商务和电子政务应用的各种应用中。生物面部参考图像已成为电子护照和签证申请的重要部分，在十年的引进期内已发行了近8亿本这样的护照。选择面部识别作为边境管制方案的原因之一是，在假的(false)否定系统决定的情况下，边境管制官员可以进行视觉比较。与其他的生物测定方法(例如，指纹识别)相比，这是一个明显的优势。这些因素证明了面部识别在自动边境管制(ABC)电子门中的适用性。在典型的ABC系统中，通过将现场获取的面部图像与存储在电子机读旅行证件(eMRTD)护照中的面部参考图像进行比较，可自动验证eMRTD与护照持有人(向边境警卫出示eMRTD的个人)之间的关联。这有助于高度可靠且准确的边境管制过程。实际上，国际民航组织(ICAO)已决定要求将面部图像作为eMRTD的主要标识符。因此，面部图像是全球所有电子护照中唯一的生物测定参考。随着ABC系统的广泛采用，其面部识别子系统对各种攻击的脆弱性得到了更多关注。这些攻击大致可分为两类：对ABC系统的攻击和对eMRTD生物测定参考的攻击。前一类的攻击通常是通过呈现面部伪像而在护照门的获取设备(或照相机)上进行的。此类攻击称为面部欺骗或呈现攻击。但是，这些攻击在生成面部伪像(即，人工的呈现攻击工具)并将其呈现给ABC电子门时需要付出很大的努力。此外，这种攻击只有在攻击者可以访问丢失或被盗的eMRTD护照时(这将允许他准备类似于eMRTD护照中存在的面部照片的面部伪像)才能成功。后一类的攻击包括可能操纵存储在(被盗)护照的逻辑数据结构(LDS)中的生物测定数据，目的是替换参考图像。但是，这种攻击应当容易被发现，因为它们将涉及更改在面部图像数据组上计算出的哈希值。因此，一种更有效的方法是利用护照申请和签发协议中的缺陷。在本文中进一步讨论的正是这类攻击，并且与本专利技术的实施例有关。这种攻击很容易进行，因为大多数护照签发程序都会在申请过程中接受(打印的)面部照片。此外，一些国家将接受上传到网络门户的数字照片，用于更新护照和签证申请。无论在哪种情况下，这都为攻击者提供了将被操纵的面部照片提交给护照发行机构的机会，进而获得了具有所有物理和电子安全特征并包含被操纵照片的真实eMRTD护照。虽然使用生物测定亭可以解决此问题，但仅在少数护照申请办公室使用它们。适合进行对执行此类攻击来说所必需的图像操纵的软件是可免费获得的。例如，在线社交媒体经常提供允许图像修饰，特别是面部图像修饰的软件。各种不同类型的面部图像改变(例如，几何、纵横比和美化)都属于被修饰图像的类别，并且可以用于这种攻击。实际上，人们已经认识到由被修饰图像所引起的这种攻击的风险。Bharati、Singh、Vatsa和Bowyer在IEEE信息取证和安全事务(TransactionsonInformationForensicsandSecurity)(美国，IEEE)2016年9月，第11卷，第9期，第1903-1913页的“使用受指导的深度学习来检测面部修饰(DetectingFacialRetouchingUsingSupervisedDeepLearning)”的研究文章证明了数字变更对自动面部识别性能的影响。该文章还介绍了一种检测已修饰图像的算法。面部变形是另一种形式的图像操纵，它已成为对eMRTD护照和签证签发协议的最严重攻击，这些协议始终依赖于申请人提供的图像。同时，如下文所述，这会导致一个复杂的问题：由于大量免费可用的变形软件产品，创建变形的面部图像的复杂性相当低。例如，GIMP和GAP工具可以用最少的工作生成高质量的变形的面部图像。面部变形(经由整个面部变形或平均化，或基于部分的面部变形或平均化来实现)的目的是使用可从两个或更多个不同的源面部图像(对应于两个或更多个不同主体)获得的唯一信息来生成新的合成生成的面部图像。因此，面部变形与对面部图像的修饰不同，因为后者依赖于仅可从与单个主体相对应的单个源面部图像获得的唯一信息。创建的变形面部图像将实质上构成面部外观特征，所述面部外观特征与对变形的面部有贡献的多个数据主体相对应。也许令人惊讶的是，对人类专家(例如，边防警卫)而言，所得到的图像在视觉上非常类似于这两个主体，并且在自动生物面部识别系统的相似性评分方面也是如此。这为任何攻击者(例如，已知的罪犯)提供了一个将他的面部图像变形为他人(例如，没有犯罪记录的人)的面部图像并申请可由这两个人使用的eMRTD护照的机会。由于eMRTD护照现在可广泛地与用于边境管制的ABC系统一起使用，因此，攻击者无需伪造护照证件即可执行此攻击。因此，需要减轻这种攻击，以确保边境管制过程的安全性。已经在商用面部识别算法上证明了注册程序对于面部变形攻击的脆弱性。而且，已经在实验上证明了人类检测变形图像的困难——即使面部识别专家也未能检测到变形的面部图像。进一步的复杂性是：与大多数提交打印图像的国家所使用的护照申请程序一致，可以打印变形的面部图像并且接着按照ISO/IEC标准以通常300dpi的分辨率再次扫描(在护照办公室处)，用于生成ID证件。变形图像的重新数字化版本丢失了像素级信息，该像素级信息原本可帮助检测变形图像。同样，可以对数字变形的图像进行修饰以增强视觉质量，并在打印和提交之前消除任何重影外观，以使变形的图像类似于任何主体为了护照/签证签发而提交的高质量图像。已经证明，ABC系统特别容易受到对包含此类图像的eMRTD护照的攻击。迄今为止，除了专利技术人的工作以外，尚未报道有方法可以基于单个图像自动且可靠地检测变形的面部图像。
技术实现思路
根据本专利技术的第一方面，提供了一种用于检测变形的或平均化的图像的装置，其中所述变形的或平均化的图像是合成生成的图像，包括来自两个或更多个不同的源图像的信息，所述两个或更多个不同的源图像对应于两个或更多个主体，所述装置包括：特征提取模块，其用于接收输入图像并输出该图像的一组描述符特征特性；以及分类器模块，其被配置为，基于所述描述符特征而将所述输入图像认定为第一类型或第二类型，所述第一类型表明图像已经变形或平均化，所述第二类型表明图像没有变形或平均化；其中所述分类器模块包括机器学习系统，所述机器学习系统被训练为使用训练数据集对单个图像进行分类，所述训练数据集包括变形的或平均化的图像以及没有变形或平均化的图像。因此，本文档来自技高网...

【技术保护点】
1.一种用于检测变形的或平均化的面部图像的装置，其中所述变形的或平均化的图像是合成生成的图像，所述合成生成的图像包括来自两个或更多个不同的源图像的信息，所述两个或更多个不同的源图像对应于两个或更多个主体，所述装置包括：/n特征提取模块，其用于接收输入图像并输出该图像的一组描述符特征特性；以及/n分类器模块，其被配置为，基于所述描述符特征而将所述输入图像认定为第一类型或第二类型，所述第一类型表明图像已经变形或平均化，所述第二类型表明图像没有变形或平均化；/n其中所述分类器模块包括机器学习系统，所述机器学习系统被训练为使用训练数据集对单个图像进行分类，所述训练数据集包括变形的或平均化的图像以及没有变形或平均化的图像。/n

【技术特征摘要】
【国外来华专利技术】20170630 GB 1710560.21.一种用于检测变形的或平均化的面部图像的装置，其中所述变形的或平均化的图像是合成生成的图像，所述合成生成的图像包括来自两个或更多个不同的源图像的信息，所述两个或更多个不同的源图像对应于两个或更多个主体，所述装置包括：
特征提取模块，其用于接收输入图像并输出该图像的一组描述符特征特性；以及
分类器模块，其被配置为，基于所述描述符特征而将所述输入图像认定为第一类型或第二类型，所述第一类型表明图像已经变形或平均化，所述第二类型表明图像没有变形或平均化；
其中所述分类器模块包括机器学习系统，所述机器学习系统被训练为使用训练数据集对单个图像进行分类，所述训练数据集包括变形的或平均化的图像以及没有变形或平均化的图像。


2.根据权利要求1所述的装置，其中所述特征提取模块包括机器学习系统，并且所述描述符特征取决于参数，所述参数由对包括图像的训练数据集的使用而确定。


3.根据权利要求2所述的装置，其中所述训练数据集包括变形的或平均化的图像以及没有变形或平均化的图像。


4.根据前述任意一项权利要求所述的装置，其中所述变形的或平均化的图像是变形的或平均化的面部图像。


5.根据前述任意一项权利要求所述的装置，进一步包括图像预处理模块，所述图像预处理模块被布置为从所述图像提取并归一化感兴趣的区域(例如，人的面部)，并将预处理后的图像发送给所述特征提取模块。


6.根据前述任意一项权利要求所述的装置，其中所述特征提取模块包括一组滤波器，所述滤波器与所述输入图像的斑块进行卷积，以提供一组描述符特征。


7.根据权利要求6所述的装置，其中所述一组描述符特征包括一串从卷积导出的二值化量，例如BSIF，正如此处所描述的。


8.根据前述任意一项权利要求所述的装置，其中所述分类器模块包括线性支持向量机或概率协同表示分类器。


9.根据前述任意一项权利要求所述的装置，其中所述特征提取模块包括至少一个卷积神经网络。


10.根据权利要求9所述的装置，其中所述特征提取模块包括多个实质上统计独立的神经网络，所述神经网络向所述分类器模块提供互补性的描述符特征。


11.根据权利要求9或10所述的装置，其中所述神经网络包括深度卷积神经网络，优选地具有三个或更多个卷积层。


12.根据权利要求11所述的装置，其中所述描述符特征从每个深度卷积神经网络的第一完全连接层提取。


13.根据权利要求10至12中任意一项所述的装置，其中所述装置进一步包括特征级融合模块，用于将来自每个神经网络的描述符特征数据组合并将融合的(例如，级联的)特征数据发送给所述分类器模块。


14.根据权利要求9至13中任意一项所述的装置，其中使用包括变形的或平均化的图像和没有变形或平均化的图像的一组图像来对所述神经网络分别训练，以便训练它们的滤波器，从而提供适于确定一图像是否已经变形或平均化的描述符特征。

【专利技术属性】
技术研发人员：K·B·拉贾，R·拉玛钱德拉，S·文卡提什，C·布希，
申请(专利权)人：挪威科技大学，
类型：发明
国别省市：挪威;NO