双盲隐私保护的人脸检索方法与系统技术方案

本发明专利技术涉及一种双盲隐私保护的人脸检索方法与系统。该方法包括：1)客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像，得到人脸图像；2)客户端对检测到的人脸图像进行特征提取，得到人脸表征向量；3)客户端对人脸图像和提取得到人脸表征向量进行加密并上传到云服务器；云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果，并将匹配结果解密成人脸图像；4)客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是真正的失踪人员。本发明专利技术具有良好的隐私保护性、较高的精度以及处理速度，能够提供行之有效的失踪人员尤其是失踪儿童的找回方案。

【技术实现步骤摘要】
双盲隐私保护的人脸检索方法与系统
本专利技术属于人工智能和信息安全领域，尤其涉及一种双盲隐私保护下的儿童人脸检索方法及系统，尤其适用于儿童人脸检索领域。
技术介绍
据统计每天全世界范围内在美国、英国和德国分别有约46万、11.3万和10万的儿童失踪。基于人脸是区分个体之间的一个基本属性，为了找回失去的儿童，目前已经开发了一些有效的手段，例如通过失踪与受虐儿童援助中心(theCenterofMissing&ExploitedChildren，CME)，失踪儿童的父母可以将包含失踪的时间地点及真正失踪儿童的照片信息发布，如果有人看到该失踪儿童则可以告知在哪里以及什么时间发现，从而能够帮助找回失踪儿童。近年来，随着社交网络和移动手机的快速发展，通过热心人士在街上拍摄可疑失踪儿童的照片然后张贴到社交网络上正在成为一种找回失踪儿童的可行方式。尽管如此，这种方式会带来隐患，可疑失踪儿童照片的曝光可能造成隐私被侵犯，而真正失踪儿童则甚至存在被二次伤害的危险。因此，需要一种行之有效的方案，能够在有效找回失踪儿童的同时，保证两方的安全，既能避免可疑失踪儿童照片隐私泄露又能防止真正失踪儿童受到二次伤害。早期的方法采用加密工具如安全多方计算、秘密共享、同态加密等进行安全环境下的视觉计算，这些方法取得了很好的安全性，但是通常要求云端保留原始照片，造成了隐私泄露，并且这些方法往往计算复杂度非常高；另外一类方法通过功能性加密提升系统的计算效率，但是要求提取的特征稳定以保证精度。
技术实现思路
为克服现有技术的不足，本专利技术提供了一种双盲隐私保护的人脸检索方法及系统(DoubleBlindFinder)，通过低维多属性对人脸进行表征并采用盲人脸匹配，实现高效安全的人脸检索。在这里，双盲指的在客户端和云端的操作都是安全环境下进行的，可疑失踪人员(如可疑失踪儿童)以及真正失踪人员(如真正失踪儿童)图片的隐私在这两端都得到保护。本专利技术方法和系统由客户端和云端实现，并涉及三方之间的交互：1)社交网络帮助者(SocialNetworkHelpers,SNH)，他们根据场景发现可疑的失踪人员如失踪儿童后拍摄照片，通过系统进行儿童人脸信息的标注、提取及加密上传到云服务器，这些信息组成了待检索的儿童人脸特征库。2)失踪人员亲属，如失踪儿童父母(ParentsofMissingChildren,PMC)，他们可以将真正失踪儿童的照片通过系统进行信息标注、提取及加密上传到云服务器；另一方面，PMC还可以通过系统浏览与自己的真正失踪儿童相匹配的照片进行确认。3)失踪人员援助中心，如失踪与受虐儿童援助中心(CME)，产生密钥用于加密儿童人脸信息，对匹配与确认结果进行反馈，如果确认是真正失踪儿童，则执行援助，找回失踪儿童。为解决上述技术问题，本专利技术通过以下技术方案来实现：一种双盲隐私保护的人脸检索方法，包括以下步骤：1)客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像，得到人脸图像；2)客户端对检测到的人脸图像进行特征提取，得到人脸表征向量；3)客户端对人脸图像和提取得到人脸表征向量进行加密并上传到云服务器；以便云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果，并将匹配结果解密成人脸图像；4)客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是真正的失踪人员。一种双盲隐私保护的人脸检索方法，包括以下步骤：1)云服务器接收客户端上传的加密后的人脸图像和人脸表征向量；其中人脸图像是客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像而得到，人脸表征向量是客户端对检测到的人脸图像进行特征提取而得到；2)云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果；3)云服务器将匹配结果解密成人脸图像并发给客户端，以便客户端确认是否是真正的失踪人员。进一步地，所述失踪人员为失踪儿童，客户端检测来自SNH拍摄的包含可疑失踪儿童的图像或者来自PMC提供的包含真正失踪儿童的图像，得到儿童人脸图像；云服务器对来自SNH的儿童人脸图像信息与来自PMC的儿童人脸信息在加密域上进行匹配，得到匹配结果；PMC的客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是自己的真正失踪儿童。进一步地，所述客户端采用多属性的人脸识别器，提取得到人脸的身份向量以及两个辅助的属性，即性别和年龄。进一步地，所述客户端采用以下子步骤对包含可疑失踪人员的图像进行加密：a)采用根据可疑失踪人员的图像提取到的多属性特征向量和失踪人员援助中心提供的公共参数，产生一对公钥PKF和PKI；b)采用PKF对匹配标记F进行加密，形成密文标记CF；c)对可疑失踪人员人脸图像采用PKI进行加密，形成密文图像CI；d)将密文标记CF和密文图像CI上传到云服务器。进一步地，所述客户端采用根据真正失踪人员照片提取到的多属性特征向量和失踪人员援助中心提供的主密钥，产生一对私钥SKF和SKI，这两个私钥返回给失踪人员亲属。进一步地，所述云服务器采用盲匹配算法在加密域将SKF与云服务器中的每个密文标记CF进行检索匹配；如果匹配，则将对应的密文图像CI推送给失踪人员亲属，并采用SKI进行解密，得到解密图像I；以便失踪人员亲属对解密图像I进行检查确认是否是真正失踪人员。进一步地，所述云服务器采用安全内积算法进行匹配，包括以下步骤：a)输入公钥PKF、私钥SKF、密文标记集{CF}以及匹配分数阈值范围；b)对每个密文标记CF进行逐个比较检索，具体是对分数阈值t在阈值范围内由小到大进行循环，对每个阈值t，利用该阈值下的密文标记CF,t解密得到密文m；c)判断该密文m是否属于可疑失踪人员，如果是则停止训练，将该密文m对应的信息加入匹配列表。一种用于双盲隐私保护的人脸检索的客户端，其包括；人脸检测模块，负责检测包含可疑失踪人员的图像或者包含真正失踪人员的图像，得到人脸图像；人脸特征提取模块，负责对检测到的人脸图像进行特征提取，得到人脸表征向量；人脸信息加密模块，负责对人脸图像和提取得到人脸表征向量进行加密并上传到云服务器。一种用于双盲隐私保护的人脸检索的云服务器，其包括；盲匹配模块，负责接收所述客户端上传的加密后的人脸图像和人脸表征向量，并对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果；匹配确认及处理模块，负责将匹配结果解密成人脸图像并发给所述客户端，以便所述客户端确认是否是真正的失踪人员。一种双盲隐私保护的人脸检索系统，其包括上面所述的客户端和云服务器。本专利技术的有益效果在于：针对隐私保护下的失踪人员人脸检索问题，尤其是双盲隐私保护下的儿童人脸检索问题，本专利技术的检索方法及系统具有良好的隐私保护性、较高的精度以及处理速度，能够提供行之有效的失踪人员如失踪儿童的找回方案。附图说明图1为本专利技术实施例中双盲隐私保护的儿童人脸检索方法的流程图。图2为本专利技术实施例中儿童人脸处理流程图。图3为本专利技术实施例中多属性人脸识别的深度学习网络结构示意图。图4为本专利技术实施例中盲匹配流程图。具体实施方式为使本专利技术的上述方案和有益效果更明显易懂，下文通过实施例本文档来自技高网...

【技术保护点】
1.一种双盲隐私保护的人脸检索方法，其特征在于，包括以下步骤：1)客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像，得到人脸图像；2)客户端对检测到的人脸图像进行特征提取，得到人脸表征向量；3)客户端对人脸图像和提取得到人脸表征向量进行加密并上传到云服务器；以便云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果，并将匹配结果解密成人脸图像；4)客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是真正的失踪人员。

【技术特征摘要】
1.一种双盲隐私保护的人脸检索方法，其特征在于，包括以下步骤：1)客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像，得到人脸图像；2)客户端对检测到的人脸图像进行特征提取，得到人脸表征向量；3)客户端对人脸图像和提取得到人脸表征向量进行加密并上传到云服务器；以便云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果，并将匹配结果解密成人脸图像；4)客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是真正的失踪人员。2.一种双盲隐私保护的人脸检索方法，其特征在于，包括以下步骤：1)云服务器接收客户端上传的加密后的人脸图像和人脸表征向量；其中人脸图像是客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像而得到，人脸表征向量是客户端对检测到的人脸图像进行特征提取而得到；2)云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果；3)云服务器将匹配结果解密成人脸图像并发给客户端，以便客户端确认是否是真正的失踪人员。3.根据权利要求1或2所述的方法，其特征在于，所述失踪人员为失踪儿童，客户端检测来自SNH拍摄的包含可疑失踪儿童的图像或者来自PMC提供的包含真正失踪儿童的图像，得到儿童人脸图像；云服务器对来自SNH的儿童人脸图像信息与来自PMC的儿童人脸信息在加密域上进行匹配，得到匹配结果；PMC的客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是自己的真正失踪儿童。4.根据权利要求1或2所述的方法，其特征在于，所述客户端采用多属性的人脸识别器，提取得到人脸的身份向量以及两个辅助的属性，即性别和年龄。5.根据权利要求1或2所述的方法，其特征在于，所述客户端采用以下步骤对包含可疑失踪人员的图像进行加密：a)采用根据可疑失踪人员的图像提取到的多属性特征向量和失踪人员援助中心提供的公共参数，产生一对公钥PKF和PKI；b)采用PKF对匹配标记F进行加密，形成密文标记...

【专利技术属性】
技术研发人员：葛仕明，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11