一种基于卷积神经网络的照片背景相似度聚类方法及计算机技术

本发明专利技术公开了一种基于卷积神经网络的照片背景相似度聚类方法，包括如下步骤：基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向；将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取；将进行实例分割的图像进行背景分离；对分离的背景图像进行特征提取获得高维空间特征图；对高维空间特征图进行相似度聚类处理。本发明专利技术还提供了实施上述方法的计算机程序系统；本发明专利技术基于像素级的实例分割算法，检测得到并去除真实应用场景下的前景区域(人像和身份证)，通过背景区域进行相似度对比，同时利用迁移训练得到的卷积神经网络可大大提高识别的准确率。

【技术实现步骤摘要】
一种基于卷积神经网络的照片背景相似度聚类方法及计算机
本专利技术属于图形处理
，具体而言，为一种基于卷积神经网络的照片背景相似度聚类方法及计算机。
技术介绍
支付作为消费者与销售者之间金融交换，涉及到金钱相关的环节，作为第三方支付公司，首先是要保证用户账户和支付的安全，多分市场研究报告指出：全球每年欺诈损失总额大概超过500亿美元。仅去年一年，全球信用卡、借记卡、预付卡和私有品牌支付卡的损失就高达163.1亿美元。电子零售商和批发商因欺诈损失的金额占其年收入的7.5％以上，每年保险欺诈(不包括健康险)的损失总额大概超过400亿美元。DataVisor研究表明，大规模的资金风险都具有“抱团围攻”的现象，黑产欺诈人员会先通过虚假注册、身份盗用等形式获取大批账号的使用权，然后利用群控软件或者网络众包的形式进行团伙欺诈，他们常用猫池、手机墙、模拟器、刷机等手段和工具躲避传统黑名单和基于设备规则的检测。在实际业务当中，为了对用户进行实名验证需用户上传手持身份证好评，然而我们发现欺诈团伙上传的照片存在类似的背景，比如在同一个酒店房间等。对于此类欺团伙欺诈行为，人工审核时存在一定难度。由于样本的多样性和不规则性，随着待审核的证照数量的增加，人工审核的难度急剧上升，并且该场景下难以进行任务分割和并行执行。经查阅，发现国内外相关照片仅有针对照片相似度的分析应用。在应用场景上，2018年云栖大会上，阿里淘宝针对退货场景当中用户上传的图片进行相似分析，以解决用户欺诈问题。另外，在腾讯手机管家当中，用户通过选择“相似照片”就可以看到扫描出来的相似照片，进行照片清理，节省存储空间。在技术端，现有的与照片相似分析相关专利主要集中在对整张图片进行相似度计算。pHash方法作为图片相似度计算的主要方法之一，主要有基于DCT的hash方法和基于径向投影的hash方法。两种方法是从不同角度来表达图像，最后通过计算两图片hash值的汉明距离来计算相似度。如专利申请号为CN201710003657.7的专利技术专利中公开的一种图片相似度计算方法，用基于DCT的hash方法分别计算两个图片的hash值以及两个hash值之间的汉明距离dis_h，继而根据汉明距离计算两图片的相似度。基于DCT的hash方法的思路是使用离散余弦变换(DCT)提取图片的低频成分，先将图片转换成标准大小的灰度图，然后对灰度图做DCT变换，再从系数矩阵中提取出64位的hash值作为指纹，只要图片的整体结构保持不变，指纹就不变，能够避免伽马校正或颜色直方图被调整带来的影响，最后通过计算两图片指纹的汉明距离来得到相似度。基于径向投影的hash方法的思路是首先会过灰度图中心计算朝等角度间隔的180个方向上像素值的方差，然后计算由这180个方差构成的特征向量的DCT，并从DCT系数矩阵中提取出64位的hash值作为指纹，最后通过计算两指纹间的皮尔逊相关系数来得到两图片间的相似度。此方法可以保留图像中的几何特征，且对图像旋转有一定的鲁棒性，但由于需要计算皮尔逊相关系数，计算速度比方法一慢。但通过单一的pHash算法计算图片相似度，经常会出现内容截然不同的图片间计算得到的相似度非常高的情况，极有可能产生误判，不能保证结果的准确性。另一方面，该种方法不能针对图片局部特征进行相似度计算，无法解决业务场景中存在的问题。
技术实现思路
本专利技术要解决的技术问题在于克服现有技术的不足，提供一种基于卷积神经网络的照片背景相似度聚类方法，提高识别的准确率。为解决上述技术问题，本专利技术采用技术方案的基本构思是：一种基于卷积神经网络的照片背景相似度聚类方法，包括如下步骤：基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向；将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取；将进行实例分割的图像进行背景分离；对分离的背景图像进行特征提取获得高维空间特征图；对高维空间特征图进行相似度聚类处理。进一步的，上述的基于卷积神经网络的照片背景相似度聚类方法中，所述基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向，包括：通过开源数据集与原始图像中的场景进行匹配，确定识别目标；基于多任务级联卷积神经网络算法校正原始图像中的识别目标方向。进一步的，上述的基于卷积神经网络的照片背景相似度聚类方法中，所述将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取，包括：根据原始图像预处理结果，确定包含所述识别目标的前景图像特征与背景图像特征；利用MS-COCO目标识别数据集上预训练过的Mask-RCNN模型作为baseline模型，基于少量人工标注的包含所述识别目标类别实例的带标记的实例分割样本和自动合成的带背景的识别目标实例分割样本做迁移学习，训练得到针对识别目标类别实例的所述原始图像所属场景下的实例分割模型；在测试时将原始图像中被实例分割模型检测到的mask部分切除，获得背景图像。进一步的，上述的基于卷积神经网络的照片背景相似度聚类方法中，所述对分离的背景图像进行特征提取获得高维空间特征图，包括：针对用于特征提取的卷积神经网络的输入对获得的背景图像进行预处理；通过卷积神经网络模型对预处理的背景图像进行特征提取；获得高维空间特征图。进一步的，上述的基于卷积神经网络的照片背景相似度聚类方法中，所述对高维空间特征图进行相似度聚类处理，包括：多张原始图像分别处理后得到背景图像中获得的高维空间特征图，构成点对矩阵，其中点与点用欧式距离进行距离度量，以此对输入的高维空间特征图进行层次聚类，将相似度高于预设阈值的特征矢量对应的原始图像聚为一类，即判定该类图像中包含的背景图像具有相似性。优选的，上述的基于卷积神经网络的照片背景相似度聚类方法中，所述原始图像为包含人脸和身份证的手持身份证图像；所述识别目标为人脸和/或身份证。另一方面，本专利技术还提供了一种实现基于卷积神经网络的照片背景相似度聚类的计算机，包括处理器和存储器，所述存储器存储有程序，程序被处理器执行时能够实现以下步骤：获取原始图像并基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向；将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取；将进行实例分割的图像进行背景分离；对分离的背景图像进行特征提取获得高维空间特征图；对高维空间特征图进行相似度聚类处理。进一步的，上述的实现基于卷积神经网络的照片背景相似度聚类的计算机中，执行程序步骤“所述基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向”时，包括：通过开源数据集与原始图像中的场景进行匹配，确定识别目标；基于多任务级联卷积神经网络算法校正原始图像中的识别目标方向。进一步的，上述的实现基于卷积神经网络的照片背景相似度聚类的计算机中，本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的照片背景相似度聚类方法，其特征在于，包括如下步骤：/n基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向；/n将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取；/n将进行实例分割的图像进行背景分离；/n对分离的背景图像进行特征提取获得高维空间特征图；/n对高维空间特征图进行相似度聚类处理。/n

【技术特征摘要】
1.一种基于卷积神经网络的照片背景相似度聚类方法，其特征在于，包括如下步骤：
基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向；
将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取；
将进行实例分割的图像进行背景分离；
对分离的背景图像进行特征提取获得高维空间特征图；
对高维空间特征图进行相似度聚类处理。


2.根据权利要求1所述的基于卷积神经网络的照片背景相似度聚类方法，其特征在于，所述基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向，包括：
通过开源数据集与原始图像中的场景进行匹配，确定识别目标；
基于多任务级联卷积神经网络算法校正原始图像中的识别目标方向。


3.根据权利要求2所述的基于卷积神经网络的照片背景相似度聚类方法，其特征在于，所述将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取，包括：
根据原始图像预处理结果，确定包含所述识别目标的前景图像特征与背景图像特征；
利用MS-COCO目标识别数据集上预训练过的Mask-RCNN模型作为baseline模型，基于少量人工标注的包含所述识别目标类别实例的带标记的实例分割样本和自动合成的带背景的识别目标实例分割样本做迁移学习，训练得到针对识别目标类别实例的所述原始图像所属场景下的实例分割模型；
在测试时将原始图像中被实例分割模型检测到的mask部分切除，获得背景图像。


4.根据权利要求3所述的基于卷积神经网络的照片背景相似度聚类方法，其特征在于，所述对分离的背景图像进行特征提取获得高维空间特征图，包括：
针对用于特征提取的卷积神经网络的输入对获得的背景图像进行预处理，获取标注分辨率图像；
通过卷积神经网络模型对预处理的背景图像进行特征提取；获得高维空间特征图。


5.根据权利要求4所述的基于卷积神经网络的照片背景相似度聚类方法，其特征在于，所述对高维空间特征图进行相似度聚类处理，包括：
多张原始图像分别处理后得到背景图像中获得的高维空间特征图，构成点对矩阵，其中点与点用欧式距离进行距离度量，以此对输入的高维空间特征图进行层次聚类，将相似度高于预设阈值的特征矢量对应的原始图像聚为一类，即判定该类图像中包含的背景图像具有相似性。


6.根据权利要求1-5任意项所述的基于卷积神经网络的照片背景相似度聚类方法，其特征在于，所述原始图像为包含人脸和身份证的手持身份证图像；所述识别目标为人脸和/或身份证。...

【专利技术属性】
技术研发人员：周晔，穆海洁，张锦涛，
申请(专利权)人：上海汇付数据服务有限公司，
类型：发明
国别省市：上海;31