针对画面前景人物的图像相似度比对方法、装置以及设备制造方法及图纸

本发明专利技术公开了一种针对画面前景人物的图像相似度比对方法、装置、设备及存储介质，其包括：获取第一待检测图像以及第二待检测图像，其中，所述第一待检测图像以及所述第二待检测图像包括待识别的目标人物；将所述第一待检测图像以及所述第二待检测图像输入预训练完成的比对模型，得到前景中目标人物的预测框以及对应区域的相似度预测值；其中，所述比对模型通过预构建的参数共享孪生网络和预测器以及基于预设的损失函数进行训练得到。能够实现端到端完成目标人物的识别以及相似度比对，提升前景人物相似度比对的效率和精度。前景人物相似度比对的效率和精度。前景人物相似度比对的效率和精度。

【技术实现步骤摘要】
针对画面前景人物的图像相似度比对方法、装置以及设备


[0001]本专利技术涉及图像处理
，尤其涉及针对画面前景人物的图像相似度比对方法、装置以及设备。

技术介绍

[0002]通过实际调研可知，银行行业内普遍存在贷后检查工作不够深入，贷后回访不到位等问题，存在银行中的管理人员和工作人员对客户信息收集草草了事，甚至只做到了形式上的风险评估，并未走访。加强贷后走访检查逐渐受到银行行业内的重视，对于规避行业系统性风险、企业个体的经营风险和信用风险具有重要影响。目前银行业内均采用在贷后走访现场进行影像采集的方式，以佐证现场询问时的信息，但行业内普遍存在信贷员在走访现场一次拍摄多张照片，并在之后的不同日期提交给监督人员检查，实际并未走访的情况，因此为规范贷后走访工作，需比对当日提交的照片与历史提交照片中目标人物的相似度，随着人工智能、图像处理技术的进入，传统人工审查的贷后走访检查方式将迎来突破。
[0003]目前画面前景人物相似度比对具有局限性，主要表现在两方面，一方面目前的画面前景人物比对技术需要分两步完成，分别是前景人物检测和相似度比对，目前技术无法端到端实现前景人物比对的功能，将影响前景人物相似度比对的效率。另一方面目前的前景人物相似度比对算法精度较低，相似度比对技术分为传统图像处理技术和深度学习技术，基于传统图像处理技术的相似度比对方法提取的特征不足，目前基于深度学习的相似度比对方法损失函数也有待进一步优化。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提出一种针对画面前景人物的图像相似度比对方法、装置以及设备，旨在解决现有的画面前景人物相似度比对具有局限性的问题。
[0005]为实现上述目的，本专利技术提供一种针对画面前景人物的图像相似度比对方法，所述方法包括：
[0006]获取第一待检测图像以及第二待检测图像，其中，所述第一待检测图像以及所述第二待检测图像包括待识别的目标人物；
[0007]将所述第一待检测图像以及所述第二待检测图像输入预训练完成的比对模型，得到前景中目标人物的预测框以及对应区域的相似度预测值；其中，所述比对模型通过预构建的参数共享孪生网络和预测器以及基于预设的损失函数进行训练得到。
[0008]优选的，所述参数共享孪生网络的网络结构包括特征金字塔结构；通过所述特征金字塔结构对所述第一待检测图像以及所述第二待检测图像进行多尺度特征信息的提取以及融合处理。
[0009]优选的，所述预测器的网络结构包括相似特征子网络和回归子网络；通过所述相似特征子网络得到一对256*A维特征向量，通过所述回归子网络得到H*W*4A特征图；其中，A表示所述相似特征子网络或所述回归子网络所输出的特征图中每个像素点对应的候选框
数量，H、W分别表示所述回归子网络所输出的特征图的长和宽。
[0010]优选的，所述损失函数包括第一损失函数以及第二损失函数；其中，
[0011]所述第一损失函数为所述第一损失函数为
[0012]满足：
[0013][0014][0015][0016]其中，N表示训练样本数量，j表示类别0、1，0为负样本、1为正样本，x表示相似特征子网络输出的特征向量，γ≥0表示可调节的聚焦参数，y
i
表示第i个训练样本的标签，其取值为0或1，第i个训练样本的0、1类别权重W0或W1与特征的内积，S表示x的范数，m表示度量的约束系数；
[0017]所述第二损失函数为其中，x表示回归子网络输出的维度为(H*W*A，4)的向量。
[0018]优选的，所述比对模型的训练过程，包括：
[0019]构造训练样本，所述训练样本包括第一样本以及第二样本，其中，所述第一样本中包括目标人物且目标人物相似度高的一对图像，所述第二样本中包括目标人物且目标人物相似度低的一对图像。
[0020]优选的，所述第一样本以及所述第二样本中还包括干扰前景区域的非目标人物。
[0021]为实现上述目的，本专利技术还提供一种针对画面前景人物的图像相似度比对装置，所述装置包括：
[0022]获取单元，用于获取第一待检测图像以及第二待检测图像，其中，所述第一待检测图像以及所述第二待检测图像包括待识别的目标人物；
[0023]比对单元，用于将所述第一待检测图像以及所述第二待检测图像输入预训练完成的比对模型，得到前景中目标人物的预测框以及对应区域的相似度预测值；其中，所述比对模型通过预构建的参数共享孪生网络和预测器以及基于预设的损失函数进行训练得到。
[0024]为了实现上述目的，本专利技术还提出一种设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如上述实施例所述的一种针对画面前景人物的图像相似度比对方法的步骤。
[0025]为了实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上述实施例所述的一种针对画面前景人物的图像相似度比对方法的步骤。
[0026]有益效果：
[0027]以上方案，通过所提出的比对模型包括参数共享孪生网络和预测器进行构建的网络结构能够对输入的两张图像进行端到端完成目标人物的识别以及相似度比对，节约计算资源，提升前景人物相似度比对的效率和精度。
[0028]以上方案，通过所提出的角度权重损失函数相较于常用的损失函数能更大程度的增大不同类别区域之间的距离，缩小相似度高的区域的距离，该损失函数的设计在训练时增加困难样本权重，能有效解决正样本对较少的、不均衡的情况，使得相似度比对的精度更高。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本专利技术一实施例提供的一种针对画面前景人的图像相似度比对方法的流程示意图。
[0031]图2为本专利技术一实施例提供的比对模型的网络结构示意图。
[0032]图3为本专利技术一实施例提供的参数共享孪生网络的网络结构参数示意图。
[0033]图4为本专利技术一实施例提供的预测器的部分网络结构参数示意图。
[0034]图5为本专利技术一实施例提供的模型训练过程的样本构造示意图。
[0035]图6为本专利技术一实施例提供的一种针对画面前景人物的图像相似度比对装置的结构示意图。
[0036]专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0037]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对画面前景人物的图像相似度比对方法，其特征在于，所述方法包括：获取第一待检测图像以及第二待检测图像，其中，所述第一待检测图像以及所述第二待检测图像包括待识别的目标人物；将所述第一待检测图像以及所述第二待检测图像输入预训练完成的比对模型，得到前景中目标人物的预测框以及对应区域的相似度预测值；其中，所述比对模型通过预构建的参数共享孪生网络和预测器以及基于预设的损失函数进行训练得到。2.根据权利要求1所述的一种针对画面前景人物的图像相似度比对方法，其特征在于，所述参数共享孪生网络的网络结构包括特征金字塔结构；通过所述特征金字塔结构对所述第一待检测图像以及所述第二待检测图像进行多尺度特征信息的提取以及融合处理。3.根据权利要求1所述的一种针对画面前景人物的图像相似度比对方法，其特征在于，所述预测器的网络结构包括相似特征子网络和回归子网络；通过所述相似特征子网络得到一对256*A维特征向量，通过所述回归子网络得到H*W*4A特征图；其中，A表示所述相似特征子网络或所述回归子网络所输出的特征图中每个像素点对应的候选框数量，H、W分别表示所述回归子网络所输出的特征图的长和宽。4.根据权利要求1所述的一种针对画面前景人物的图像相似度比对方法，其特征在于，所述损失函数包括第一损失函数以及第二损失函数；其中，所述第一损失函数为所述第一损失函数为满足：满足：满足：其中，N表示训练样本数量，j表示类别0、1，0为负样本、1为正样本，x表示相似特征子网络输出的特征向量，γ≥0表示可调节的聚焦参数，y
i
表示第i个训练样本的标签，其取值为0或1，第i个训练样本的0、1...

【专利技术属性】
技术研发人员：晏榕，张志远，洪镇宇，
申请(专利权)人：厦门国际银行股份有限公司，
类型：发明
国别省市：