图像相似度检测模型训练、检测方法、装置、设备、介质制造方法及图纸

本申请公开了一种图像相似度检测模型训练、检测方法、装置、设备及存储介质，涉及图像处理领域，包括：基于图像语义分割网络和Vision Transformer模型构建初始相似度检测模型；根据目标训练语料和目标损失函数基于深度学习训练初始相似度检测模型得到目标相似度检测模型；将待检测图像输入至目标相似度检测模型，进行待检测图像的相似度检测，以输出表征待检测图像的背景区域的CLS字符，并基于CLS字符计算不同待检测图像之间的相似度。可以通过将图像分割与ViT融合到一个模型中，形成端到端的模型训练方式，简化模型结构，提高数据利用率，并且在背景区域相似度计算时，通过ViT网络可以提高背景相似度的准确度。过ViT网络可以提高背景相似度的准确度。过ViT网络可以提高背景相似度的准确度。

【技术实现步骤摘要】
图像相似度检测模型训练、检测方法、装置、设备、介质


[0001]本专利技术涉及图像处理领域，特别涉及一种图像相似度检测模型训练、检测方法、装置、设备、介质。

技术介绍

[0002]目前在贷款审批以及贷后质检中，对于影像数据(如活体影像)，由于团伙往往会在一个空间进行活体拍照，业务人员常常会参考影像的背景是否相似来判定若干客户是否属于一个团伙。但是，每天贷款笔数上万，因此需要一种有效自动的图片背景相似度度量方法，判定两张图片背景是否相似。目前的图片背景相似度的度量需要两个步骤：主体(前景)识别和图片区域相似度计算。
[0003]其中，主体识别，指人像识别，属于图像语义分割领域。图像分割最初是从数字图像处理加上优化算法开始的。这些原始算法使用区域生长等方法，在这些方法中设置初始区域，然后算法比较像素值以获得分割图的概念，起初是对图像中的特征进行局部观察，并关注像素中的局部差异和梯度。
[0004]图片区域相似度计算，是指对两张图片比较相似性，并得到相似度大小。可以分为传统方法和深度学习方法。传统方法包括哈希算法、直方图方法、特征提取与匹配的方法。基于深度学习的方法，一般都是在backbone网络上，对图片提取特征后，比较两个特征向量的相似度。
[0005]但是目前该领域存在以下问题：主体识别和图片区域相似度计算是两个步骤，目前业界都是采用二阶段形式，即先主体检测，后图片区域相似度计算。然而，主体识别作为一个独立的阶段，和后面任务形成pipeline(流水线)，会有错误累加的缺点，同时无法充分利用与后面任务的紧密联系，造成计算资源浪费等问题。并且在图片背景区域相似度计算时，还是研究整张图片之间的相似度，没有对图片某个区域进行相似度计算，并且有时是将主体(或称前景)区域用一种颜色填充(比如灰色等)，然后进行整张图片的相似度计算，但是都无法完全忽略主体区域对背景区域相似度计算的影响，还是会造成主体区域对背景区域相似性计算的影响。因此，如何有效地结合主体检测与图片区域相似度计算的过程，并且提高背景区域相似度计算的准确度是本领域亟待解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种图像相似度检测模型训练、检测方法、装置、设备及存储介质，可以将图像分割与ViT(即Vision Transformer，可以看成是Transformer的图形版本，在尽可能少的改造下将标准的Transformer模型直接迁移至图像领域变成Vision Transformer模型)部分融合到一个模型中，使得模型可以进行两个任务的紧密联系，相互补充，形成端到端的模型训练方式，并且在图片背景区域相似度计算时，加入ViT网络，更加有效地消除前景对背景相似度计算的影响，得到更加准确的背景相似度。其具体方案如下：
[0007]第一方面，本申请提供了一种图像相似度检测方法，包括：
[0008]基于图像语义分割网络和Vision Transformer模型构建初始相似度检测模型；
[0009]根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检测模型，以得到目标相似度检测模型；
[0010]将待检测图像输入至所述目标相似度检测模型，通过所述目标相似度检测模型进行所述待检测图像的相似度检测，以输出表征所述待检测图像的背景区域的CLS字符(classification，起始字符。在文本分类任务中，它通常表示句子或文档的开头。同理，在本申请中，可以用来表征去除了前景影响的背景图像)，并基于所述CLS字符计算不同所述待检测图像之间的相似度。
[0011]可选的，所述根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检测模型之前，还包括：
[0012]根据预设训练图像的背景区域标签生成所述预设训练图像对应的基于背景权重的第一特征图；
[0013]基于所述预设训练图像、所述第一特征图以及不同所述预设训练图像之间的背景相似度构建预设三元组形式的目标训练语料，以便根据所述目标训练语料和目标损失函数训练所述初始相似度检测模型。
[0014]可选的，所述根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检测模型之前，还包括：
[0015]分别确定所述图像语义分割网络的图像语义分割损失函数和所述Vision Transformer模型的相似性损失函数；
[0016]对所述图像语义分割损失函数和所述相似性损失函数求和，以得到所述目标损失函数。
[0017]可选的，所述通过所述目标相似度检测模型进行所述待检测图像的相似度检测，包括：
[0018]基于所述目标相似度检测模型的所述图像语义分割网络的Encoder
‑
Decoder架构(一种通用框架，End
‑
to
‑
End的学习算法)将所述待检测图像转化为一维的基于背景权重的第二特征图，以基于所述第二特征图进行所述待检测图像的相似度检测。
[0019]可选的，所述通过所述目标相似度检测模型进行所述待检测图像的相似度检测，包括：
[0020]将所述基于背景权重的第二特征图的像素矩阵与所述待检测图像中的对应像素点进行点乘，并将得到的目标矩阵输入至所述目标相似度检测模型中的所述Vision Transformer模型进行所述待检测图像的相似度检测。
[0021]可选的，所述通过所述目标相似度检测模型进行所述待检测图像的相似度检测，包括：
[0022]利用所述Vision Transformer模型中的Encoder部分基于所述目标矩阵生成所述第二特征图对应的attention
‑
mask；
[0023]根据所述attention
‑
mask对所述待检测图像进行处理，以生成利用所述attention
‑
mask去除所述待检测图像的前景区域后表征所述待检测图像的背景区域的CLS字符，并基于所述CLS字符计算不同所述待检测图像之间的相似度。
[0024]可选的，所述根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检测模型，以得到目标相似度检测模型之后，还包括：
[0025]利用所述目标相似度检测模型确定历史图像的背景区域的特征编码，并将得到的第一特征编码保存至预设向量数据库，并建立对应的向量数据库索引；
[0026]对待检测图像进行特征编码，得到第二特征编码，并基于所述第二特征编码利用所述向量数据库索引从所述预设向量数据库中查询与所述待检测图像之间满足预设相似度条件的目标历史图像。
[0027]第二方面，本申请提供了一种图像相似度检测模型训练方法，包括：
[0028]基于图像语义分割网络和Vision Transformer模型构建初始相似度检测模型；
[0029]根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像相似度检测方法，其特征在于，包括：基于图像语义分割网络和Vision Transformer模型构建初始相似度检测模型；根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检测模型，以得到目标相似度检测模型；将待检测图像输入至所述目标相似度检测模型，通过所述目标相似度检测模型进行所述待检测图像的相似度检测，以输出表征所述待检测图像的背景区域的CLS字符，并基于所述CLS字符计算不同所述待检测图像之间的相似度。2.根据权利要求1所述的图像相似度检测方法，其特征在于，所述根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检测模型之前，还包括：根据预设训练图像的背景区域标签生成所述预设训练图像对应的基于背景权重的第一特征图；基于所述预设训练图像、所述第一特征图以及不同所述预设训练图像之间的背景相似度构建预设三元组形式的目标训练语料，以便根据所述目标训练语料和目标损失函数训练所述初始相似度检测模型。3.根据权利要求1所述的图像相似度检测方法，其特征在于，所述根据目标训练语料和目标损失函数基于预设深度学习模型优化框架训练所述初始相似度检测模型之前，还包括：分别确定所述图像语义分割网络的图像语义分割损失函数和所述Vision Transformer模型的相似性损失函数；对所述图像语义分割损失函数和所述相似性损失函数求和，以得到所述目标损失函数。4.根据权利要求1所述的图像相似度检测方法，其特征在于，所述通过所述目标相似度检测模型进行所述待检测图像的相似度检测，包括：基于所述目标相似度检测模型的所述图像语义分割网络的Encoder
‑
Decoder架构将所述待检测图像转化为一维的基于背景权重的第二特征图，以基于所述第二特征图进行所述待检测图像的相似度检测。5.根据权利要求4所述的图像相似度检测方法，其特征在于，所述通过所述目标相似度检测模型进行所述待检测图像的相似度检测，包括：将所述基于背景权重的第二特征图的像素矩阵与所述待检测图像中的对应像素点进行点乘，并将得到的目标矩阵输入至所述目标相似度检测模型中的所述Vision Transformer模型进行所述待检测图像的相似度检测。6.根据权利要求5所述的图像相似度检测方法，其特征在于，所述通过所述目标相似度检测模型进行所述待检测图像的相似度检测，包括：利用所述Vision Transformer模型中的Encoder部分基于所述目标矩阵生成所述第二特...

【专利技术属性】
技术研发人员：程昱，吕杨苗，张雪飞，冯玮，郭腾飞，张翼飞，胡光辉，
申请(专利权)人：河南中原消费金融股份有限公司，
类型：发明
国别省市：