基于距离和方向的深度鉴别度量学习亲属关系验证框架制造技术

本发明专利技术公开一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，包括特征提取模块，特征融合模块，亲属关系验证分类器及损失约束模块；所述特征提取模块用于提取亲属关系验证中图像的特征；损失约束模块通过基于距离和方向两个层面的损失函数对提取的图像特征进行约束；所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系。本发明专利技术设计的网络不需要对数据进行特殊处理，降低了使用成本；本发明专利技术基于距离和方向两个层面，设计了多个损失函数对网络进行约束，获得一个泛化能力强的网络模型，提高了亲属关系验证的准确率。

【技术实现步骤摘要】
基于距离和方向的深度鉴别度量学习亲属关系验证框架
本专利技术属于计算机视觉、深度学习
，尤其涉及一种基于距离和方向的深度鉴别度量学习亲属关系验证框架。
技术介绍
Fang等(R.Fang,K.D.Tang,N.Snavely,etal.Towardscomputationalmodelsofkinshipverification；proceedingsofthe2010IEEEInternationalConferenceonImageProcessing,HongKong,China,F26-29Sept,2010[C].IEEE.)首次提出了基于人脸图像进行亲属关系验证的问题，其方案提取人脸特征并基于SVM来进行亲属关系验证。亲属关系验证的求解方法大体上可分为传统方法(JiwenLu,XiuzhuangZhou,YapPenTan,etal.NeighborhoodRepulsedMetricLearningforKinshipVerification[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2014,36(2):331-345.)和基于深度学习(L.Zhang,Q.Duan,D.Zhang,etal.AdvKin:AdversarialConvolutionalNetworkforKinshipVerification[J].IEEETransactionsonCybernetics,2020:1-14.)的方法。近年来，深度学习成为研究热点，特别是卷积神经网络在计算机视觉领域取得巨大成功。在计算机视觉任务竞赛中，基于卷积神经网络的算法取得了巨大的成功。因此，有许多学者借助卷积神经网络来研究亲属关系验证问题并取得令人鼓舞的结果。然而已有的深度学习算法仍存在一些局限性，例如大多数亲属关系数据集规模较小且亲属类别较多，不利于使用深度学习的方法的应用。研究人员通过对数据进行预处理(提取人脸关键部位)或者借助外部数据集等来实现数据增强的目的，这些措施虽然在一定程度上提高了准确率，但这无疑增加了问题求解的成本。众所周知，基于深度神经网络的研究需要大量的数据来进行网络模型的训练，而相较于其它深度学习使用的数据集来说，亲属关系数据集规模相对较小，进而影响深度学习相关算法的应用。在亲属关系验证领域，已有网络结构简单的方案难以达到较高的准确率，准确率高的网络往往复杂。总之，现有的方案无法很好地兼顾简单性和准确率。如何在较小规模的亲属关系数据集上使用深度学习的方法并取得优异的结果，这正是本专利技术要解决的关键问题。
技术实现思路
本专利技术针对基于深度学习的方法无法在较小规模的亲属关系数据集上使用并取得优异结果的问题，提出一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，该框架结构简单，复杂度低，成本低，准确率高。本专利技术设计的框架不需要对数据进行特殊处理，降低了复杂度成本；对于准确率低的问题，本专利技术设计了多个损失函数对网络的优化目标进行约束，获得一个泛化能力强的验证模型，提高了亲属关系验证的准确率。为了实现上述目的，本专利技术采用以下技术方案：一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，包括特征提取模块，特征融合模块、亲属关系验证分类器及损失约束模块；所述特征提取模块用于提取亲属关系验证中图像特征；所述损失约束模块用于通过基于距离和方向的多个损失函数对提取的图像特征进行约束；所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系。进一步地，所述特征提取模块包括三个残差块和两个最大池化层；每个所述残差块包括第一卷积层，第一最大池化层，第二卷积层，上采样层，第二最大池化层以及归一化层；所述上采样层后使用Sigmoid激活函数，所述归一化层后使用ReLU激活函数；所述残差块之间设有一个第三最大池化层。进一步地，所述特征提取模块提取到人脸图像特征后，一方面在特征融合模块将特征融合后送入亲属关系验证分类器，从而判断两张图像上的人是否具有亲属关系；另一方面，将提取到的特征送入损失约束模块，优化特征提取模块，使其可以提取到更具鉴别力的特征。进一步地，所述损失约束模块具体通过如下约束函数对提取的图像特征进行约束：IDLoss函数：其中，n代表样本大小；fi代表第i个人的人脸图像特征；zi代表第i个人的人脸图像的标签，表示第i个人属于哪个家庭；J代表所分块数，即将提取的特征分成J块；fi,j代表第i个人脸图像的第j块特征；ADLoss函数：其中，||||2表示两个样本之间的距离，n指样本大小；xi，分别代表第i个人的特征、与i个人有亲属关系的正样本的特征和与i个人不具有亲属关系的负样本的特征；α是一个超参数，对负样本和第i个人的距离与正样本和第i个人的距离的间隔进行约束；余弦相似损失函数：其中，和分别表示第i个父/母和第i个孩子的特征；d表示的维度；和分别表示第i个父/母的人脸图像特征的k维度和第i个孩子人脸图像特征的k维度；yi表示第i对样本的标签，当yi＝1，表示该对样本之间有亲属关系，反之yi＝0。进一步地，所述特征融合模块按照如下方式对亲属关系验证中提取的图像特征进行融合：对特征提取模块提取的一对图片的特征f1和f2按照如下方式分别进行计算：(f1)2-(f2)2，(f1-f2)2，f1+f2，f1*f2；并依次将计算结果进行拼接，得到融合后的特征。进一步地，所述亲属关系验证分类器按照如下方式根据融合后的图像特征判断图像中人物是否存在亲属关系：其中，Lc(·)表示判别函数；表示融合后的图像特征；n指样本大小；yi表示第i对样本的标签，当yi＝1，表示该对样本之间有亲属关系，反之yi＝0；表示第i对父/母与孩子融合后的特征属于标签yi的概率。与现有技术相比，本专利技术具有的有益效果：(1)设计了一个新的损失函数ADLoss，该损失函数从相对距离和绝对距离两个方面对正样本对间的特征距离和负样本对间的特征距离进行约束，使得正样本的距离拉近，而负样本的距离拉远，有利于提高网络模型的准确率；(2)提出了一个基于距离和方向的深度鉴别度量学习亲属关系验证框架，在该框架下，使用了IDLoss、ADLoss以及余弦相似损失函数对网络提取的特征进行约束，以提取到具有鉴别力的特征，进而提高亲属关系验证的准确率；(3)设计了一个动态构造负样本对的方案，充分利用已有数据，以便训练出一个更具鉴别力的网络；借助于以上关键创新使得本专利技术设计的验证框架能够在小规模的数据集上获得较高的准确率，又能降低网络训练的成本。附图说明图1为本专利技术实施例一种基于距离和方向的深度鉴别度量学习亲属关系验证框架架构图；图2为特征提取模块所使用残差块结构示意图；图3为本发本文档来自技高网...

【技术保护点】
1.一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，其特征在于，包括特征提取模块，特征融合模块、亲属关系验证分类器及损失约束模块；/n所述特征提取模块用于提取亲属关系验证中图像特征；/n所述损失约束模块用于通过基于距离和方向的多个损失函数对提取的图像特征进行约束；/n所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；/n所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系。/n

【技术特征摘要】
1.一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，其特征在于，包括特征提取模块，特征融合模块、亲属关系验证分类器及损失约束模块；
所述特征提取模块用于提取亲属关系验证中图像特征；
所述损失约束模块用于通过基于距离和方向的多个损失函数对提取的图像特征进行约束；
所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；
所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系。


2.根据权利要求1所述的基于距离和方向的深度鉴别度量学习亲属关系验证框架，其特征在于，所述特征提取模块包括三个残差块和两个最大池化层；每个所述残差块包括第一卷积层，第一最大池化层，第二卷积层，上采样层，第二最大池化层以及归一化层；所述上采样层后使用Sigmoid激活函数，所述归一化层后使用ReLU激活函数；所述残差块之间设有一个第三最大池化层。


3.根据权利要求1或2所述的基于距离和方向的深度鉴别度量学习亲属关系验证框架，其特征在于，所述特征提取模块提取到人脸图像特征后，一方面在特征融合模块将特征融合后送入亲属关系验证分类器，从而判断两张图像上的人是否具有亲属关系；另一方面，将提取到的特征送入损失约束模块，优化特征提取模块，使其可以提取到更具鉴别力的特征。


4.根据权利要求1或3所述的基于距离和方向的深度鉴别度量学习亲属关系验证框架，其特征在于，所述损失约束模块具体通过如下约束函数对提取的图像特征进行约束：
IDLoss函数：
其中，n代表样本大小；fi代表第i个人的人脸图像特征；zi代表第i个人的人脸图像的标签，表示第i个人属于哪个家庭；J...

【专利技术属性】
技术研发人员：陈小潘，李昌龙，朱小柯，王毓斐，张冀统，叶鹏飞，郑亮，
申请(专利权)人：河南大学，
类型：发明
国别省市：河南;41