一种基于特征融合神经网络的亲属识别方法技术

本发明专利技术涉及一种基于特征融合神经网络的亲属识别方法，属于图像处理领域。包括如下步骤：步骤一、对数据集中的人脸图像进行预处理，得到预处理后的人脸图像；步骤二、构建正样本对和负样本对；步骤三、生成对应的正样本对标签和负样本对标签；步骤四、分别对正样本对、负样本对以及正样本对标签和负样本对标签进行分割，生成训练集和测试集；步骤五、生成网络输入的训练数据和测试数据；步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练，并保存训练好的网络参数，输出训练好的神经网络；步骤七、经训练好的神经网络进行测试。所述方法学习不同特征之间的互补性和差异性，提高了特征的鲁棒性。

【技术实现步骤摘要】
一种基于特征融合神经网络的亲属识别方法
本专利技术涉及一种基于特征融合神经网络的亲属识别方法，属于图像处理领域。
技术介绍
亲属关系识别作为图像处理领域的一个重要分支，主要研究基于人脸图片的两个个体之间是否具有明确的基因遗传上的亲属关系，具有非常广泛的社会理论研究意义和潜在的商业应用场景。亲属识别中最常研究的四种亲属关系包括：父子，父女，母子以及母女，由于基因的大量继承，这几类亲属关系类型也是人类关系中最亲近的具有生物特征的连接桥梁。近年来，随着移动互联网技术的发展和普及，人们越来越乐意于通过网络在各种社交媒体和各个网站上分享自己的生活状态，而电子图片、视频作为一种直观的表达方式受到越来越多用户的青睐，每天网络上就有成千上万张的海量图片流通，如何有效的组织利用、挖掘分析图片中的潜在信息和关系就成了图像处理研究领域中的重中之重。现存的模型方法可以大致分为两大类：基于特征的亲属识别模型以及基于学习的亲属识别模型。基于特征的亲属识别算法旨在设计出一个通用的低层手工特征表示以便具有亲属关系的特征可以有效的被使用，常用的特征包括局部特征和全局特征。基于学习的亲属识别方法主要通过寻找一个合适的语义转换空间以便在这个映射的子空间中，有效的增加具有亲属关系人脸图像对之间的可分性。典型的代表模型有度量学习、迁移学习、多核学习、基于图的学习、基于神经网络的学习等。在亲属识别领域中，提取出每个人脸图像的多个特征表示是很容易的，然而，从相同的人脸图片中提取出的这些多个特征虽然能够从不同的方面对输入图片进行描述，但它们之间通常是高度相关的。对于多特征融合而言，这些高度相关的信息应该被保留下来，因为它们反映了样本的固有属性信息。此外，不同的特征表示方法学习到对目标样本不同的特征映射，对不同的复杂情况处理效果不同，有的特征对姿势变换处理效果好，有的特征对光照强弱比较鲁棒，有的特征对局部信息的细节捕捉能力强。为了综合利用各个特征对不同挑战因素之间的优势，处理实际情况中复杂的各种情况，采用多个特征融合的方式成为一种高效的特征学习方式。因此，我们联合多种特征学习了一个多特征融合的神经网络来解决亲属识别中特征不够鲁棒的问题。
技术实现思路
本专利技术的目的是对多个特征的非线性高维映射进行联合学习，产生一个更具判别性的特征表示，以有效的解决亲属识别中特征不够鲁棒的问题，提出了一种基于特征融合神经网络的亲属识别方法。本专利技术的目的是通过以下技术方案实现的：步骤一、对数据集中的人脸图像进行预处理，得到预处理后的人脸图像；其中，数据集包含X个人脸图像，X为偶数；预处理后的人脸图像数量也为X个；数据集中按顺序的两个人脸图像具有亲属关系，具体为：数据集中偶数序号对应的图像为待识别图像，奇数序号对应的图像为男性亲属图像或女性亲属图像中的一种；其中，偶数序号的待识别图像为需要进行判断是否与对应的奇数序号图像具有亲属关系；人脸图像为RGB图像，即三通道的人脸图像，所述的三通道分别对应R通道、G通道和B通道；其中，预处理包括对齐、裁剪操作；步骤一又包括如下子步骤：步骤1.1利用基于结构化SVM的人脸对齐方法对数据集中的人脸图像进行对齐，得到对齐后的人脸图像；步骤1.2将步骤1.1对齐后的人脸图像进行裁剪，得到裁剪后的人脸图像；其中，对齐后的人脸图像的数量为X个；裁剪后的人脸图像的数量为X个，每个图像的维度为64*64；其中，预处理后的人脸图像的个数为X个；步骤二、基于步骤一得到的预处理后的人脸图像构建正样本对和负样本对；其中，正样本对的数量为X/2；负样本对的数量为X/2个；步骤二又包括如下子步骤：步骤2.1构建X/2个正样本对，具体为：按顺序将数据集中的两个人脸图像组成一对；步骤2.2构建X/2个负样本对，具体为：第1个男性亲属图像或女性亲属图像与第X/2个待识别图像组成一对，第S个男性亲属图像或女性亲属图像与第S-1个待识别图像组成一对；S的取值范围为2到X/2；步骤三、基于步骤二构建的正样本对和负样本对，生成对应的正样本对标签和负样本对标签；具体为，将正样本对对应的标签设置为1，负样本对对应的标签设置为0；其中，正样本对标签为X/2个，负样本对标签为X/2个；步骤四、分别将步骤二构建的正样本对、负样本对和步骤三生成的正样本对标签、负样本对标签进行分割，生成训练集和测试集；分别将X/2个正样本对和负样本对进行分割，将其中的A％用于训练，将剩下的B％＝1-A％正样本对和负样本对用于测试；分别将X/2个正样本对标签和负样本对标签进行分割，将其中的A％用于训练，将剩下的B％＝1-A％正样本对和负样本对标签用于测试；其中，X/2个正样本对和负样本对的A％以及X/2个正样本对标签和负样本对标签的A％构成训练集，即训练集样本总数为(A％*X)个；X/2个正样本对和负样本对的B％以及X/2个正样本对标签和负样本对标签的B％构成测试集，即测试集样本总数为(B％*X)个；步骤五、对步骤四生成的训练集和测试集中的正样本对和负样本对中的两张图像分别提取m种特征，每种特征对应两个特征向量，然后将对应同一种特征的两个特征向量做差取绝对值，得出m个特征向量差模，再将得出的m个特征向量差模作为网络输入的训练数据和测试数据；其中，m>＝2，训练集中的样本总数即训练数据总数为(A％*X)个，测试集中的样本总数即测试数据总数为(B％*X)个；步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练，输出训练好的神经网络，并保存训练好的神经网络参数；其中，神经网络包括m个基本特征转换模块和1个融合特征转换模块，这两种类型模块的操作均为先经全连接层，再经非线性激活函数激活；基本特征转换模块包含的全连接层数为C层，记为全连接层1，全连接层2…全连接层C，C>＝2；全连接层1、全连接层2…全连接层C对应的神经元个数分别为H1、H2…H3；每个全连接层后面使用的非线性激活函数为F1，F1为sigmoid，relu以及tanh中的一种；融合特征转换模块包含的全连接层数为Q层，记为第1全连接层，第2全连接层…第Q全连接层，Q>＝2；每个全连接层后面使用的非线性激活函数为F2，F2为sigmoid，relu以及tanh中的一种；步骤六又包括如下子步骤：步骤6.1初始化迭代次数t为1，初始化迭代总次数T，初始化迭代份数i为1，初始化基本特征转换模块中全连接层1到全连接层C的权重参数，初始化融合特征转换模块中第1全连接层到第Q全连接层的权重参数，初始化batch的值为N；步骤6.2将步骤五得到的(A％*X)个训练数据随机分为(A％*X)/N＝I份，每份N个训练样本；步骤6.3取步骤6.2生成第i份数据，将第i份数据的N个训练样本提取的m种特征xj，分别输入m个基本特征转换模块中进行前向传播，分别得到的全连接层C输出的特征φ(xj)，j∈[1,m]；步骤6.4拼接步骤6.3中的特征xj和φ(xj)，形成第j个基本特征转换模块的输出即遍历j∈[1,m]，生成m个基本特征转换模块的输出；步骤6.5将步骤6.4生成的所有基本特征转换模块的输出进行融合，得到一个融合m种特征的特征向量，具体为：拼接特征和m个基本特征转换模块的全连接层C输出的特征φ(xj)，产生一个h维度的融合特征向量，即zT＝[本文档来自技高网...

【技术保护点】
1.一种基于特征融合神经网络的亲属识别方法，其特征在于：包括如下步骤：步骤一、对数据集中的人脸图像进行预处理，得到预处理后的人脸图像；其中，数据集包含X个人脸图像，X为偶数；预处理后的人脸图像数量也为X个；数据集中按顺序的两个人脸图像具有亲属关系，具体为：数据集中偶数序号对应的图像为待识别图像，奇数序号对应的图像为男性亲属图像或女性亲属图像中的一种；其中，偶数序号的待识别图像为需要进行判断是否与对应的奇数序号图像具有亲属关系；人脸图像为RGB图像，即三通道的人脸图像，所述的三通道分别对应R通道、G通道和B通道；其中，预处理包括对齐、裁剪操作；步骤二、基于步骤一得到的预处理后的人脸图像构建正样本对和负样本对；其中，正样本对的数量为X/2；负样本对的数量为X/2个；步骤三、基于步骤二构建的正样本对和负样本对，生成对应的正样本对标签和负样本对标签；具体为，将正样本对对应的标签设置为1，负样本对对应的标签设置为0；其中，正样本对标签为X/2个，负样本对标签为X/2个；步骤四、分别将步骤二构建的正样本对、负样本对和步骤三生成的正样本对标签、负样本对标签进行分割，生成训练集和测试集；分别将X/2个正样本对和负样本对进行分割，将其中的A％用于训练，将剩下的B％＝1‑A％正样本对和负样本对用于测试；分别将X/2个正样本对标签和负样本对标签进行分割，将其中的A％用于训练，将剩下的B％＝1‑A％正样本对和负样本对标签用于测试；其中，X/2个正样本对和负样本对的A％以及X/2个正样本对标签和负样本对标签的A％构成训练集，即训练集样本总数为(A％*X)个；X/2个正样本对和负样本对的B％以及X/2个正样本对标签和负样本对标签的B％构成测试集，即测试集样本总数为(B％*X)个；步骤五、对步骤四生成的训练集和测试集中的正样本对和负样本对中的两张图像分别提取m种特征，每种特征对应两个特征向量，然后将对应同一种特征的两个特征向量做差取绝对值，得出m个特征向量差模，再将得出的m个特征向量差模作为网络输入的训练数据和测试数据；步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练，输出训练好的神经网络，并保存训练好的神经网络参数；其中，神经网络包括m个基本特征转换模块和1个融合特征转换模块，这两种类型模块的操作均为先经全连接层，再经非线性激活函数激活；基本特征转换模块包含的全连接层数为C层，记为全连接层1，全连接层2…全连接层C，C>＝2；全连接层1、全连接层2…全连接层C对应的神经元个数分别为H1、H2…H3；每个全连接层后面使用的非线性激活函数为F1，F1为sigmoid，relu以及tanh中的一种；融合特征转换模块包含的全连接层数为Q层，记为第1全连接层，第2全连接层…第Q全连接层，Q>＝2；每个全连接层后面使用的非线性激活函数为F2，F2为sigmoid，relu以及tanh中的一种；步骤六又包括如下子步骤：步骤6.1初始化迭代次数t为1，初始化迭代总次数T，初始化迭代份数i为1，初始化基本特征转换模块中全连接层1到全连接层C的权重参数，初始化融合特征转换模块中第1全连接层到第Q全连接层的权重参数，初始化batch的值为N；步骤6.2将步骤五得到的(A％*X)个训练数据随机分为(A％*X)/N＝I份，每份N个训练样本；步骤6.3取步骤6.2生成第i份数据，将第i份数据的N个训练样本提取的m种特征xj，分别输入m个基本特征转换模块中进行前向传播，分别得到的全连接层C输出的特征φ(xj)，j∈[1,m]；步骤6.4拼接步骤6.3中的特征xj和φ(xj)，形成第j个基本特征转换模块的输出...

【技术特征摘要】
2018.06.12 CN 20181059976111.一种基于特征融合神经网络的亲属识别方法，其特征在于：包括如下步骤：步骤一、对数据集中的人脸图像进行预处理，得到预处理后的人脸图像；其中，数据集包含X个人脸图像，X为偶数；预处理后的人脸图像数量也为X个；数据集中按顺序的两个人脸图像具有亲属关系，具体为：数据集中偶数序号对应的图像为待识别图像，奇数序号对应的图像为男性亲属图像或女性亲属图像中的一种；其中，偶数序号的待识别图像为需要进行判断是否与对应的奇数序号图像具有亲属关系；人脸图像为RGB图像，即三通道的人脸图像，所述的三通道分别对应R通道、G通道和B通道；其中，预处理包括对齐、裁剪操作；步骤二、基于步骤一得到的预处理后的人脸图像构建正样本对和负样本对；其中，正样本对的数量为X/2；负样本对的数量为X/2个；步骤三、基于步骤二构建的正样本对和负样本对，生成对应的正样本对标签和负样本对标签；具体为，将正样本对对应的标签设置为1，负样本对对应的标签设置为0；其中，正样本对标签为X/2个，负样本对标签为X/2个；步骤四、分别将步骤二构建的正样本对、负样本对和步骤三生成的正样本对标签、负样本对标签进行分割，生成训练集和测试集；分别将X/2个正样本对和负样本对进行分割，将其中的A％用于训练，将剩下的B％＝1-A％正样本对和负样本对用于测试；分别将X/2个正样本对标签和负样本对标签进行分割，将其中的A％用于训练，将剩下的B％＝1-A％正样本对和负样本对标签用于测试；其中，X/2个正样本对和负样本对的A％以及X/2个正样本对标签和负样本对标签的A％构成训练集，即训练集样本总数为(A％*X)个；X/2个正样本对和负样本对的B％以及X/2个正样本对标签和负样本对标签的B％构成测试集，即测试集样本总数为(B％*X)个；步骤五、对步骤四生成的训练集和测试集中的正样本对和负样本对中的两张图像分别提取m种特征，每种特征对应两个特征向量，然后将对应同一种特征的两个特征向量做差取绝对值，得出m个特征向量差模，再将得出的m个特征向量差模作为网络输入的训练数据和测试数据；步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练，输出训练好的神经网络，并保存训练好的神经网络参数；其中，神经网络包括m个基本特征转换模块和1个融合特征转换模块，这两种类型模块的操作均为先经全连接层，再经非线性激活函数激活；基本特征转换模块包含的全连接层数为C层，记为全连接层1，全连接层2…全连接层C，C>＝2；全连接层1、全连接层2…全连接层C对应的神经元个数分别为H1、H2…H3；每个全连接层后面使用的非线性激活函数为F1，F1为sigmoid，relu以及tanh中的一种；融合特征转换模块包含的全连接层数为Q层，记为第1全连接层，第2全连接层…第Q全连接层，Q>＝2；每个全连接层后面使用的非线性激活函数为F2，F2为sigmoid，relu以及tanh中的一种；步骤六又包括如下子步骤：步骤6.1初始化迭代次数t为1，初始化迭代总次数T，初始化迭代份数i为1，初始化基本特征转换模块中全连接层1到全连接层C的权重参数，初始化融合特征转换模块中第1全连接层到第Q全连接层的权重参数，初始化batch的值为N；步骤6.2将步骤五得到的(A％*X)个训练数据随机分为(A％*...

【专利技术属性】
技术研发人员：马波，丁小莹，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11