基于多特征融合的图像合成方法技术

本发明专利技术涉及一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其实现步骤是：首先划分数据库样本集；将所有的图像进行图像滤波后，对图像分块并提取图像块特征，得到训练画像块字典和照片块字典；利用这两个字典根据输入的测试照片块或测试画像块，寻找近邻块；建立马尔可夫网络模型得到待合成画像块或待合成照片块；对所有的待合成画像块或待合成照片块进行融合即可得到合成画像或合成照片。本发明专利技术与现有方法相比，合成结果具有更高的清晰度和更少的结构缺失，可用于人脸检索与识别。

【技术实现步骤摘要】
基于多特征融合的图像合成方法
本专利技术属于图像处理
，更进一步涉及模式识别与计算机视觉
中的基于多特征融合的图像合成方法，可用于刑侦破案中的人脸检索与识别。
技术介绍
随着科学技术的发展，如何准确的对一个人的身份进行鉴别和认证，已成为亟需解决的问题之一，其中人脸识别具有直接、友好和方便等特点，得到了广泛的研究与应用。人脸识别技术的一个重要应用就是协助警方进行案件侦破。但是在很多情况下，嫌疑犯的照片是很难获得的，警方可以根据现场目击证人的描述绘制出嫌疑犯的画像，之后在警方的照片数据库中进行检索与识别。由于人脸照片和画像在成像机制、形状和纹理方面都存在较大的差异，直接采用现有的人脸识别方法识别效果较差。针对上述问题，一种解决方案是将警方人脸数据库中的照片转化成合成画像，之后将待识别画像在合成画像数据库中进行识别；另一种方案是将待识别画像转化成合成照片，之后对其在警方的照片数据库中进行识别。目前人脸画像-照片合成通常基于三种方法：其一，基于局部线性的人脸画像-照片合成方法；其二，基于马尔可夫网络模型的人脸画像-照片合成方法；其三，基于稀疏表示的人脸画像-照片合成方法。Liu等人在文献“Q.S.LiuandX.O.Tang,Anonlinearapproachforfacesketchsynthesisandrecognition,inProc.IEEEInt.ConferenceonComputerVision,SanDiego,CA,pp.1005-1010,20-26Jun.2005.”中提出了一种借助局部线性来近似全局非线性的方法将照片转化成合成画像。该方法实施方式是：首先将训练集中的照片到画像对及待变换照片划分成相同大小及相同重叠区域的图像块，对于待变换照片的每一个照片块在训练照片块中寻找它的K个近邻照片块，然后将K个照片块对应的画像块进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是：由于近邻个数是固定的，导致合成结果存在清晰度低、细节模糊的缺陷。Wang等人在文献“X.Wang,andX.Tang,“FacePhoto-SketchSynthesisandRecognition,”IEEETransactionsonPatternAnalysisandMachineIntelligence,31(11),1955-1967,2009”中提出了一种基于马尔可夫网络模型的人脸画像-照片合成方法。该方法实施方式是：首先将训练集中的画像-照片对及测试照片分块，然后根据测试照片块与训练照片块之间的关系以及相邻位置的画像块之间的关系，建立马尔可夫网络模型，对每个测试照片块寻找一个最佳的训练画像块作为待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是：由于每个照片块位置只选择一个训练画像块进行画像合成，导致合成结果存在块效应和细节缺失的问题。高新波等人申请的专利技术“基于稀疏表示的画像-照片生成方法”(申请号：201010289330.9，申请日：2010-09-24申请公布号：CN101958000A)中公开了一种基于稀疏表示的人脸画像-照片合成方法，该方法实施方式是：首先采用已有方法生成合成画像或合成照片的初始估计，然后利用稀疏表示的方法合成出细节信息，最后将初始估计和细节信息进行融合。但是该方法存在的不足之处是：忽略了相邻位置的图像块之间的关系，导致合成结果存在模糊和块效应。
技术实现思路
本专利技术所要解决的技术问题是克服上述现有方法的不足，提出一种基于多特征融合的图像合成方法，该方法能提高合成画像或合成照片的图像质量。本专利技术解决上述技术问题所采用的技术方案为：一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其特征在于：当需要将照片合成为画像时，包括如下步骤：(1a)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试照片P；(2a)、将训练照片样本集中的M张训练照片和测试照片P分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练照片进行高斯差分滤波后的M张第一类滤波照片，M张训练照片进行中心-周边归一化滤波后的M张第二类滤波照片，M张训练照片进行高斯滤波后的M张第三类滤波照片，测试照片进行高斯差分滤波后的一张第四滤波照片，测试照片进行中心-周边归一化滤波后的一张第五滤波照片，测试照片进行高斯滤波后的一张第六滤波照片；(3a)、将训练照片样本集中的M张训练照片、M张第一类滤波照片、M张第二类滤波照片和M张第三类滤波照片组合一个包含有4M张照片的照片集，将该照片集内的每张照片划分为N块大小相同、重叠程度相同的训练照片块，该训练照片块称为原始训练照片块，原始训练照片块的数目为4M*N；然后对每个原始训练照片块提取该原始训练照片块的SURF特征和LBP特征，原始训练照片块提取SURF特征后的照片称为第一类训练照片块，第一类训练照片块的数目也为4M*N张；原始训练照片块提取LBP特征后的照片称为第二类训练照片块，第二类训练照片块的数目也为4M*N张；将原始训练照片块、第一类训练照片块和第二类训练照片块组合在一起，从而得到4M*N*3即12*M*N张训练照片块，将这12*M*N张训练照片块组成训练照片块字典，用Dp表示；(4a)、将训练画像样本集中的M张画像分别划分为N块大小相同及重叠程度相同的训练画像块，从而得到M*N个训练画像块，将这M*N个训练画像块组成训练画像块字典，用Ds表示；(5a)、将测试照片和第四滤波照片、第五滤波照片、第六滤波照片这四张照片分别划分为N块大小相同及重叠程度相同的测试照片块，该测试照片块称为原始测试照片块，原始测试照片块的数目为4*N张；对每个原始测试照片块进行SURF特征和LBP特征提取，原始测试照片块提取SURF特征后的照片称为第一类测试照片块，第一类测试照片块的数目也为4*N张；原始测试照片块提取LBP特征后的照片称为第二类测试照片块，第二类测试照片块的数目也为4*N张；将原始测试照片块、第一类测试照片块和第二类测试照片块组合在一起，从而得到4*N*3即12*N张测试照片块，将这12*N张测试照片块组成测试照片块字典，用Dt表示；(6a)、将测试照片块字典Dt中的任一原始测试照片块及其对应的第一类测试照片块与第二类测试照片块按列组合成一个向量，那么从测试照片块字典Dt中能得到N个这样的向量，将从测试照片块字典Dt中得到N个向量称为原始测试照片块向量字典Dtv；同时，将训练照片块字典Dp中的任一原始训练照片块及其对应的第一类训练照片块和第二类训练照片块按列组合在一起形成一个向量，那么从训练照片块字典Dp中可以得到M*N个向量，将从训练照片块字典Dp中得到的M*N个向量称为原始训练照片块向量字典Dpv；(7a)、对于原始测试照片块向量字典Dtv中的任一向量，计算其与原始训练照片块向量字典Dpv中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练照片块向量字典Dpv中本文档来自技高网...

【技术保护点】
一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其特征在于：当需要将照片合成为画像时，包括如下步骤：(1a)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试照片P；(2a)、将训练照片样本集中的M张训练照片和测试照片P分别同时进行高斯差分滤波、中心‑周边归一化滤波和高斯滤波，分别得到M张训练照片进行高斯差分滤波后的M张第一类滤波照片，M张训练照片进行中心‑周边归一化滤波后的M张第二类滤波照片，M张训练照片进行高斯滤波后的M张第三类滤波照片，测试照片进行高斯差分滤波后的一张第四滤波照片，测试照片进行中心‑周边归一化滤波后的一张第五滤波照片，测试照片进行高斯滤波后的一张第六滤波照片；(3a)、将训练照片样本集中的M张训练照片、M张第一类滤波照片、M张第二类滤波照片和M张第三类滤波照片组合一个包含有4M张照片的照片集，将该照片集内的每张照片划分为N块大小相同、重叠程度相同的训练照片块，该训练照片块称为原始训练照片块，原始训练照片块的数目为4M*N；然后对每个原始训练照片块提取该原始训练照片块的SURF特征和LBP特征，原始训练照片块提取SURF特征后的照片称为第一类训练照片块，第一类训练照片块的数目也为4M*N张；原始训练照片块提取LBP特征后的照片称为第二类训练照片块，第二类训练照片块的数目也为4M*N张；将原始训练照片块、第一类训练照片块和第二类训练照片块组合在一起，从而得到4M*N*3即12*M*N张训练照片块，将这12*M*N张训练照片块组成训练照片块字典，用Dp表示；(4a)、将训练画像样本集中的M张画像分别划分为N块大小相同及重叠程度相同的训练画像块，从而得到M*N个训练图像块，将这M*N个训练图像块组成训练画像块字典，用Ds表示；(5a)、将测试照片和第四滤波照片、第五滤波照片、第六滤波照片这四张照片分别划分为N块大小相同及重叠程度相同的测试照片块，该测试照片块称为原始测试照片块，原始测试照片块的数目为4*N张；对每个原始测试照片块进行SURF特征和LBP特征提取，原始测试照片块提取SURF特征后的照片称为第一类测试照片块，第一类测试照片块的数目也为4*N张；原始测试照片块提取LBP特征后的照片称为第二类测试照片块，第二类测试照片块的数目也为4*N张；将原始测试照片块、第一类测试照片块和第二类测试照片块组合在一起，从而得到4*N*3即12*N张测试照片块，将这12*N张测试照片块组成测试照片块字典，用Dt表示；(6a)、将测试照片块字典Dt中的任一原始测试照片块及其对应的第一类测试照片块与第二类测试照片块按列组合成一个向量，那么从测试照片块字典Dt中能得到N个这样的向量，将从测试照片块字典Dt中得到N个向量称为原始测试照片块向量字典Dtv；同时，将训练照片块字典Dp中的任一原始训练照片块及其对应的第一类训练照片块和第二类训练照片块按列组合在一起形成一个向量，那么从训练照片块字典Dp中可以得到M*N个向量，将从训练照片块字典Dp中得到的M*N个向量称为原始训练照片块向量字典Dpv；(7a)、对于原始测试照片块向量字典Dtv中的任一向量，计算其与原始训练照片块向量字典Dpv中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练照片块向量字典Dpv中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练照片块、第一类训练照片块和第二类训练照片块，将得到的K张原始训练照片块称为第一类候选照片块，而将与K张原始训练照片块对应的K张原始训练画像块，称为候选画像块；将得到的K张第一类训练照片块称为第二类候选照片块，将得到的K张第二类训练照片块称为第三类候选照片块；(8a)、利用第一类候选照片块、第二类候选照片块、第三类候选照片块、候选画像块、原始测试照片块、第一类测试照片块和第二类测试照片块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选照片块、第二类候选照片块、和第三类候选照片块的权值μ1、μ2、μ3，同时得到候选画像块的权值w；(9a)、将步骤(7a)得到的候选画像块和步骤(8a)得到的权值w相乘得到合成画像块；(10a)、重复执行步骤(8a)‑(9a)，直至得到N块合成画像块，最后将得到的N块合成画像块进行组合得到原始测试照片P对应的合成画像；当需要将画像合成为照片时，包括如下步骤：(1b)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试画像S；(2b)、将训练画像样本集中的M张训练画...

【技术特征摘要】
1.一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其特征在于：当需要将照片合成为画像时，包括如下步骤：(1a)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试照片P；(2a)、将训练照片样本集中的M张训练照片和测试照片P分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练照片进行高斯差分滤波后的M张第一类滤波照片，M张训练照片进行中心-周边归一化滤波后的M张第二类滤波照片，M张训练照片进行高斯滤波后的M张第三类滤波照片，测试照片进行高斯差分滤波后的一张第四滤波照片，测试照片进行中心-周边归一化滤波后的一张第五滤波照片，测试照片进行高斯滤波后的一张第六滤波照片；(3a)、将训练照片样本集中的M张训练照片、M张第一类滤波照片、M张第二类滤波照片和M张第三类滤波照片组合一个包含有4M张照片的照片集，将该照片集内的每张照片划分为N块大小相同、重叠程度相同的训练照片块，该训练照片块称为原始训练照片块，原始训练照片块的数目为4M*N；然后对每个原始训练照片块提取该原始训练照片块的SURF特征和LBP特征，原始训练照片块提取SURF特征后的照片称为第一类训练照片块，第一类训练照片块的数目也为4M*N张；原始训练照片块提取LBP特征后的照片称为第二类训练照片块，第二类训练照片块的数目也为4M*N张；将原始训练照片块、第一类训练照片块和第二类训练照片块组合在一起，从而得到4M*N*3即12*M*N张训练照片块，将这12*M*N张训练照片块组成训练照片块字典，用Dp表示；(4a)、将训练画像样本集中的M张画像分别划分为N块大小相同及重叠程度相同的训练画像块，从而得到M*N个训练画像块，将这M*N个训练画像块组成训练画像块字典，用Ds表示；(5a)、将测试照片和第四滤波照片、第五滤波照片、第六滤波照片这四张照片分别划分为N块大小相同及重叠程度相同的测试照片块，该测试照片块称为原始测试照片块，原始测试照片块的数目为4*N张；对每个原始测试照片块进行SURF特征和LBP特征提取，原始测试照片块提取SURF特征后的照片称为第一类测试照片块，第一类测试照片块的数目也为4*N张；原始测试照片块提取LBP特征后的照片称为第二类测试照片块，第二类测试照片块的数目也为4*N张；将原始测试照片块、第一类测试照片块和第二类测试照片块组合在一起，从而得到4*N*3即12*N张测试照片块，将这12*N张测试照片块组成测试照片块字典，用Dt表示；(6a)、将测试照片块字典Dt中的任一原始测试照片块及其对应的第一类测试照片块与第二类测试照片块按列组合成一个向量，那么从测试照片块字典Dt中能得到N个这样的向量，将从测试照片块字典Dt中得到N个向量称为原始测试照片块向量字典Dtv；同时，将训练照片块字典Dp中的任一原始训练照片块及其对应的第一类训练照片块和第二类训练照片块按列组合在一起形成一个向量，那么从训练照片块字典Dp中可以得到M*N个向量，将从训练照片块字典Dp中得到的M*N个向量称为原始训练照片块向量字典Dpv；(7a)、对于原始测试照片块向量字典Dtv中的任一向量，计算其与原始训练照片块向量字典Dpv中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练照片块向量字典Dpv中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练照片块、第一类训练照片块和第二类训练照片块，将得到的K张原始训练照片块称为第一类候选照片块，而将与K张原始训练照片块对应的K张原始训练画像块，称为候选画像块；将得到的K张第一类训练照片块称为第二类候选照片块，将得到的K张第二类训练照片块称为第三类候选照片块；(8a)、利用第一类候选照片块、第二类候选照片块、第三类候选照片块、候选画像块、原始测试照片块、第一类测试照片块和第二类测试照片块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选照片块、第二类候选照片块、和第三类候选照片块的权值μ1、μ2、μ3，同时得到候选画像块的权值w；(9a)、将步骤(7a)得到的候选画像块和步骤(8a)得到的权值w相乘得到合成画像块；(10a)、重复执行步骤(8a)-(9a)，直至得到N块合成画像块，最后将得到的N块合成画像块进行组合得到原...

【专利技术属性】
技术研发人员：李洁，彭春蕾，王楠楠，高新波，任文君，张铭津，张声传，胡彦婷，
申请(专利权)人：西安电子科技大学宁波信息技术研究院，
类型：发明
国别省市：浙江;33