基于局部嵌入式隐马尔可夫模型的照片生成方法技术

本发明专利技术公开了一种基于局部嵌入式隐马尔可夫模型的照片生成方法。该方法的过程是：从样本集中划分出训练集和测试集，选取测试集中的一张画像作为待变换画像，训练集中的画像一照片对作为训练样本，将待变换画像及所有训练样本均匀划分为相互重叠的块；对于待变换画像的每个块，从训练样本中选择出相似度最大的Ｋ个训练画像块及其对应的Ｋ个训练照片块，并对每对训练画像块和照片块进行联合训练，建立耦合模型对库，根据Ｋ个耦合模型对生成Ｋ个中间伪照片块，将其进行加权融合，得到最终的伪照片块；将所有伪照片块进行组合得到最终的伪照片。本发明专利技术生成的照片清晰，质量高，纹理丰富，可用于根据模拟照片实现对犯罪嫌疑人身份的自动确认和识别。

【技术实现步骤摘要】

本专利技术属于图像处理和计算机图形学领域，特别涉及根据人脸画像自动生成照片的方法，可用于模式识别领域中基于画像的照片库中人脸检索和识别。
技术介绍
人脸识别是目前最具潜力的身份认证方法之一，在计算机视觉与模式识别等领域备受关注，并有着广泛的应用前景。其中一个重要的应用就是在刑侦破案或反恐追逃过程中，根据所获得的影像资料从已有的照片库中自动检索犯罪嫌疑人从而确定其身份。与手动的检索方法相比，自动检索不仅可以在很大程度上提高效率，将人们从这项极为耗时和枯燥的工作中解放出来，而且可以减少主观因素对识别结果的影响。然而，在实际情况下，很难获取到犯罪嫌疑人的照片，只能根据目击者的描述通过画家的努力得到其模拟画像，根据画像在已有的照片数据库中进行基于内容的检索，实现犯罪嫌疑人身份的确认和识别。画像—照片识别作为人脸识别领域新的研究方向应运而生，研究人员致力于寻求高性能的基于画像的自动人脸识别技术。现有的人脸识别方法大多是基于照片的，由于画像与照片的产生机理和信息表达方式不同，两者之间存在较大的几何形变及纹理和灰度差异，即使同一个人的画像和照片具有相似的几何形状，但是一定有相差甚远的纹理信息，这使得经典的人脸识别方法无法直接应用到画像—照片识别中。因此，画像—照片识别技术的研究具有很大的挑战性，其重点和难点在于如何将两者变换到同种信息表达模式下，减小二者的差异。现有的研究主要从以下两个方面进行，一方面是将蕴涵丰富信息的照片变换为包含较少信息的画像，画像的生成方法有以下三类 1.基于线性的方法。采用主成分分析算法分别在照片空间和画像空间训练构造各自的特征子空间，求出待变换的照片在照片特征空间中的投影系数，然后根据该投影系数求出利用照片重构出待变换照片时所需的系数，在画像空间中根据与照片相对应的画像及其系数重构出伪画像。该方法假定照片与画像之间的映射是一种线性关系，无法真正地反映出二者之间的关系； 2.基于伪的非线性方法。将训练集中的照片—画像对及待变换照片进行均匀分块，对于待变换照片的每一个小块，在所有训练照片块中找到与其最相似的N个小块，然后通过对这N个照片块对应的画像块进行线性加权来产生伪画像块，最后将所得的全部伪画像块组合成完整的伪画像。该方法通过局部的线性组合来逼近全局的非线性关系，但是仍然不是真正意义上的非线性方法； 3.基于非线性的方法。该方法利用嵌入式隐马尔可夫模型对照片与画像之间的非线性关系进行建模，根据所学习到的嵌入式隐马尔可夫模型将待变换照片转换成伪画像。考虑到单个模型对无法充分地刻画出照片与画像之间的复杂的非线性关系，引入了选择性集成的思想，针对每个照片—画像对得到一个个体画像生成器，选择部分个体生成器进行融合，从而将待变换的照片映射成相应的伪画像。然后，又在上述方法基础上将图像进行分块，对于每对训练照片块—画像块利用上述方法进行建模，根据模型将待变换照片块转变为伪画像块，合并伪画像块得到伪画像。这种方法是一种真正意义上的非线性方法，可以更加准确地对照片与画像之间的非线性关系建模。见文献“Gao X B，ZhongJJ，Tao D C and Li X L.Local face sketch synthesis learning.Neurocomputing，71(10-12)1921～1930，2008”。 将照片生成画像虽然这样可以在一定程度上减小照片与画像之间的差异，但在变换的过程中会丢失很多对检索或识别极为有用的信息。因此，研究人员从另一方面进行研究，通过机器学习的方法根据训练库中已有的照片信息，从画像中恢复出信息丰富的照片，这种方法对后续的识别过程更加有利。因此，根据画像生成照片成为画像—照片识别技术的关键。 目前照片生成方面的研究成果主要由卡内基梅隆大学的Yung-hui Li等和香港中文大学的汤晓鸥等取得，其主要思想都是将待识别的画像转变成伪照片，进行伪照片-照片的识别，他们所采用的伪照片生成方法不同，主要有以下两种 1.基于子空间的方法。这是一种对混合空间进行特征分析的方法，首先将照片空间和画像空间进行拼接合成混合空间，采用主成分分析算法对混合空间进行训练构造画像一照片的全局子空间，然后将该全局子空间分割成照片特征子空间和画像特征子空间，求出待变换画像在画像特征子空间的投影系数，最后利用投影系数在全局子空间重构出人脸图像向量，该向量的上半部分即为伪照片。该方法假定照片与画像之间的映射是一种线性关系，而实际上二者之间的关系却要复杂的多； 2.基于统计的方法。首先将训练集中的画像—照片对进行均匀分块处理，通过引入一个公共变量空间，获得照片块空间和画像块空间之间的内在联系，然后利用张量模型学习画像块与其相应照片块之间的非线性关系，根据所获得的张量模型，利用贝叶斯统计推理的方法，将待变换画像转变为相应的伪照片。 从上述分析可见，伪照片生成技术的研究还处于起步阶段，并且上述两种方法都需要大量的训练样本，然而研究人员共享的公共画像数据库资源非常有限，获取人工画像又需要较高的代价，所能获取的训练画像是有限的，因此，人脸画像数据库的规模限制了伪照片生成方法的应用与发展，如何更为有效地利用较少的训练样本对画像与照片之间的非线性关系建模成为照片生成与识别的关键。
技术实现思路
本专利技术的目的在于解决现有方法不能利用较少的训练样本准确地学习画像与照片之间复杂的非线性关系的问题，提出一种及装置，以利用较少的训练样本，更简单、更有效、更准确的实现基于画像的人脸照片生成。 实现本专利技术目的的技术方案是将训练样本集中的画像—照片对及待变换画像都进行均匀划分，采用机器学习的方法对训练集中画像块—照片块对之间的非线性关系进行学习和建模，针对每个画像块—照片块对得到一个个体照片块生成器，利用选择性集成思想选择部分个体生成器进行融合，从而将待变换的画像块映射成相应的伪照片块，将这些伪照片块进行组合得到伪照片，具体过程如下 1)将画像—照片对样本集划分为训练集和测试集，从测试集中选取一张测试画像S，将训练集中的N个画像—照片对作为训练样本，并对测试画像及训练样本进行均匀划分，每个图像被划分为重叠的块； 2)对于测试画像的每个块si，计算该块与所有训练画像块的相似度，并选择其中相似度最大的K个训练画像块； 3)根据所选的K个训练画像块，找到对应的K个训练照片块，构成训练画像块—照片块对(schok，pchok)，对每个训练画像块—照片块对(schok，pchok)进行联合训练，建立耦合模型对库，即建立嵌入式隐马尔可夫模型对 k＝1，2，…，K，一般取K＝7； 4)将测试画像块si在K个模型对中的每一个模型对 的画像块模型 下进行解码，根据解码的结果在相应的照片块模型 下重构生成对应于si的中间伪照片块ppseuk，K个模型可生成K个中间伪照片块； 5)将这K个中间伪照片块进行加权融合，得到最终的对应于si的伪照片块； 6)将所获得的所有伪照片块进行组合得到与测试画像S对应的伪照片。 本专利技术提供的基于局部嵌入式隐马尔可夫模型的照片生成虚拟装置，包括 样本集划分装置，用于将画像—照片对样本集划分为训练集和测试本文档来自技高网...

【技术保护点】
一种基于局部嵌入式隐马尔可夫模型的照片生成方法，包括如下过程：　Ａ．将画像－照片对样本集划分为训练集和测试集，选取测试集中的一张画像作为测试画像Ｓ，训练集中的Ｎ个画像－照片对作为训练样本；　Ｂ．对图像进行分块处理，将测试画像及训 练集中的所有人脸图像均匀地划分为相互重叠的块，测试画像Ｓ的块为｛ｓ↓［１］，ｓ↓［２］，…，ｓ↓［Ｍ］｝，对于训练集中的第ｉ个画像－照片对Ｓ↓［ｔｒｉ］和Ｐ↓［ｔｒｉ］，分别被划分为｛ｓ↓［ｔｒｉ１］，ｓ↓［ｔｒｉ２］，…，ｓ↓［ｔｒｉＭ］｝和｛ｐ↓［ｔｒｉ１］，ｐ↓［ｔｒｉ２］，…，ｐ↓［ｔｒｉＭ］｝，其中Ｍ为每个图像的块数；　Ｃ．对每个训练画像块建立嵌入式隐马尔可夫模型λ，用前向－后向算法计算测试画像块ｓ↓［ｊ］的观察向量Ｏ↓［ｓ↓［ｊ］］与模型λ的相似性Ｐ（Ｏ↓［ ｓ↓［ｊ］］｜λ），并选择相似度最大的Ｋ个模型对应的画像块ｓ↓［ｃｈｏｋ］，相似度分别为Ｐ（Ｏ↓［ｓ↓［ｊ］］｜λ↓［ｓ↓［ｃｈｏ１］］），Ｐ（Ｏ↓［ｓ↓［ｊ］］｜λ↓［ｓ↓［ｃｈｏ２］］），…，Ｐ（Ｏ↓［ｓ↓［ｊ］］｜λ↓［ｓ↓［ｃｈｏＫ］］），ｋ＝１，２，…，Ｋ，Ｋ值通过设定一个相似度水平阈值来控制，一般设为７；　Ｄ．根据上步中选择到的Ｋ个画像块，在训练集中确定与之相对应的照片块，构成Ｋ对画像块－照片块（ｓ↓［ｃｈｏｋ］，ｐ↓［ｃｈｏｋ］），并对每对画像块－照片块（ ｓ↓［ｃｈｏｋ］，ｐ↓［ｃｈｏｋ］）进行联合训练，建立耦合模型对库（λ↓［ｓ↓［ｃｈｏｋ］］，λ↓［ｐ↓［ｃｈｏｋ］］），其中ｋ＝１，２，…，Ｋ；　Ｅ．根据Ｋ个训练样本模型对，将测试画像块ｓ↓［ｊ］进行解码，并重构生成Ｋ个中间伪照片块 ｐ↓［ｓｅｕｋ］，其中ｋ＝１，２，…，Ｋ；　Ｆ．根据过程Ｃ中计算得到的测试画像块ｓ↓［ｊ］与其Ｋ近邻的相似度，设定各中间伪照片块的加权系数为：　ｗ↓［ｋ］＝Ｐ（Ｏ↓［ｓ↓［ｊ］］｜λ↓［ｓ↓［ｃｈｏｋ］］）／＊Ｐ（Ｏ↓［ｓ↓［ｊ ］］｜λ↓［ｓ↓［ｃｈｏ１］］），ｋ＝１，２，…，Ｋ　其中，Ｏ↓［ｓ↓［ｊ］］为测试画像块ｓ↓［ｊ］的观察向量，Ｐ（Ｏ↓［ｓ↓［ｊ］］｜λ↓［ｓ↓［ｃｈｏｋ］］）为利用前向－后向算法计算得到的Ｏ↓［ｓ↓［ｊ］］与模型λ↓［ｓ↓［ｃｈｏ ｋ］］的相似度；　Ｇ．将所获得的Ｋ个中间伪照片块根据过程Ｆ中的加权系数进行加权融合，得到对应于测试画像块ｓ↓［ｊ］的最终伪照片...

【技术特征摘要】

【专利技术属性】
技术研发人员：邓成，高新波，李洁，路文，田春娜，肖冰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：87[中国|西安]