一种制作超低分辨率人脸模拟像的方法技术

本发明专利技术涉及一种制作超低分辨率人脸模拟像的方法，属于图像处理、模式识别技术领域；该方法包括：对含有超低分辨率人脸图像进行放大，对放大后的图像进行裁减，再进行模糊图像复原处理后，人工标出人脸形状特征点；采用三维模型成像的方法，形成该超低分辨率人脸的三维模型正面像和人脸形状特征点；在人脸识别系统进行查询识别，得到一张与超低分辨率人脸图像最相象的三维模型正面像的识别像；提取出人脸形状特征点；再进行仿射变换，得到超低分辨率人脸的模拟像。本方法较好地解决了视频监控的超低分辨率人脸图像的恢复难题。

【技术实现步骤摘要】

本专利技术属于图像处理、模式识别
，特别涉及。
技术实现思路
当前，视频监控得到了迅速的发展，在安防工作中发挥了越来越多的积极作用。在 视频监控的图像中，记录了许多与案件相关的信息，而且在许多案件中是唯一的信息，其重 要性是不言而喻的。但是，由于视频监控的涉案人脸图像分辨率往往很低，而且具有不同的 姿态，因此无法分辨涉案人，致使许多案件的办案工作陷入了困境。在2006RFVT的人脸识 别性能的测试中，低分辨率人脸图像的两眼距离为75个象素，人脸图像的两眼距离小于30 个象素的人脸图像，称为超低分辨率人脸图像。 人像组合技术已经广泛应用于目击者记忆的人脸图像的制作方面，取得了许多实 际应用的成功案例，该项技术应用的成败主要依靠目击者的记忆程度、表达能力和人像组 合技术操作员的技能水平，以人工因素为主。而对于视频监控的超低分辨率人脸图像的恢 复问题，则是困难重重。 一是操作员无法看清人脸(如五官长像)，二是不同姿态，也难以绘 制成正面像。显然，视频监控的超低分辨率人脸图像的恢复问题，是目前凸现的极具挑战性 的重大应用问题。
技术实现思路
本专利技术的目的是为解决视频监控的超低分辨率人脸图像的恢复问题，提出一种制 作超低分辨率人脸模拟像的方法，较好地解决了这一难题。 本专利技术提出的一种制作超低分辨率人脸的模拟像的方法，该方法包括模糊人像复 原、三维模型成像、人脸识别、仿射变换、人像修改技术的综合应用，其特征在于包括以下 方法和步骤 1)对含有超低分辨率人脸图像进行放大，对放大后的图像进行裁减，所获得的放 大后的模糊人脸图像的高度大于150个像素； 2)对裁减后的模糊人脸图像进行模糊图像复原处理，得到一幅较清楚的复原人脸 图像； 3)对步骤2)得到的人脸图像，人工标出人脸形状特征点； 4)采用三维模型成像的方法，由步骤2)得到的人脸图像和步骤3)得到的人脸形 状特征点形成该超低分辨率人脸的三维模型正面像并生成该正面像的人脸形状特征点； 5)用步骤4)得到的三维模型正面像，在人脸识别系统进行查询识别，得到一张与 超低分辨率人脸图像最相象的三维模型正面像的识别像； 6)利用主动形状模型(ASM)方法，提取出步骤5)得到的三维模型正面像的识别像 的人脸形状特征点； 7)以步骤4)得到的正面人脸图像作为形状图像、以步骤5)得到的三维模型正面 像的识别像作为纹理图像，使用正面人脸图像的人脸形状特征点和三维模型正面像的识别像的人脸形状特征点，进行仿射变换，得到超低分辨率人脸的模拟像。 本专利技术的特点及有益效果 本专利技术首先采用模糊图像复原的方法，来对视频监控的超低分辨率人脸图像进行 复原处理，然后参照复原图像，利用人像组合技术再绘制模拟像。再采用三维人脸技术解决 多姿态问题，制作出超低分辨率人脸的正面模拟像，较好地解决了视频监控的超低分辨率 人脸图像的恢复难题。附图说明 图1为本专利技术方法的稠密点插值示意图。 图2为本实施例的包含超低分辨率人脸的原始图像。 图3为本实施例的截取的超低分辨率人脸的放大图像。 图4为本实施例的超低分辨率人脸的复原图像效果图。 图5为本实施例的在复原图像上标注105个人脸形状特征点的图像。 图6为本实施例中利用三维模拟像技术形成的正面人脸图像效果图。 图7为本实施例中利用三维正面人脸图像得到的三维模型像三维模型正面像的识别像效果图。 图8为本实施例中的仿射后的人脸模拟图像效果图。 图9为本实施经人工修改后的最终超低分辨率人脸的模拟像效果图。具体实施例方式本专利技术提出的结合附图及实施例详细说 明如下 本专利技术提出的实施例，该方法包括模糊人 像复原、三维模型成像、人脸识别、仿射变换、人像修改技术的综合应用，其特征在于包括 以下步骤 1)对含有超低分辨率人脸的图像进行放大(可采用Windows自带的图像放大功能 实现也可采用其它图像放大方法实现)，并对放大后的图像进行裁减，所获得的放大后的模 糊人脸图像的高度大于150个像素 2)对放大后的模糊人脸图像进行模糊图像复原处理，得到一幅较清楚的复原人脸 图像；具体实现方法(属于已有技术)为 散焦模糊复原点扩散函数模型为式(1)。 一 1,>2 2(1)其它 式中，R为点扩散半径，i为水平坐标，j为垂直坐标c 维纳滤波的表达式为式(2)。4<formula>formula see original document page 5</formula> 式(2)中r = Sm(u，V)/Sff(u， v)是图像信噪比的倒数，Sm(u， v)和Sff(u， v)分别 是噪声和原始图像的功率谱密度。r 一般用一个小的正常数来代替，数值在0. 0001 1之 间。 在实际应用中，式(1)的R和式(2)中的r采用有限遍历的方法得到，例如R分别 取为10、12、14、 ...、40， r分别为0. 001、0. 006、0. 0011、 ...、0. 096，得到320张复原图像。 在320张复原图像中，人工选取一幅最清楚的图像作为超低分辨率人脸图像的复原人脸图 像； 3)对步骤2)得到的人脸图像，标出人脸形状特征点(用已知的人工标定的方 法)，人脸形状特征点包括人脸外轮廓点、眉毛轮廓点、眼睛轮廓点、嘴轮廓点、鼻子轮廓点。 本实施例选用的人脸形状特征点为105点； 4)采用三维模型成像的方法，由步骤2)得到的人脸图像和步骤3)得到的105个 人脸形状特征点，形成该超低分辨率人脸的正面人脸图像并获得包含正面人脸图像的105 个人脸形状特征点； 三维模型成像，其输入的是由步骤2)得到的复原人脸图像和步骤3得到的105个 人脸形状特征点，输出的是合成的正面人脸图像(360*480)和包含正面人脸图像的105个 人脸形状特征点，使用的模型是三维形状模型和二维纹理模型；具体包括 4-1)模型建立 模型包括三维形状模型和二维纹理模型。三维形状模型和二维纹理模型是用 PCA(主分量分析)方法训练得到的，三维形状模型的训练图像应采用不小于200人的三维 人脸图像；二维纹理模型的训练图像应采用不小于200人的二维人脸图像。 4-2)人脸姿态参数估计 输入的人脸图像是多姿态的人脸图像及其105个人脸形状特征点，将输入图像的 左右偏转角度分为七类，即-45° ，-30° ，-15° ，0° ，+15° ，+30° ，+45° (向右转为正， 向左转为负)，用人工判断的方法给出输入人脸姿态的类别； 4-3)人脸形状重建 4-3-1)特征形状估计 在得到姿态类别后，就可以利用& = sURZi+t+ e以及特征形状的PCA模型 z^^ +尸6来计算模型参数b。其中，&是二维点坐标，s为縮放比例，U为投影矩阵，R为旋 转矩阵，Zi是三维点坐标，t为二维平移向量，e为量化噪声，5是z的平均模型，P为特征 向量构成的矩阵，b为模型参数。求解b的过程实质上是一个最小二乘问题，需要最小化表 达式I I s認+t-D |2。其中Z = [Zl z2. zN] ， D = [4 d2. . dN] ， N为特征点数。对于所有 的105个人脸形状特征点，它们的三维坐标则是利用当前得到的模型参数b回代计算得到。 4-3-2)稠密形状重建本文档来自技高网...

【技术保护点】
一种制作超低分辨率人脸的模拟像的方法，该方法包括模糊人像复原、三维模型成像、人脸识别、仿射变换、人像修改技术的综合应用，其特征在于：包括以下方法和步骤：１）对含有超低分辨率人脸图像进行放大，对放大后的图像进行裁减，所获得的放大后的模糊人脸图像的高度大于１５０个像素；２）对裁减后的模糊人脸图像进行模糊图像复原处理，得到一幅较清楚的复原人脸图像；３）对步骤２）得到的人脸图像，人工标出人脸形状特征点；４）采用三维模型成像的方法，由步骤２）得到的人脸图像和步骤３）得到的人脸形状特征点形成该超低分辨率人脸的三维模型正面像并生成该正面像的人脸形状特征点；５）用步骤４）得到的三维模型正面像，在人脸识别系统进行查询识别，得到一张与超低分辨率人脸图像最相象的三维模型正面像的识别像；６）利用主动形状模型（ＡＳＭ）方法，提取出步骤５）得到的三维模型正面像的识别像的人脸形状特征点；７）以步骤４）得到的正面人脸图像作为形状图像、以步骤５）得到的三维模型正面像的识别像作为纹理图像，使用正面人脸图像的人脸形状特征点和三维模型正面像的识别像的人脸形状特征点，进行仿射变换，得到超低分辨率人脸的模拟像。

【技术特征摘要】
一种制作超低分辨率人脸的模拟像的方法，该方法包括模糊人像复原、三维模型成像、人脸识别、仿射变换、人像修改技术的综合应用，其特征在于包括以下方法和步骤1)对含有超低分辨率人脸图像进行放大，对放大后的图像进行裁减，所获得的放大后的模糊人脸图像的高度大于150个像素；2)对裁减后的模糊人脸图像进行模糊图像复原处理，得到一幅较清楚的复原人脸图像；3)对步骤2)得到的人脸图像，人工标出人脸形状特征点；4)采用三维模型成像的方法，由步骤2)得到的人脸图像和步骤3)得到的人脸形状特征点形成该超低分辨率人脸的三维模型正面像并生成该正面像的人脸形状特征点；5)用步骤4)得到的三维模型正面像，在...

【专利技术属性】
技术研发人员：苏光大，刘炯鑫，王晶，任小龙，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]