本发明专利技术公开了一种基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统，包括：S1：构建训练库；S2：将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；S3：逐一建立训练库中各高分辨率图像块的局部流行空间；S4：逐一建立各待处理图像块的高分辨率局部流行空间和低分辨率局部流行空间，并构建各待处理图像块的投影矩阵；S5：采用投影矩阵恢复对应的待处理图像块，获得待估图像块；S6：拼接待估图像块得待估高分辨率人脸图像。本发明专利技术采用高分辨率局部流形空间的距离度量来决定低分辨率局部流形空间，对于低质量环境下人脸图像的恢复，在主观质量上可以得到明显的提升，尤其适用于监控环境下损毁严重的人脸图像恢复。
【技术实现步骤摘要】
本专利技术涉及图像处理和图像恢复
，具体涉及一种基于反向流形约束的鲁 棒性人脸超分辨率处理方法及系统。
技术介绍
人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已 有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用 于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统 的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图 像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件 下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况 下由于恶劣天气（例如：雨雾）、光照（例如：光照过强、过暗、明暗不均）、器件等因素对捕 获的图像引发的严重损毁（例如：严重的模糊和噪声），图像恢复、放大和辨识往往受到严 重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分 辨率图像。 近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是： 描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然 后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空 间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang等首 次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。 SungWonPark提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析 人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang提出一种基于 PCA(Principalcomponentanalysis，主成分分析）分解的方法，把低分辨率待处理图像用 低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终 结果。该方法对噪声具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现 象。2014年，Dong提出基于局部特征分解的人脸超分辨率方法，通过局部空间采用主成 分分析的方法，将全局空间的结果分解到，间延伸至CCA空间，进一步解决了这个问题。同 年，Lan针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出在传统 PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来 人工添加形状特征点作为约束。 综上所述，现有的这些流形方法大多仅按照传统的技术思路以低分辨率空间的信 息为基础，而相比较高分辨率空间而言，低分辨率空间的建立本身已经丢失了非常多的信 息，缺乏针对性的筛选和有效约束。因此恢复出的图像包含有较多的信息偏差，当待处理图 像含有较严重的毁坏混叠时，图像恢复效果并不令人满意。 文中涉及如下参考文献： H.Chang,D. -Y.Yeung,andY.Xiong,αSuper-resolutionthroughneighbor embedding,'，inProc.IEEEConf.Comput.Vis.PatternRecog. ,Jul. 2004,pp. 275 - 282. SungWonPark,Savvides,M.^BreakingtheLimitationofManifold AnalysisforSuper-ResolutionofFacialImages"，ICASSP,pp:573-576, 2007. XiaogangWangandXiaoouTang,"Hallucinatingfacebyeigentrans formation,'，Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEE Transactionson,vol. 35,no. 3,pp. 425 - 434, 2005. XiaohuiDong,RuiminHu,JunjunJiang,ZhenHan,Liang Chen,andGeGao,NoiseFaceImageHallucinationviaData-DrivenLocal Eigentransformation,SpringerInternationalPublishing, 2014. CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshape semanticmoderegularization.IEEEInternationalConferenceonImage Processing(ICIP), 2021 - 2024, 26-29Sept. 2010.
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于反向流形约束的鲁棒性人脸超 分辨率处理方法及系统，尤其适用于损毁严重的人脸图像恢复。 为了解决上述技术问题，本专利技术采用如下的技术方案： -、一种基于反向流形约束的鲁棒性人脸超分辨率处理方法，包括：S1构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；S2采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交 叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为待处理图像块，划 分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为高分辨率图像块 和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使高分辨率图像块 和其对应的低分辨率图像块编号相同；S3在训练库中找寻各高分辨率图像块少f在欧式空间的K近邻高分辨率图像块，该 K近邻高分辨率图像块的编号集为得对应的低分辨率图像块彳的高分辨率局部流 行空间{χΓ?#和低分辨率局部流行空间·(#1胃,，K为经验值，Pl表示高分辨率图像块 和低分辨率图像块的编号；S4在训练库中找寻各待处理图像块xf在欧式空间的K'近邻低分辨率图像块，各 κ'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间构成.yf的局部 流行空间，根据<的局部流行空间构建投影矩阵；κ'为经验值，与κ相等或不相等；S5 :采用投影矩阵恢复对应的待处理图像块，获得待估图像块；S6 :拼接待估图像块得待估高分辨率人脸图像。S1具体为： 将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应 的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库； 同时，在S2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置 对齐。 所述的位置对齐采用仿射变换法将进行位置对齐。 S5中所获得待估图像块J'f ，其中，彳表示待处理图像块，Mp表示彳的投 影矩阵。 二、一种基于反向流形约束的鲁棒性人脸超分辨率处理系统，包括：训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图 像库的训练库；图像块划分模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库 中图像划分为具交叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为 待处理图像块，划分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为 高分辨率图像块和低分辨率图像块；对高本文档来自技高网...
【技术保护点】
一种基于反向流形约束的鲁棒性人脸超分辨率处理方法，其特征是，包括：S1构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；S2采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为待处理图像块，划分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为高分辨率图像块和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使高分辨率图像块和其对应的低分辨率图像块编号相同；S3在训练库中找寻各高分辨率图像块在欧式空间的K近邻高分辨率图像块，该K近邻高分辨率图像块的编号集为得对应的低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间K为经验值，pl表示高分辨率图像块和低分辨率图像块的编号；S4在训练库中找寻各待处理图像块在欧式空间的K'近邻低分辨率图像块，各K'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间构成的局部流行空间，根据的局部流行空间构建投影矩阵；K'为经验值，与K相等或不相等；S5：采用投影矩阵恢复对应的待处理图像块，获得待估图像块；S6：拼接待估图像块得待估高分辨率人脸图像。...
【技术特征摘要】
【专利技术属性】
技术研发人员：胡瑞敏，陈亮，韩镇，陈军，江俊君，魏雪丽，丁新，李青，马芸，杨振国，关健，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。