本发明专利技术公开了一种视觉目标图像分辨率增强的方法、系统、装置及存储介质，该方法包括：采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，人脸图像超分辨率模型的训练方法，包括：采集训练样本，训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；根据训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。本发明专利技术通过训练好的人脸图像超分辨率模型实现人脸属性先验指导低分辨率人脸图像增强并恢复人脸图像的高频信息，以使输出的高分辨率人脸图像包含更多的人脸面部结构细节，提高人脸图像的清晰度。高人脸图像的清晰度。高人脸图像的清晰度。
【技术实现步骤摘要】
视觉目标图像分辨率增强的方法、系统、装置及存储介质
[0001]本专利技术属于图像处理
，尤其涉及一种视觉目标图像分辨率增强的方法、系统、装置及存储介质。
技术介绍
[0002]近些年来，随着人们对图像和视频质量要求的不断提高，如何提升图像和视频质量成为了日益重要的问题。图像超分辨率旨在对低分辨率图像进行修复，使图像包含更多的细节信息，以提高图像的清晰度。这项技术有着重要的实用意义，例如在安全监控领域，监控视频采集设备由于成本限制，获取到的是缺乏有效信息的视频帧，而安全监控极大依赖于信息明确的高分辨率图像。采用图像超分辨率技术，能够增加视频帧的细节。这些信息的补充能够为打击犯罪提供有效证据。目前，将图像超分辨率作为前期预处理技术，能够有效地提升安全领域中的目标检测、人脸识别及异常预警等任务的精度。
[0003]以前图像超分辨率使用的的方法是基于插值或者基于重建的方法。基于插值方式的图像超分辨率是超分辨率领域中最先应用的算法，这类算法基于固定的多项式计算模式，由已有的像素值推算出插值位置的像素值，例如双线性插值、双立方插值和Lanczos缩放。基于重建的方法采用严格的先验知识作为约束，在约束空间内找到合适的重建函数，从而重建出具有细节信息的高分辨率图像。这些算法通常会陷入图像过于平滑的问题，不能很好地恢复图像的纹理细节。
[0004]近年来，随着深度学习以及卷积神经网络的发展，图像超分辨率技术取得了巨大的突破，对人脸图像超分辨率的研究也受到越来越多研究人员的关注。然而，在一些结合人脸属性的工作只是在浅层特征上串联人脸属性信息，而人脸图像是高度结构化且具有对称性的特殊图像，深层的特征更能表示人脸图像的结构信息。目前，现有模型均通过沙漏网络、残差网络或者是自动编码器等结构进行模型的构建，这些结构不足以支撑深层的模型搭建，均局限于简单的特征提取网络结构。
技术实现思路
[0005]本专利技术提供了一种视觉目标图像分辨率增强的方法、系统、装置及存储介质，可以进一步结合属性信息与深层面部结构特征，构建更深层次的网络，使其能够基于特定的人脸属性先验获取清晰度高的人脸图像，以解决或者至少部分解决上述技术问题。
[0006]为达此目的，本专利技术采用以下技术方案：
[0007]第一方面，提供了一种视觉目标图像分辨率增强的方法，包括：
[0008]采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练方法，包括：
[0009]采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；
[0010]根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
[0011]可选地，所述采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本，包括：
[0012]采集高分辨率人脸图像样本，采用人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；
[0013]采用图像缩放算法对所述高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；
[0014]采用人脸图像数据集CelebA中的有助于人脸图像超分辨率的属性，作为对应的人脸属性样本，选取其中预设数量人脸属性样本。
[0015]可选地，所述根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型，包括：
[0016]获取低分辨率人脸图像样本和对应的预设数量人脸属性样本；
[0017]基于卷积神经网络对所述低分辨率人脸图像提取浅层特征，生成低分辨率人脸图像特征；
[0018]结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征；
[0019]采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征；
[0020]采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像；
[0021]基于预设损失函数对重建后的高分辨率人脸图像与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。
[0022]可选地，所述结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征，包括：
[0023]编码器使用最大池化的操作下采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数；
[0024]解码器使用反卷积进行上采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数。
[0025]可选地，所述采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征，包括：
[0026]对预设数量人脸属性变量输入的特征图进行尺寸变换；
[0027]将所述人脸图像的结构特征与人脸属性变量在通道维度串联起来；
[0028]将串联起来的特征图通过卷积核大小为3的卷积层进行通道数压缩；
[0029]将压缩通道数后的所述特征通过双重残差密集连接网络，提取深层特征。
[0030]可选地，所述采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像，包括：
[0031]基于像素重排，通过一层卷积操作，将通道数扩大为原来的4倍，然后利用通道特定位置重排之后，获得特征尺度扩大2倍而通道数降为与输入一致的结果；其中，在模型的实现当中，针对
×
4放大系数模型，级联两个像素重排上采样模块以获取4倍放大的输出特
征；
[0032]采用2个卷积核大小为3的卷积层，重建出高分辨率人脸图像。
[0033]可选地，所述采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像，包括：
[0034]将低分辨率人脸图像输入人脸结构特征提取模型，得到人脸结构特征；
[0035]将所述人脸结构特征与人脸属性变量进行串联，输入后续人脸图像超分辨率模型，输出高分辨率人脸图像。
[0036]第二方面，提供了一种视觉目标图像分辨率增强的系统，包括：
[0037]输出模块，用于采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练模块，包括：
[0038]采集子模块，用于采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；
[0039]模型建立子模块，用于根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
[0040]可选地，所述采集子模块包括：
[0041]采集单元，用于采集高分辨率人脸图像样本，采用公开的大规模人脸图像数据集CelebA得本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视觉目标图像分辨率增强的方法，其特征在于，包括：采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练方法，包括：采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。2.根据权利要求1所述的视觉目标图像分辨率增强的方法，其特征在于，所述采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本，包括：采集高分辨率人脸图像样本，采用人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；采用图像缩放算法对所述高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；采用人脸图像数据集CelebA中的有助于人脸图像超分辨率的属性，作为对应的人脸属性样本，选取其中预设数量人脸属性样本。3.根据权利要求2所述的视觉目标图像分辨率增强的方法，其特征在于，所述根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型，包括：获取低分辨率人脸图像样本和对应的预设数量人脸属性样本；基于卷积神经网络对所述低分辨率人脸图像提取浅层特征，生成低分辨率人脸图像特征；结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征；采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征；采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像；基于预设损失函数对重建后的高分辨率人脸图像与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。4.根据权利要求3所述的视觉目标图像分辨率增强的方法，其特征在于，所述结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征，包括：编码器使用最大池化的操作下采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数；解码器使用反卷积进行上采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数。5.根据权利要求3所述的视觉目标图像分辨率增强的方法，其特征在于，所述采用双重残差密集连...
【专利技术属性】
技术研发人员：金龙存，卢盛林，
申请(专利权)人：广东奥普特科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。