本发明专利技术公开了一种含置信度的人脸图像超分模型构建、超分方法及装置，属于人脸图像超分领域。该构建方法包括：获取基于编码器‑解码器结构的第一人脸图像超分模型，复用第一人脸图像超分模型的编码器和解码器，根据预设的全局池化层计算模型和全连接层计算模型，构建置信度分支，获取人脸图像训练数据，最后构建含置信度分支结构的人脸图像超分模型。由于包含了置信度分支结构，因此可以通过置信度的值来对模型的人脸超分图像质量进行判断，而其中的置信度分支是复用了超分模型中的编码器和解码器，因而不需要额外的算力去计算和提取人脸图像的特征，进而进一步的减少了模型所需算力，从而仅需较少算力便能够实现对人脸超分图像质量的判断。
【技术实现步骤摘要】
本专利技术涉及人脸图像超分领域，尤其涉及一种含置信度的人脸图像超分模型构建、超分方法及装置。
技术介绍
1、随着智能手机、摄像头等设备的普及，人们在日常生活中产生的数字图像越来越多，其中不乏低分辨率的人脸图像。由于低质量的图像往往无法满足人脸识别等应用的需求，因此对这些人脸图像进行超分处理显得尤为重要。人脸图像超分技术的核心是将低分辨率的人脸图像转换为高分辨率图像，同时尽可能保留原始图像的细节信息和结构特征。目前效果较好的方法是通过深度神经网络进行人脸图像超分。
2、但是使用深度神经网络进行人脸图像超分，其超分的效果与深度神经网络的训练效果相关，如果在实际应用中输入的图像与训练时有较大的差异，那么经过处理后的输出图像可能比输入图像更差，而且使用深度神经网络进行人脸图像超分缺乏简单有效的指标来验证图像的质量。目前常用的解决方法为在人脸图像超分模型之后用图像质量评价模型来进行打分评判，但这使得在实际部署中需要额外添加一个模型，从而需要更多的算力。
3、综上所述，目前的人脸图像超分技术方案存在着缺乏评判标准和引入评判模型需要增加更多的额外算力的问题。
技术实现思路
1、本专利技术提供了一种含置信度的人脸图像超分模型构建、超分方法及装置，以解决无法以较小的算力评判人脸图像超分质量的技术问题。
2、为了解决上述技术问题，本专利技术实施例提供了一种含置信度的人脸图像超分模型构建方法，包括：
3、获取基于编码器-解码器结构的第一人脸图像超分模型；</p>4、复用第一人脸图像超分模型的编码器和解码器，根据预设的全局池化层计算模型和全连接层计算模型，构建置信度分支，并根据所述第一人脸图像超分模型，结合所述置信度分支构建第二人脸图像超分模型；
5、获取人脸图像训练数据；其中，所述人脸图像训练数据包括若干个人脸图像样本、每个人脸图像样本对应的人脸超分图像和每个人脸图像样本对应的质量标签信息；所述人脸超分图像是由所述第一人脸图像超分模型对人脸图像样本超分获得；
6、根据所述人脸图像训练数据，对所述第二人脸图像超分模型进行训练，生成第三人脸图像超分模型。
7、可以理解的是，相对于现有技术，本专利技术通过获取基于编码器-解码器结构的人脸图像超分模型，进而复用人脸图像超分模型的编码器和解码器，构建置信度分支，最后构建含置信度分支结构的人脸图像超分模型。这样构建的人脸图像超分模型包含了置信度分支结构，可以通过置信度的值来对模型的人脸超分图像质量进行判断，而其中的置信度分支是复用了超分模型中的编码器和解码器，因而不需要额外的算力去计算和提取人脸图像的特征，进而进一步的减少了模型所需算力，从而仅需较少算力便能够实现对人脸超分图像质量的判断。
8、作为优选方案，所述复用第一人脸图像超分模型的编码器和解码器，根据预设的全局池化层计算模型和全连接层计算模型，构建置信度分支，具体为：
9、获取预设的全局池化层计算模型和全连接层计算模型，复用第一人脸图像超分模型的编码器和解码器，根据得到的编码器和解码器中的图像特征图对进全局池化层计算模型和全连接层计算模型进行训练，训练完成后构建置信度分支。
10、通过复用第一人脸图像超分模型的编码器和解码器，可以减少置信度分支所需的算力，从而减少最终构建的人脸超分模型对图像质量进行评判时所需算力。
11、相应的，本专利技术提供了一种含置信度的人脸图像超分模型的超分方法，包括：
12、获取含置信度的人脸图像超分模型；其中，所述人脸图像超分模型由上述的含置信度的人脸图像超分模型的构建方法而构建获得；
13、获取待超分的人脸图像，并输入所述含置信度的人脸图像超分模型，以使所述人脸图像超分模型对所述人脸图像进行置信度的计算和图像超分，得到人脸图像对应的置信度和人脸超分图像，并根据置信度选择输出的图像。
14、可以理解的，相对于现有技术，本专利技术通过获取含置信度的人脸图像超分模型和待处理的人脸图像，将待处理的人脸图像输入所述人脸图像超分模型，以使所述人脸图像超分模型对所述人脸图像进行置信度的计算和图像超分，得到人脸图像对应的置信度和人脸超分图像，最后人脸超分模型根据置信度选择输出的图像。本专利技术通过计算置信度，并根据计算得出的置信度的值来选择人脸超分模型的输出图像，使得人脸超分模型的输出图像是在置信度的基础上，根据图像画质质量来进行输出的。通过此人脸图像超分模型超分得到的人脸超分图像，避免了输出图像比输入图像画质质量更差的情况发生，从而提高了人脸图像超分模型的应用性。
15、作为优选方案，所述人脸图像超分模型对所述第一人脸图像进行置信度的计算和图像超分，具体为：
16、通过编码器提取所述人脸图像的图像特征，根据解码器的重构，得到对应的人脸超分图像；
17、获取编码器和解码器中的图像特征图并进行求差，将所述求差结果输入全局池化层计算模型进行计算，得到的计算结果作为全连接层计算模型的输入参数，经过全连接层计算模型计算得到所述人脸图像对应的置信度。
18、通过人脸图像超分模型对输入的人脸图像进行超分和置信度的计算，可以为后续人脸超分模型根据置信度选择输出的图像提供数据依据。
19、作为优选方案，所述根据置信度选择输出的图像，具体为；
20、获取人脸图像对应的置信度和人脸超分图像；
21、若置信度的值大于所设阈值，则选择所述人脸超分图像作为人脸图像超分模型的输出图像；
22、若置信度的值小于所设阈值，则选择所述人脸图像作为人脸图像超分模型的输出图像。
23、通过比对置信度的值，根据比对结果选择人脸图像超分模型输出的图像，有效的根据了图像的质量来人脸图像超分模型的输出进行控制，避免了人脸图像超分模型输出超分效果更差的人脸图像。
24、相对的，本专利技术提供了一种含置信度的人脸图像超分模型的构建装置，包括：第一模型获取模块、置信度分支构建模块、模型训练数据获取模块和超分模型构建模块；
25、其中，第一模型获取模块用于获取基于编码器-解码器结构的第一人脸图像超分模型；
26、置信度分支构建模块用于复用第一人脸图像超分模型的编码器和解码器，根据预设的全局池化层计算模型和全连接层计算模型，构建置信度分支，并根据所述第一人脸图像超分模型，结合所述置信度分支构建第二人脸图像超分模型；
27、模型训练数据获取模块用于获取人脸图像训练数据；其中，所述人脸图像训练数据包括若干个人脸图像样本、每个人脸图像样本对应的人脸超分图像和每个人脸图像样本对应的质量标签信息；所述人脸超分图像是由所述第一人脸图像超分模型对人脸图像样本超分获得；
28、超分模型构建模块用于根据所述人脸图像训练数据，对所述第二人脸图像超分模型进行训练，生成第三人脸图像超分模型。
29、作为优选方案，所述置信度分支构建模块，包括：置信度分支构建单元；
30、所述本文档来自技高网
...
【技术保护点】
1.一种含置信度的人脸图像超分模型构建方法，其特征在于，包括：
2.如权利要求1所述的一种含置信度的人脸图像超分模型构建方法，其特征在于，所述复用第一人脸图像超分模型的编码器和解码器，根据预设的全局池化层计算模型和全连接层计算模型，构建置信度分支，具体为：
3.一种含置信度的人脸图像超分模型的超分方法，其特征在于，
4.如权利要求3所述的一种含置信度的人脸图像超分模型的超分方法，其特征在于，所述人脸图像超分模型对人脸图像进行置信度的计算和图像超分，具体为：
5.如权利要求3所述的一种含置信度的人脸图像超分模型的超分方法，其特征在于，所述根据置信度选择输出的图像，具体为：
6.一种含置信度的人脸图像超分模型的构建装置，其特征在于，包括：第一模型获取模块、置信度分支构建模块、模型训练数据获取模块和超分模型构建模块；
7.如权利要求6所述的一种含置信度的人脸图像超分模型的构建装置，其特征在于，所述置信度分支构建模块，包括：置信度分支构建单元；
8.一种含置信度的人脸图像超分装置，其特征在于，包括：人脸图像超分模块和如权利要求6至7任意一项所述的含置信度的人脸图像超分模型的构建装置；
9.如权利要求8所述的一种含置信度的人脸图像超分装置，其特征在于，所述人脸图像超分模块，包括：人脸图像处理单元、人脸图像输出单元；
...
【技术特征摘要】
1.一种含置信度的人脸图像超分模型构建方法，其特征在于，包括：
2.如权利要求1所述的一种含置信度的人脸图像超分模型构建方法，其特征在于，所述复用第一人脸图像超分模型的编码器和解码器，根据预设的全局池化层计算模型和全连接层计算模型，构建置信度分支，具体为：
3.一种含置信度的人脸图像超分模型的超分方法，其特征在于，
4.如权利要求3所述的一种含置信度的人脸图像超分模型的超分方法，其特征在于，所述人脸图像超分模型对人脸图像进行置信度的计算和图像超分，具体为：
5.如权利要求3所述的一种含置信度的人脸图像超分模型的超分方法，其特征在于，所述根据置信度选择输出的...
【专利技术属性】
技术研发人员：黄杰，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。