计算机实现的方法、装置和计算机程序产品制造方法及图纸

提供了一种计算机实现的方法。该计算机实现的方法包括将低分辨率图像和多个高分辨率图像输入到特征提取器中；其中，所述低分辨率图像和所述多个高分辨率图像包括具有目标对象的图像；通过所述特征提取器获得所述低分辨率图像的特征图和所述多个高分辨率图像各自对应的特征图；比较所述低分辨率图像的特征图和所述多个高分辨率图像各自对应的特征图之间的相似度；选定所述多个高分辨率图像各自对应的特征图中与所述低分辨率图像的特征图最相似的一个或多个特征图；将所选定的特征图输入到生成器中，以输出修复图像；对所述低分辨率图像进行预处理图像增强，以生成增强图像；以及将所述修复图像与所述增强图像融合。以及将所述修复图像与所述增强图像融合。以及将所述修复图像与所述增强图像融合。

【技术实现步骤摘要】
【国外来华专利技术】计算机实现的方法、装置和计算机程序产品


[0001]本专利技术涉及显示技术，更具体地，涉及一种计算机实现的方法、装置和计算机程序产品。

技术介绍

[0002]机器学习和神经网络已经针对各种目的用于分析图像。神经网络是包括多个隐藏层的网络。多个隐藏层中的各个层包括多个神经元(例如，节点)。多个隐藏层中的各个层中的多个神经元与多个隐藏层中的相邻层中的多个神经元连接。神经元之间的连接具有不同的权重。神经网络具有模仿生物神经网络的结构。神经网络可以使用非确定性方式解决问题。

技术实现思路

[0003]一方面，本公开提供了一种计算机实现的方法，包括：将低分辨率图像和多个高分辨率图像输入到特征提取器中，所述低分辨率图像和所述多个高分辨率图像包括具有目标对象的图像；通过所述特征提取器获得所述低分辨率图像的特征图和所述多个高分辨率图像各自对应的特征图；比较所述低分辨率图像的特征图和所述多个高分辨率图像各自对应的特征图之间的相似度；选定所述多个高分辨率图像各自对应的特征图中与所述低分辨率图像的特征图最相似的一个或多个特征图；将所选定的特征图输入到生成器中，以输出修复图像；对所述低分辨率图像进行预处理图像增强，以生成增强图像；以及将所述修复图像与所述增强图像融合。
[0004]可选地，所述低分辨率图像是面部图像，所述目标物体是人物的面部。
[0005]可选地，所述低分辨率图像和所述多个高分辨率图像是视频中的图像帧的面部图像。
[0006]可选地，所述计算机实现的方法还包括建立包括所述多个高分辨率图像的第一数据库和包括与所述多个高分辨率图像相关联的多个图像参数的第二数据库，具体包括：接收视频的多个图像帧；确定所述多个图像帧中的各个图像帧中是否存在至少一个目标对象，所述各个图像帧中的目标对象的数量和目标对象在所述各个图像帧中的位置；以及，当所述目标对象存在于相应的图像帧中时，确定所述目标对象的目标图像的分辨率。
[0007]可选地，所述计算机实现的方法还包括：将各个图像帧的编号、各个图像帧中是否存在至少一个目标对象、所述各个图像帧中的目标对象的数量、目标对象在所述各个图像帧中的位置和目标标识符存储在所述第二数据库中。
[0008]可选地，所述计算机实现的方法还包括：对其中存在至少一个目标对象的各个图像帧执行目标识别；以及将分辨率大于阈值分辨率的一个或多个目标图像和与所述目标对象相关联的目标标识符存储在所述第一数据库中，所述多个高分辨率图像包括所述一个或多个目标图像。
[0009]可选地，所述计算机实现的方法还包括：计算所述低分辨率图像的特征图和所述
多个高分辨率图像各自对应的特征图之间的相似度得分；其中，基于与所述低分辨率图像的特征图最相似的一个或多个所选定的特征图的相似度得分与所述低分辨率图像的特征图的相似度得分之间的差低于阈值，选定所述一个或多个特征图。
[0010]可选地，所述特征提取器包括：第一级联层，其被配置为级联所述低分辨率图像和所述多个高分辨率图像；串联连接的多个卷积层；以及一个或多个全连接层；其中，所述特征提取器被配置为从所述一个或多个全连接层中的最后一个全连接层输出所述低分辨率图像的相似度得分和所述多个高分辨率图像的相似度得分，并且被配置为从所述多个卷积层中的中间卷积层输出所述低分辨率图像和所述多个高分辨率图像的特征图。
[0011]可选地，将所选定的特征图输入到生成器中以输出修复图像包括：将所述一个或多个所选定的特征图排列组合以获得融合特征图；从所述融合特征图中提取特征；以及将来自所述融合特征图的所述特征重组到所述修复图像中。
[0012]可选地，所述生成器包括：第二级联层，其被配置为将所述一个或多个所选定的特征图排列组合，以获得融合特征图；尺寸调整层，其连接到所述第二级联层，并被配置为将所述融合特征图重采样为具有固定尺寸；串联布置的多个编码模块，其中第一级所述编码模块输入所述固定尺寸的所述融合特征图；串联布置的多个解码模块以及所述多个编码模块中的各个编码模块与所述多个解码模块中的相应一个解码模块之间的至少一个级联；其中，通过所述多个编码模块中的各个编码模块与所述多个解码模块中的相应一个解码模块之间的所述至少一个级联，将所述多个编码模块中的所述各个编码模块的输出和所述多个解码模块中的所述各个解码模块的前一级解码模块的输出级联，作为所述多个解码模块中的所述各个解码模块的输入。
[0013]可选地，所述多个解码模块的数量与所述多个编码模块的数量之间的差与图像分辨率从所述低分辨率图像到所述修复图像增加的倍数相关。
[0014]可选地，所述多个编码模块中的各个编码模块包括卷积层、连接到所述卷积层的修正线性单元、以及串联布置的多个残差块；以及所述多个解码模块中的各个解码模块包括串联布置的如下部件：多个残差块、反卷积层或像素重排层、连接到所述反卷积层或所述像素重排层的修正线性单元、以及连接到所述修正线性单元的卷积层。
[0015]可选地，将所述修复图像与所述增强图像融合包括：构造掩模，所述掩模具有与各个目标图像对应的目标区域和在所述目标区域外部的背景区域；以及对所述掩模执行滤波处理以生成滤波后的掩模，所述滤波后的掩模具有与所述各个目标图像对应的目标部分和在所述目标部分外部的背景部分。
[0016]可选地，将所述修复图像与所述增强图像融合包括：根据GMtarget
×
Itarget+(1
‑
GMtarget)
×
Isr生成融合图像；其中，GMtarget代表所述滤波后的掩模的所述目标部分；Itarget代表所述修复图像；以及Isr代表通过对所述低分辨率图像进行预处理图像增强而生成的所述增强图像。
[0017]可选地，所述计算机实现的方法还包括：基于生成器损失函数和鉴别器损失函数中的至少一者，使用反馈循环训练所述生成器；其中，所述生成器被配置为将所述修复图像输出到损失函数计算器和鉴别器，所述鉴别器被配置为确定所述修复图像为真或为假；所述损失函数计算器被配置为基于所述修复图像计算生成器损失函数和鉴别器损失函数；所述反馈循环被配置为基于所述生成器损失函数和所述鉴别器损失函数，交互训练所述生成
器和所述鉴别器；以及所述反馈循环包括用于优化所述生成器的参数的第一反馈循环和用于优化所述鉴别器的参数的第二反馈循环。
[0018]所述生成器损失函数被配置为计算内容损失、第一生成对抗网络损失、加权L1损失和眼睛区域损失中的一个或多个；其中，所述内容损失表示为：
[0019][0020]其中，L
content
代表内容损失，C1为标准化结果的常数；P
l
代表以所述低分辨率图像作为输入从所述损失函数计算器的第l层输出的特征图；以及F
l
代表以所述修复图像作为输入从所述损失函数计算器的第l层输出的特征图；
[0021]所述第一生成对抗网络损失表示为：
[0022]L
G
＝
‑
E<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：将低分辨率图像和多个高分辨率图像输入到特征提取器中；其中，所述低分辨率图像和所述多个高分辨率图像包括具有目标对象的图像；通过所述特征提取器获得所述低分辨率图像的特征图和所述多个高分辨率图像各自对应的特征图；比较所述低分辨率图像的特征图和所述多个高分辨率图像各自对应的特征图之间的相似度；选定所述多个高分辨率图像各自对应的特征图中与所述低分辨率图像的特征图最相似的一个或多个特征图；将所选定的特征图输入到生成器中，以输出修复图像；对所述低分辨率图像进行预处理图像增强，以生成增强图像；以及将所述修复图像与所述增强图像融合。2.根据权利要求1所述的计算机实现的方法，其中，所述低分辨率图像是面部图像，所述目标对象是人物的面部。3.根据权利要求1所述的计算机实现的方法，其中，所述低分辨率图像和所述多个高分辨率图像是视频中的图像帧的面部图像。4.根据权利要求1所述的计算机实现的方法，还包括建立包括所述多个高分辨率图像的第一数据库和包括与所述多个高分辨率图像相关联的多个图像参数的第二数据库，具体包括：接收视频的多个图像帧；确定所述多个图像帧中的各个图像帧中是否存在至少一个目标对象，所述各个图像帧中的目标对象的数量和目标对象在所述各个图像帧中的位置；以及当所述目标对象存在于相应的图像帧中时，确定所述目标对象的目标图像的分辨率。5.根据权利要求4所述的计算机实现的方法，还包括：将所述各个图像帧的编号、所述各个图像帧中是否存在至少一个目标对象、所述各个图像帧中的目标对象的所述数量、目标对象在所述各个图像帧中的所述位置和目标标识符存储在所述第二数据库中。6.根据权利要求4所述的计算机实现的方法，还包括：对其中存在至少一个目标对象的各个图像帧执行目标识别；以及将分辨率大于阈值分辨率的一个或多个目标图像和与所述目标对象相关联的目标标识符存储在所述第一数据库中，所述多个高分辨率图像包括所述一个或多个目标图像。7.根据权利要求1至6中任一项所述的计算机实现的方法，还包括：计算所述低分辨率图像的特征图和所述多个高分辨率图像各自对应的的特征图之间的相似度得分；其中，基于与所述低分辨率图像的特征图最相似的一个或多个所选定的特征图的相似度得分与所述低分辨率图像的特征图的相似度得分之间的差低于阈值，选定所述一个或多个特征图。8.根据权利要求7所述的计算机实现的方法，其中，所述特征提取器包括：第一级联层，其被配置为级联所述低分辨率图像和所述多个高分辨率图像；串联连接的多个卷积层；以及一个或多个全连接层；其中，所述特征提取器被配置为从所述一个或多个全连接层中的最后一个全连接层输
出所述低分辨率图像的相似度得分和所述多个高分辨率图像的相似度得分，并且被配置为从所述多个卷积层中的中间卷积层输出所述低分辨率图像和所述多个高分辨率图像的特征图。9.根据权利要求1至8中任一项所述的计算机实现的方法，其中，将所选定的特征图输入到生成器中以输出修复图像包括：将所述一个或多个所选定的特征图排列组合，以获得融合特征图；从所述融合特征图中提取特征；以及将来自所述融合特征图的所述特征重组到所述修复图像中。10.根据权利要求9所述的计算机实现的方法，其中，所述生成器包括：第二级联层，其被配置为将所述一个或多个所选定特征图排列组合，以获得融合特征图；尺寸调整层，其连接到所述第二级联层，并被配置为将所述融合特征图重采样为具有固定尺寸；串联布置的多个编码模块，其中第一级所述编码模块输入所述固定尺寸的所述融合特征图；串联布置的多个解码模块以及所述多个编码模块中的各个编码模块与所述多个解码模块中的相应一个解码模块之间的至少一个级联；其中，通过所述多个编码模块中的各个编码模块与所述多个解码模块中的相应一个解码模块之间的所述至少一个级联，将所述多个编码模块中的所述各个编码模块的输出和所述多个解码模块中的所述各个解码模块的前一级解码模块的输出级联，作为所述多个解码模块中的所述各个解码模块的输入。11.根据权利要求10所述的计算机实现的方法，其中，所述多个解码模块的数量与所述多个编码模块的数量之间的差与图像分辨率从所述低分辨率图像到所述修复图像增加的倍数相关。12.根据权利要求10所述的计算机实现的方法，其中，所述多个编码模块中的各个编码模块包括卷积层、连接到所述卷积层的修正线性单元、以及串联布置的多个残差块；以及所述多个解码模块中的各个解码模块包括串联布置的如下部件：多个残差块、反卷积层或像素重排层、连接到所述反卷积层或所述像素重排层的修正线性单元、以及连接到所述修正线性单元的卷积层。13.根据权利要求1至9中任一项所述的计算机实现的方法，其中，将所述修复图像与所述增强图像融合包括：构造掩模，所述掩模具有与各个目标图像对应的目标区域和在所述目标区域外部的背景区域；以及对所述掩模执行滤波处理以生成滤波后的掩模，所述滤波后的掩模具有与所述各个目标图像对应的目标部分和在所述目标部分外部的背景部分。14.根据权利要求13所述的计算机实现的方法，其中，将所述修复图像与所述增强图像融合包括：根据GMtarget
×
Itarget+(1
‑
GMtarget)
×
Isr生成融合图像；其中，GMtarget代表所述滤波后的掩模的所述目标部分；
Itarget代表所述修复图像；以及Isr代表通过对所述低分辨率图像进行预处理图像增强而生成的所述增强图像。15.根据权利要求1至10中任一项所述的计算机实现的方法，还包括：基于生成器损失函数和鉴别器损失函数中的至少一者，使用反馈循环训练所述生成器；其中，所述生成器被配置为将所述修复图像输出到损失函数计算器和鉴别器，所述鉴别器被配置为确定所述修复图像为真或为假；所述损失函数计算器被配置为基于所述修复图像，计算生成器损失函数和鉴别器损失函数；所述反馈循环被配置为基于所述生成器损失函数和所述鉴别器损失函数，交互训练所述生成器和所述鉴别器；以及所述反馈循环包括用于优化所述生成器的参数的第一反馈循环和用于优化所述鉴别器的参数的第二反馈循环。16.根据权利要求15所述的计算机实现的方法，其中，所述生成器损失函数被配置为计算内容损失、第一生成对抗网络损失、加权L1损失和眼睛区域损失中的一个或多个；其中，所述内容损失表示为：其中，L
content
代表内容损失，C1为标准化结果的常数；P
l
代表以所述低分辨率图像作为输入从所述损失函数计算器的第l层输出的特征图；以及F
l
代表以所述修复图像作为输入从所述损失函数计算器的第l层输出的特征图；所述第一生成对抗网络损失表示为：L
G
＝
‑
E
x～Pdata(x)
[logD(x)]
‑
E
z～Pz(z)
[1
‑
LogD(G(z)]...

【专利技术属性】
技术研发人员：朱丹，陈冠男，刘瀚文，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：