光场超分辨成像方法、装置及设备制造方法及图纸

本申请提供一种光场超分辨成像方法、装置及设备，该方法包括：将待处理图像输入给已训练的目标网络模型得到超分辨图像。其中，目标网络模型通过以下方式训练得到：将原始图像序列输入给初始网络模型得到目标图像序列；获取目标图像序列中目标图像与样本图像序列中样本图像的内容损失值，及目标图像序列中目标图像与样本图像序列中样本图像的结构损失值；依据内容损失值和结构损失值确定初始网络模型是否已收敛；若是，将初始网络模型确定为已训练的目标网络模型；若否，对初始网络模型进行调整，将调整后的网络模型确定为初始网络模型，返回执行将原始图像序列输入给初始网络模型得到目标图像序列。通过本申请的技术方案，有效提高图像的分辨率。

【技术实现步骤摘要】
光场超分辨成像方法、装置及设备
本申请涉及图像处理领域，尤其是一种光场超分辨成像方法、装置及设备。
技术介绍
图像的分辨率是指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI（PixelsPerInch，像素每英寸），显然，分辨率越大，则图像的清晰度越高，分辨率越小，则图像的清晰度越低。在实际应用中，图像的分辨率、图像的宽尺寸和图像的高尺寸一起决定了图像的大小以及质量。随着超分辨成像技术的发展，越来越多的应用场景，如自动驾驶，医学成像，卫星成像，影视，AR（AugmentedReality，增强现实）/VR（VirtualReality，虚拟现实）等，需要对低分辨率的图像进行重建，得到高分辨率的图像。为了将低分辨率的图像重建为高分辨率的图像，需要采集低分辨率的图像，然后利用图像插值等算法对低分辨率的图像进行处理，得到高分辨率的图像。但是，采用图像插值等算法，分辨率的提升效果有限，无法达到高分辨率的要求，尤其是在自动驾驶，AR/VR等应用场景，图像的分辨率无法满足用户要求。
技术实现思路
本文档来自技高网...

【技术保护点】
1.一种光场超分辨成像方法，其特征在于，所述方法包括：/n将待处理图像输入给已训练的目标网络模型得到与所述待处理图像对应的超分辨图像；其中，所述超分辨图像的分辨率大于所述待处理图像的分辨率；/n其中，所述目标网络模型通过以下方式训练得到：/n将原始图像序列输入给初始网络模型得到目标图像序列，所述原始图像序列包括在不同视角下的K帧原始图像，所述目标图像序列中目标图像的数量与所述原始图像序列中原始图像的数量相同，K为大于1的正整数；/n获取所述目标图像序列中目标图像与样本图像序列中样本图像的内容损失值，及所述目标图像序列中目标图像与所述样本图像序列中样本图像的结构损失值；其中，所述样本图像序列包括...

【技术特征摘要】
1.一种光场超分辨成像方法，其特征在于，所述方法包括：
将待处理图像输入给已训练的目标网络模型得到与所述待处理图像对应的超分辨图像；其中，所述超分辨图像的分辨率大于所述待处理图像的分辨率；
其中，所述目标网络模型通过以下方式训练得到：
将原始图像序列输入给初始网络模型得到目标图像序列，所述原始图像序列包括在不同视角下的K帧原始图像，所述目标图像序列中目标图像的数量与所述原始图像序列中原始图像的数量相同，K为大于1的正整数；
获取所述目标图像序列中目标图像与样本图像序列中样本图像的内容损失值，及所述目标图像序列中目标图像与所述样本图像序列中样本图像的结构损失值；其中，所述样本图像序列包括在不同视角下的K帧样本图像；
依据所述内容损失值和所述结构损失值确定所述初始网络模型是否已收敛；
如果是，则将所述初始网络模型确定为已训练的目标网络模型；
如果否，则对所述初始网络模型进行调整，将调整后的网络模型确定为初始网络模型，返回执行将原始图像序列输入给初始网络模型得到目标图像序列。


2.根据权利要求1所述的方法，其特征在于，所述依据所述内容损失值和所述结构损失值确定所述初始网络模型是否已收敛，包括：
依据所述内容损失值和所述结构损失值确定目标损失值；其中，所述目标损失值是用于确定初始网络模型是否已收敛的损失值；
依据所述目标损失值确定所述初始网络模型是否已收敛。


3.根据权利要求2所述的方法，其特征在于，
所述依据所述内容损失值和所述结构损失值确定目标损失值，包括：
获取所述目标图像序列中目标图像与所述样本图像序列中样本图像的方差损失值，并依据所述内容损失值、所述结构损失值和所述方差损失值确定所述目标损失值；或者，获取所述目标图像序列中目标图像与所述样本图像序列中样本图像的视差损失值，并依据所述内容损失值、所述结构损失值和所述视差损失值确定所述目标损失值；或者，依据所述内容损失值、所述结构损失值、所述方差损失值和所述视差损失值确定所述目标损失值。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取所述目标图像序列中目标图像与样本图像序列中样本图像的内容损失值，包括：
基于所述目标图像序列中的每帧目标图像确定第一光场矩阵；
基于所述样本图像序列中的每帧样本图像确定第二光场矩阵；
基于所述第一光场矩阵中每个像素点的像素值与所述第二光场矩阵中对应像素点的像素值之间的差值，确定所述内容损失值。


5.根据权利要求1-3任一项所述的方法，其特征在于，所述获取所述目标图像序列中目标图像与所述样本图像序列中样本图像的结构损失值，包括：
基于所述目标图像序列中的每帧目标图像确定第一光场矩阵；
基于所述样本图像序列中的每帧样本图像确定第二光场矩阵；
采用已配置的结构相似损失函数对所述第一光场矩阵和所述第二光场矩阵进行运算，得到所述结构相似损失函数的函数值；
基于所述结构相似损失函数的函数值，确定所述结构损失值。


6.根据权利要求3所述的方法，其特征在于，所述获取所述目标图像序列中目标图像与所述样本图像序列中样本图像的方差损失值，包括：
基于所述目标图像序列中的每帧目标图像生成目标方差图像；其中，所述目标方差图像中的每个超级像素点的像素值，是基于在每帧目标图像中的与该超级像素点对应的子像素点的像素值的方差确定；
基于所述样本图像序列中的每帧样本图像生成样本方差图像；其中，所述样本方差图像中的每个超级像素点的像素值，是基于在每帧样本图像中的与该超级像素点对应的子像素点的像素值的方差确定；
基于...

【专利技术属性】
技术研发人员：方璐，王滨，季梦奇，袁肖赟，王星，林克章，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33