基于融合神经网络的光场图像超分辨率模型及其训练方法技术

技术编号:41876856 阅读:19 留言:0更新日期:2024-07-02 00:29
基于融合神经网络的光场图像超分辨率模型训练方法,包括如下步骤:步骤1.准备训练数据集;步骤2.对训练数据集中的图片进行分割;步骤3.得到预处理后的图像数据;步骤4.通过非局部信息提取网络提取图像非局部信息;步骤5.通过局部信息提取网络,提取图像局部信息;步骤6.将步骤4输出输入到局部信息提取网络中进行交互;步骤7.将步骤4至6的输出结果叠加,得到神经网络最终输出的光场图像;步骤8.更换训练数据和神经网络参数,直至达到训练目标。本发明专利技术通过兼顾两种模型的各自优势,使得局部特征和全局特征进行交互,改善了单一神经网络模型细节缺失或峰值信噪比和结构相似性数据指标上表现不佳的问题。

【技术实现步骤摘要】

本专利技术属于光场图像处理领域,具体涉及一种基于融合神经网络的光场图像超分辨率模型及其训练方法


技术介绍

1、与传统成像设备相比,光场相机在主镜头后加入了一个微透镜阵列,待采集的光线通过主透镜后汇聚,在通过微透镜时分离,最终汇聚到传感器上。因此,传感器上的每个像元可以记录不同光线的强度信息,即实现了同时记录空间中光线的强度和角度信息,且通过一次曝光就可以获得所观测场景的四维光场信息。基于这个特点,光场相机被越来越多地应用于捕获后重聚焦、深度估计、三维重建、去遮挡、增强现实和虚拟现实等各种应用场景下。

2、但由于现有的光场相机内部的传感器面积有限,因此若想在固定的像元数目下获取更多的角度信息,就不可避免地要牺牲各个角度上图像的空间信息,造成光场图像的空间分辨率较低;这使得光场图像的超分辨率问题在光场相机的实际应用场景下尤为关键。

3、要提升光场图像空间分辨率主要有两种方法:第一种方法就是升级光场相机硬件,通过减小传感器像素尺寸来提升传感器分辨率以及增加微透镜的个数是最简单的方式,但受相机内部空间以及加工工艺的限制,很难从硬件上提升光本文档来自技高网...

【技术保护点】

1.基于融合神经网络的光场图像超分辨率模型训练方法,其特征在于,包括如下步骤:

2.如权利要求1所述的训练方法,其特征在于,所述步骤2具体为:

3.如权利要求1所述的训练方法,其特征在于,所述步骤3具体为:对降低分辨率的图像使用水平翻转、垂直翻转与90°旋转的方式得到多个扩充图像,将扩充前后得到的数据保存为.h5格式的H5文件,作为预处理后的训练数据。

4.如权利要求1所述的训练方法,其特征在于,所述步骤7中步骤4、步骤5和步骤6的输出结果赋予的权重值分别为0.2、0.3以及0.5。

5.如权利要求1所述的训练方法,其特征在于,所述步骤55...

【技术特征摘要】

1.基于融合神经网络的光场图像超分辨率模型训练方法,其特征在于,包括如下步骤:

2.如权利要求1所述的训练方法,其特征在于,所述步骤2具体为:

3.如权利要求1所述的训练方法,其特征在于,所述步骤3具体为:对降低分辨率的图像使用水平翻转、垂直翻转与90°旋转的方式得到多个扩充图像,将扩充前后得到的数据保存为.h5格式的h5文件,作为预处理后的训练数据。

4.如权利要求1所述的训练方法,其特征在于,所述步骤7中步骤4、步骤5和步骤6的输出结果赋予的权重值分别为0.2、0.3以及0.5。

5.如权利要求1所述的训练方法,其特征在于,所述步骤55具体为:

6.基于融合神经网络的光场图像超分辨率模型,其特征在于,...

【专利技术属性】
技术研发人员:郑兴张辰放陈振旭邹中文杜俊良濮星炜张鸿波刘子骥梁志清
申请(专利权)人:电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1