一种深度特征增强的单图像景深拓展方法技术

技术编号:43572940 阅读:33 留言:0更新日期:2024-12-06 17:41
本发明专利技术提出了一种深度特征增强的单图像景深拓展方法,包括步骤:收集并建立单幅图像景深拓展数据集,并从单幅图像景深拓展数据集中选取训练集、验证集和测试集;搭建单幅图像景深拓展模型,包括依次连接的编码器、Bottleneck结构和解码器,编码器、Bottleneck结构和解码器中均包含依次连接的多尺度特征增强结构和图像特征优化融合结构;设计混合损失函数并利用训练集和验证集分别训练和验证单幅图像景深拓展模型;利用最终训练好的单幅图像景深拓展模型对测试集提供的单聚焦图像进行景深拓展。本发明专利技术能够在图像获取、图像对齐、融合速度慢和鲁棒性不足等问题上提高处理效率、大幅降低数据处理难度。

【技术实现步骤摘要】

本专利技术涉及光学与图像处理的,尤其涉及一种深度特征增强的单图像景深拓展方法


技术介绍

1、景深定义为相机镜头或其他成像设备在其前后一定距离范围内保持清晰对焦的范围。由于光学镜头的景深有限,成像设备难以使场景内的所有物体或区域保持清晰、聚焦。这种限制会导致景深聚焦范围之外的区域出现模糊现象。聚焦区域边界之外的模糊区域,往往也存在大量有价值的信息。此外,在聚焦区域之外的模糊区域中还存在许多潜在信息,这些潜在信息对于许多光学研究和计算机视觉任务非常重要,包括显微成像、安全监控和目标检测等。

2、景深扩展的硬件方法包括使用特殊镜头组合、光学涂层和多相机系统。但随着景深范围的增加,这些硬件光学系统的复杂性和成本也显著增加。重要的是,无论硬件上的光学系统如何改进完善,也无法获得全焦的图像数据。

3、随着深度学习在光学和计算机视觉方面的发展,基于深度学习的景深拓展技术分为多图像景深拓展(多聚焦融合)和单图像景深拓展。多图像景深拓展,是通过合并同一场景的多个部分聚焦图像的数据来生成全聚焦图像。然而,多图像景深拓展通常需要来自不同聚焦区域的已对齐本文档来自技高网...

【技术保护点】

1.一种深度特征增强的单图像景深拓展方法,其特征在于,包括步骤:

2.根据权利要求1所述的深度特征增强的单图像景深拓展方法,其特征在于,步骤S1中使用单幅图像景深拓展数据集中成对的单聚焦图像和单聚焦图像对应的全焦图像作为训练集和验证集,使用单幅图像景深拓展数据集中无全焦图对照的单聚焦图像以及捕获的真实单聚焦图像作为测试集。

3.根据权利要求1或2所述的深度特征增强的单图像景深拓展方法,其特征在于,步骤S2所述的单幅图像景深拓展模型中,编码器的每一层和解码器的每一层分别包括一个残差结构和依次连接的多尺度特征增强结构I和图像特征优化融合结构I,Bottleneck结构...

【技术特征摘要】

1.一种深度特征增强的单图像景深拓展方法,其特征在于,包括步骤:

2.根据权利要求1所述的深度特征增强的单图像景深拓展方法,其特征在于,步骤s1中使用单幅图像景深拓展数据集中成对的单聚焦图像和单聚焦图像对应的全焦图像作为训练集和验证集,使用单幅图像景深拓展数据集中无全焦图对照的单聚焦图像以及捕获的真实单聚焦图像作为测试集。

3.根据权利要求1或2所述的深度特征增强的单图像景深拓展方法,其特征在于,步骤s2所述的单幅图像景深拓展模型中,编码器的每一层和解码器的每一层分别包括一个残差结构和依次连接的多尺度特征增强结构i和图像特征优化融合结构i,bottleneck结构包括依次连接的多尺度特征增强结构ii和图像特征优化融合结构ii;图像特征优化融合结构i和ii均包括依次连接的使用滑动窗口操作的动态滑动多头注意力模块和深度增强前馈网络。

4.根据权利要求3所述的深度特征增强的单图像景深拓展方法,其特征在于,步骤s3所述的训练单幅图像景深拓展模型的方法为:输入训练集,输入的训练集中的单聚焦图像i经过卷积操作后得到特征图b1,特征图b1依次经过编码器第一层的多尺度特征增强结构和图像特征优化融合结构得到编码器第一层增强融合后的高级特征g1,高级特征g1与特征图b1经过残差连接得到深度特征信息s1,深度特征信息s1经过下采样后,依次经过m-1层相同的编码器层得到单聚焦图像增强融合后的所有特征信息sm,特征信息sm经过下采样后,再经过bottleneck结构中的多尺度特征增强结构和图像特征优化融合结构,得到bottleneck结构中增强融合后的高级特征bl,高级特征bl经过上采样后与来自跳跃连接的特征信息sm进行连接组合,再经过卷积操作后得到特征图jm,特征图jm依次经过多尺度特征增强结构和图像特征优化融合结构后与特征图jm进行残差链接,然后再经过上采样得到解码器第m层解码后的预测全焦图ym,预测全焦图ym依次经过m-1层相同的解码层,最终经过卷积操作后与输入的训练集中的单聚焦图像i进行元素相加操作后得到最终的预测全焦图x;

5.根据权利要求4所述的深度特征增强的单图像景深拓展方法,其特征在于,所述多尺度特征增强结构i和ii中的计算过程为:每个多尺度特征增强结构的输入特征图fb分别经过三个具有不同步长的池化层,提取到编码器或解...

【专利技术属性】
技术研发人员:刘岩贾俊洋肖艳秋李玉洁李灿林马春海孙家兴
申请(专利权)人:郑州轻工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1