一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法技术

本发明专利技术涉及一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，该方法首先处理光场全部图像获取到深度估计文件，使其便于指导将其他参考视图的特征传播到中心视图，然后将随机从中心视图的水平，垂直和对角方向获取到的参考视图连同中心图像一起送入相同的Backbone进行初步的特征提取，随后中心视图进行自注意力机制处理，而其他的参考视图特征分别与中心视图做交叉注意力，与获取的中心视图的视差估计特征进行空间关联的计算，最后将得到的特征依次进行聚合，送入分割模块进行处理得到最终的分割结果图。本发明专利技术提出的方法成功地减少了模型的参数数量和计算负载，且没有降低较多的准确率，在优化模型性能的同时，使其更适合在资源受限的设备上进行部署。

【技术实现步骤摘要】

本专利技术涉及一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，属于计算机视觉任务的基础，在人机交互、虚拟现实和光场图像分析等领域均具有重要作用。该方法很好地弥补了资源受限的设备(如移动设备、嵌入式系统以及边缘计算设备等)由于计算能力，存储空间及能耗限制等而无法部署光场语义分割技术的限制。光场图像中的多视图关联与视差估计算法结合的设计，极大的增强了多通道之间的语义相关性，在保持高效计算效率的同时能够捕获更广泛的上下文信息。借助轻量化模块设计，极大地减少了模型的参数数量和计算负载，且将各项指标均维持在较为优异的水平，在优化模型性能的同时，使其更适合在资源受限的设备上进行部署。

技术介绍

1、光场语义分割是一种在光场图像中实现像素级别语义分类的计算机视觉任务，广泛应用于图像分析、场景理解、自动驾驶、医学图像处理等领域。由于此任务使用包含了丰富几何结构和角度信息的高维4d光场图像，并为光场图像中的每个像素分配相应的语义标签进行语义分割，因此在实际的使用中需要巨大的时间和空间。chen等人提出了第一个基于cnn的方法来实现光场语义分割，该方法利用特征提取主本文档来自技高网...

【技术保护点】

1.本专利技术主要涉及一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，所述方法包括下列步骤：

2.如权利要求1所述的一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，其特征在于，根据步骤(1)中的所述选取该领域公开的UrbanLF城市场景光场数据集，为了充分验证模型的有效性，我们分别实行五次交叉验证并求平均值。

3.如权利要求1所述的一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，其特征在于，根据步骤(2)中的所述我们对数据集进行OAVC光场深度估计方法处理，将每组图像均转换成numpy格式图像，并获取到生成的中心视图的视差估计结果，并...

【技术特征摘要】

1.本发明主要涉及一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，所述方法包括下列步骤：

2.如权利要求1所述的一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，其特征在于，根据步骤(1)中的所述选取该领域公开的urbanlf城市场景光场数据集，为了充分验证模型的有效性，我们分别实行五次交叉验证并求平均值。

3.如权利要求1所述的一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，其特征在于，根据步骤(2)中的所述我们对数据集进行oavc光场深度估计方法处理，将每组图像均转换成numpy格式图像，并获取到生成的中心视图的视差估计结果，并在水平、垂直、左和右对角线方向八个图像堆栈中随机采样n张图像作为参考视图图像。

4.如权利要求1所述的一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，其特征在于，在步骤(3)中我们使用预训练的resnet50作为骨干网络分别对中心视图图像及n张参考视图图像进行初步特征提取。

5.如权利要求1所述的一种基于跨视图关联与视差估计的光场图像轻量化语义分割方法，其特征...

【专利技术属性】
技术研发人员：石凡，程欣怡，贾晨，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：