光场语义分割方法、系统、电子终端及存储介质技术方案

本发明专利技术提供光场语义分割方法、系统、电子终端及存储介质，所述方法包括：在相机平面中选取一参考视角进行光场采样；基于超像素分割算法计算该参考视角的超像素集合，并对该参考视角的超像素集合进行重投影，以获得该参考视角所对应的其它各视角的超像素集合；对焦栈中的重对焦深度不同的多个图像进行焦距融合并对像素所属超像素集合进行投票；基于神经网络算法对所述焦栈中的图像进行语义分析，以获得每个超像素集合的语义分类；汇总所述焦栈中所有超像素集合的语义分类并进行投票，以确定每个超像素集合所对应的唯一的语义类别编号。本发明专利技术不再受限于投影变换导致的深度信息缺失，有效识别遮挡从而对被遮挡物体的像素点做出正确的类别预测。

【技术实现步骤摘要】
光场语义分割方法、系统、电子终端及存储介质
本专利技术涉及光场
，特别是涉及光场语义分割方法、系统、电子终端及存储介质。
技术介绍
光场是计算机摄影中常用的光线表示方式，是指光在每一个方向通过每一个点的光量。语义分割是计算机视觉中的基础任务之一，该任务以二维图像为输入，通过视觉算法分割出图像中的对象区域，并识别其中的内容，也即，在保证图像域连续性的同时为图片的每个像素点确定所属语义类别。光场语义分割则是指在光场的设定下对场景中的每条光线赋予语义分类，其目标是场景中的每一条光线，借助光场的重对焦特性，可动态确定成像平面，对不同深度的二维图像进行语义分割，通过统一优化框架将二维分割融合到光线表示中，以实现对光场中每一条光线的语义分割。但是，传统二维图片域的分割算法往往受限于投影变换导致的深度信息缺失，多数现实场景中存在复杂的遮挡情况，而算法并不能有效识别遮挡，从而无法对被遮挡物体的像素点做出正确的类别预测。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供光场语义分割方法、系统、电子终端及本文档来自技高网...

【技术保护点】
1.一种光场语义分割方法，其特征在于，包括：/n在相机平面中选取一参考视角进行光场采样；/n基于超像素分割算法计算该参考视角的超像素集合，并对该参考视角的超像素集合进行重投影，以获得该参考视角所对应的其它各视角的超像素集合；/n对焦栈中的重对焦深度不同的多个图像进行焦距融合并对像素所属超像素集合进行投票；/n基于神经网络算法对所述焦栈中的图像进行语义分析，以获得每个超像素集合的语义分类；/n汇总所述焦栈中所有超像素集合的语义分类并进行投票，以确定每个超像素集合所对应的唯一的语义类别编号。/n

【技术特征摘要】
1.一种光场语义分割方法，其特征在于，包括：
在相机平面中选取一参考视角进行光场采样；
基于超像素分割算法计算该参考视角的超像素集合，并对该参考视角的超像素集合进行重投影，以获得该参考视角所对应的其它各视角的超像素集合；
对焦栈中的重对焦深度不同的多个图像进行焦距融合并对像素所属超像素集合进行投票；
基于神经网络算法对所述焦栈中的图像进行语义分析，以获得每个超像素集合的语义分类；
汇总所述焦栈中所有超像素集合的语义分类并进行投票，以确定每个超像素集合所对应的唯一的语义类别编号。


2.根据权利要求1所述的光场语义分割方法，其特征在于，所述基于超像素分割算法计算该参考视角的超像素集合并对该参考视角的超像素集合进行重投影，以获得对应于该参考视角的其它各视角的超像素集合的步骤，具体包括：
以相机平面的中心视角作为参考视角，并基于SLIC算法计算中心视角的超像素集合；
基于最小化光场连续性能量函数确定其它各视角最优的超像素集合，以使基于中心视角的超像素分割与三维空间的分割相匹配。


3.根据权利要求2所述的光场语义分割方法，其特征在于，所述最小化光场连续性能量函数包括：其中：
λcEcolor+λpEpos为超像素分割中的基础能量函数，用于表示像素与超像素中心之间的颜色及和位置差异；λsEcon表示像素与超像素中心之间的距离一致性，用于保持多视角下三维空间距离的不变性；λγErepj表示像素与超像素中心之间的重投影误差；λc、λp、λs、λγ分别为常数。


4.根据权利要求3所述的光场语义分割方法，其特征在于，令中心视角的超像素集合为S(u0,v0)，超像素所在平面为πsj(α，β，γ)，其超像素中心点为πsj,超像素平面法向量为对于像素点p∈sj，设该像素点距其超像素中心πsj的偏移为(xj，yj)，以投影距离表示视角V(ui，vi)下p与超像素中心πsj的距离，以中心视角为参考视角，距离一致性表示为：



其中，


5.根据权利要求3所述的光场语义分割方法，其特征在于，所述重投影误...

【专利技术属性】
技术研发人员：刘睿洋，
申请(专利权)人：曜科智能科技上海有限公司，
类型：发明
国别省市：上海;31