当前位置: 首页 > 专利查询>清华大学专利>正文

大场景元光场通用智能分割方法与系统技术方案

技术编号:42885205 阅读:23 留言:0更新日期:2024-09-30 15:07
本发明专利技术公开了大场景元光场通用智能分割方法与系统,该方法,包括获取三维空间的多视角的RGB图像;利用预设的分割算法对RGB图像进行分割得到由多个掩膜构成的掩膜集合,并获取掩膜集合中掩膜的层级化分割表征;获取三维空间中每个空间坐标点对应的元光场属性,并利用基于可微渲染的光场重建方法对元光场属性进行渲染得到二维特征图像;将层级化分割表征作为监督信号对二维特征图像进行监督以计算层级化对比学习误差,通过反向传播更新元光场属性,并根据更新后的元光场属性对三维空间进行分割以分割出感兴趣区域。本发明专利技术可以实现与类别无关的、多层次的光场分割任务。

【技术实现步骤摘要】

本专利技术涉及光场重建,特别是涉及大场景元光场通用智能分割方法与系统


技术介绍

1、大场景光场分割是人工智能、机器视觉、无人系统等领域的重要研究领域,对实现通用的大场景理解、实现通用的三维视觉智能具有重要意义。光场是对三维世界的建模和表示方法,包括点云、网面、体素等显式表示方法、神经网络等隐式表示方法等。为了实现让机器对光场的全面理解,人们研究出了多种光场分割算法,现有方法包括语义分割算法和实例分割算法。这两类算法一般均以点云(也可视为一种光场表征)作为输入,由神经网络提取特征,并对该特征进行聚合和分类,给每个点赋予类别标签(如:椅子、桌子、地面等)或者实例标签(如:1、2、3等)。这两类算法在特定类别物体的分割任务方面取得了显著的进展。

2、遗憾的是,以上两类方法都需要使用大量的标注数据对模型进行训练,由于标注数据的类别往往是有限的,导致现有的语义分割和实例分割算法对未曾见过的物体分割效果不佳(如中国传统建筑上的“斗拱”结构无法被精确地分割出来)。与此同时,同样由于训练数据的匮乏,现有算法无法对三维场景种的多层次语义信息进行分析和精确分割,本文档来自技高网...

【技术保护点】

1.一种大场景元光场通用智能分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,利用预设的分割算法对所述RGB图像进行分割得到由多个掩膜构成的掩膜集合,并获取所述掩膜集合中掩膜的层级化分割表征,包括:

3.根据权利要求1所述的方法,其特征在于,所述光场重建方法,包括网面重建和光栅化渲染算法、神经辐射场、高斯泼溅和神经表面重建中的多种。

4.根据权利要求2所述的方法,其特征在于,将所述层级化分割表征作为监督信号对所述二维特征图像进行监督以计算层级化对比学习误差,并通过反向传播更新所述元光场属性,包括:

5.根据权利要求1所...

【技术特征摘要】

1.一种大场景元光场通用智能分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,利用预设的分割算法对所述rgb图像进行分割得到由多个掩膜构成的掩膜集合,并获取所述掩膜集合中掩膜的层级化分割表征,包括:

3.根据权利要求1所述的方法,其特征在于,所述光场重建方法,包括网面重建和光栅化渲染算法、神经辐射场、高斯泼溅和神经表面重建中的多种。

4.根据权利要求2所述的方法,其特征在于,将所述层级化分割表征作为监督信号对所述二维特征图像进行监督以计算层级化对比学习误差,并通过反向传播更新所述元光场属性,包括:

5.根...

【专利技术属性】
技术研发人员:方璐营海洋殷奕轩
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1