大场景光场实时重建智能理解系统与装置制造方法及图纸

本发明专利技术提出一种大场景光场实时重建智能理解系统与装置，该装置通过获取三维实例的深度图，通过同步定位与建图得到对应三维实例深度图的三维体素和体素颜色信息；构建光场实时重建网络模型通过稀疏卷积网络对所述三维实例深度图的三维体素和体素颜色信息进行特征提取，对提取的特征进行语义分割和实例分割，以获取三维实例深度图对应的语义分割结果和实例分割结果。通过本发明专利技术，能够大幅度提升实例分割精度和速度，为AR/VR等应用提供实时有效的场景信息。效的场景信息。效的场景信息。

【技术实现步骤摘要】
大场景光场实时重建智能理解系统与装置


[0001]本专利技术涉及深度学习
，尤其涉及一种大场景光场实时重建智能理解系统与装置。

技术介绍

[0002]大场景光场的实时重建与智能理解是人工智能、机器视觉、无人系统等领域的核心技术难题。机器人的导航、AR、VR等技术都需要大场景光场的实时重建与智能理解技术，其指的是：使用便携式设备对场景进行扫描，在利用三维光场重建技术建模的同时，实时地通过在线三维语义和实例分割技术，产生模型的语义和实例分割信息。
[0003]目前来说，现有的大部分高精度三维语义和实例分割方法是离线的，也就是在已经获取了整个重建完成的模型后再去进行算法处理得到实例分割结果。最近的高精度离线分割算法大部分使用了稀疏卷积，由于网络大且需要所有点作为输入，导致速度慢，不适合在在线场景使用，而且对于实例分割还需要一个聚类后处理步骤，在点多的时候非常耗时。而对于在线的三维分割技术，大部分算法先通过在RGB图片上做分割算法，再使用投射的方式把结果投射到三维模型上去。但是这样的方法在分割上只用到了2D信息，即局部信息，比起稀疏卷积来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大场景光场实时重建智能理解装置，其特征在于，包括：数据获取模块，用于获取三维实例的深度图，通过同步定位与建图得到对应三维实例深度图的三维体素和体素颜色信息；模型构建模块，用于构建光场实时重建网络模型，使用ScanNet数据集对所述光场实时重建网络模型进行训练；其中，所述光场实时重建网络模型用于通过稀疏卷积网络对待处理三维实例深度图的三维体素和体素颜色信息进行特征提取，对提取的特征进行语义分割和实例分割，以获取所述待处理三维实例深度图对应的语义分割结果和实例分割结果；语义分割模块，用于将所述对应三维实例深度图的三维体素和体素颜色信息输入训练完成的所述光场实时重建网络模型中，模型输出是对应三维实例深度图的语义分割结果和实例分割结果。2.根据权利要求1所述的大场景光场实时重建智能理解装置，其特征在于，所述数据获取模块用于通过图像传感器采集所述深度图；其中，所述图像传感器类型为RGB
‑
D深度传感器、双目深度传感器、结构光传感器及ToF传感器中的一种或者多种。3.根据权利要求1或2所述的大场景光场实时重建智能理解装置，其特征在于，所述光场实时重建网络模型包括稀疏卷积网络模块和在线分割模块；其中，所述稀疏卷积网络模块为U型网络结构，用于对每个输入点，输出语义类别概率和实例特征值；所述在线分割模块，用于根据所述稀疏卷积网络模块输出的语义类别概率进行语义类别更新，同时对每帧深度图得到的实例特征值进行聚类，得到当前三维实例深度图的实例结果，并将当前实例结果融合至全局实例结果。4.根据权利要求3所述的大场景光场实时重建智能理解装...

【专利技术属性】
技术研发人员：方璐，刘乐遥，郑添，刘平，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：