本公开涉及计算机技术领域，尤其涉及一种大场景弹性语义表征与自监督光场重建方法及装置。其中，该大场景弹性语义表征与自监督光场重建方法，包括：获取目标场景对应的第一深度图集合，其中，第一深度图集合包括至少一个视角对应的第一深度图；将第一深度图集合输入至目标弹性语义重建模型，得到第二深度图集合，其中，第二深度图集合包括至少一个视角对应的第二深度图；对至少一个视角对应的第二深度图进行融合，得到目标场景对应的目标场景点云。采用本公开可以提高光场重建的准确性、完整性和质量。整性和质量。整性和质量。
【技术实现步骤摘要】
大场景弹性语义表征与自监督光场重建方法及装置
[0001]本公开涉及计算机
，尤其涉及一种大场景弹性语义表征与自监督光场重建方法及装置。
技术介绍
[0002]大场景光场重建是人工智能和机器视觉领域的重要课题，其对于实现场景的环境感知、几何测绘、表征压缩、视角渲染等任务具有重要的意义。探索自监督的大场景的光场重构算法也是将增强现实（Augmented Reality，AR）、虚拟现实（Virtual Reality，VR）等技术进行大规模实际应用的重要前提。然而相关技术中，光场重建的准确性、完整性和质量较低。因此，如何提高光场重建的准确性、完整性和质量成为本领域技术人员关注的重点。
技术实现思路
[0003]本公开提供了一种大场景弹性语义表征与自监督光场重建方法及装置，主要目的在于提高光场重建的准确性、完整性和质量。
[0004]根据本公开的一方面，提供了一种大场景弹性语义表征与自监督光场重建方法，包括：获取目标场景对应的第一深度图集合，其中，所述第一深度图集合包括至少一个视角对应的第一深度图；将所述第一深度图集合输入至目标弹性语义重建模型，得到第二深度图集合，其中，所述第二深度图集合包括至少一个视角对应的第二深度图；对所述至少一个视角对应的第二深度图进行融合，得到所述目标场景对应的目标场景点云。
[0005]可选的，所述获取目标场景对应的第一深度图集合，包括：利用光场重建算法获取所述目标场景中至少一个视角对应的第一深度图、法向量图和置信度度量图，其中，所述第一深度图、所述法向量图和所述置信度度量图一一对应；根据所述至少一个视角对应的第一深度图、法向量图和置信度度量图，确定所述目标场景对应的第一深度图集合。
[0006]可选的，所述将所述第一深度图集合输入至目标弹性语义重建模型，得到第二深度图集合，包括：确定任一所述第一深度图对应的弹性语义表征；根据所述弹性语义表征、所述第一深度图对应的法向量图和置信度度量图，确定所述第一深度图对应的候选点集合，所述候选点集合包括至少一个候选点；控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到所述第二深度图。
[0007]可选的，所述控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到所述第二深度图，包括：
控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到第二传播深度图集合，其中，所述第二传播深度图集合包括至少一个第二传播深度图，所述第二传播深度图与所述候选点一一对应；对所述第一深度图进行随机扰动，得到第一深度；对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行评估，选取评估结果满足深度条件的第二传播深度图作为所述第二深度图。
[0008]可选的，所述对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行评估，包括：对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行跨视角的光度一致性度量、语义一致性度量和参考视角内的平滑性度量。
[0009]可选的，所述将所述第一深度图集合输入至目标弹性语义重建模型，得到第二深度图集合，包括：获取初始弹性语义重建模型；将所述第一深度图集合输入至所述初始弹性语义重建模型，得到第三深度图集合；若所述第三深度图集合满足模型迭代条件，则对所述初始弹性语义重建模型进行迭代训练，直至所述第三深度图集合不满足所述模型迭代条件，得到所述目标弹性语义重建模型，并确定所述不满足所述模型迭代条件的第三深度图集合为所述第二深度图集合。
[0010]可选的，所述对所述初始弹性语义重建模型进行迭代训练，包括：确定所述第三深度图集合对应的对比损失函数和空间聚集损失函数；根据所述对比损失函数和所述空间聚集损失函数，确定总体损失函数；根据所述总体损失函数，对所述初始弹性语义重建模型进行反向传播训练。
[0011]可选的，所述第三深度图集合包括至少一个视角对应的第三深度图，所述确定所述第三深度图集合对应的对比损失函数，包括：确定所述至少一个视角对应的第三深度图中每一个像素对应的置信度，得到目标像素集合，其中，所述目标像素集合包括至少一个目标像素，所述目标像素的置信度不小于置信度阈值；确定所述目标像素集合中所有目标像素对应的对比学习损失函数之和为所述对比损失函数。
[0012]可选的，所述第三深度图集合包括至少一个视角对应的第三深度图，所述确定所述第三深度图集合对应的空间聚集损失函数，包括：对所述至少一个视角对应的第三深度图中每一个像素进行高斯采样，得到所述每一个像素对应的考察点集合，其中，所述考察点集合包括至少一个考察点；根据所述考察点集合，确定所述空间聚集损失函数。
[0013]根据本公开的另一方面，提供了一种大场景弹性语义表征与自监督光场重建装置，包括：集合获取单元，用于获取目标场景对应的第一深度图集合，其中，所述第一深度图集合包括至少一个视角对应的第一深度图；集合生成单元，用于将所述第一深度图集合输入至目标弹性语义重建模型，得到
第二深度图集合，其中，所述第二深度图集合包括至少一个视角对应的第二深度图；深度图融合单元，用于对所述至少一个视角对应的第二深度图进行融合，得到所述目标场景对应的目标场景点云。
[0014]可选的，所述集合获取单元用于获取目标场景对应的第一深度图集合时，具体用于：利用光场重建算法获取所述目标场景中至少一个视角对应的第一深度图、法向量图和置信度度量图，其中，所述第一深度图、所述法向量图和所述置信度度量图一一对应；根据所述至少一个视角对应的第一深度图、法向量图和置信度度量图，确定所述目标场景对应的第一深度图集合。
[0015]可选的，所述集合生成单元用于将所述第一深度图集合输入至目标弹性语义重建模型，得到第二深度图集合时，具体用于：确定任一所述第一深度图对应的弹性语义表征；根据所述弹性语义表征、所述第一深度图对应的法向量图和置信度度量图，确定所述第一深度图对应的候选点集合，所述候选点集合包括至少一个候选点；控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到所述第二深度图。
[0016]可选的，所述集合生成单元用于控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到所述第二深度图时，具体用于：控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到第二传播深度图集合，其中，所述第二传播深度图集合包括至少一个第二传播深度图，所述第二传播深度图与所述候选点一一对应；对所述第一深度图进行随机扰动，得到第一深度；对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行评估，选取评估结果满足深度条件的第二传播深度图作为所述第二深度图。
[0017]可选的，所述集合生成单元用于对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行评估时，具体用于：对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行跨视角的光度一致性度量、语义一致性度量和参考视角内的平滑性度量。
[0018]可选的，所述集合生成单元用于将所述第一深度图集合输入至目标弹性语义重本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种大场景弹性语义表征与自监督光场重建方法，其特征在于，包括：获取目标场景对应的第一深度图集合，其中，所述第一深度图集合包括至少一个视角对应的第一深度图；将所述第一深度图集合输入至目标弹性语义重建模型，得到第二深度图集合，其中，所述第二深度图集合包括至少一个视角对应的第二深度图；对所述至少一个视角对应的第二深度图进行融合，得到所述目标场景对应的目标场景点云。2.根据权利要求1所述的方法，其特征在于，所述获取目标场景对应的第一深度图集合，包括：利用光场重建算法获取所述目标场景中至少一个视角对应的第一深度图、法向量图和置信度度量图，其中，所述第一深度图、所述法向量图和所述置信度度量图一一对应；根据所述至少一个视角对应的第一深度图、法向量图和置信度度量图，确定所述目标场景对应的第一深度图集合。3.根据权利要求2所述的方法，其特征在于，所述将所述第一深度图集合输入至目标弹性语义重建模型，得到第二深度图集合，包括：确定任一所述第一深度图对应的弹性语义表征；根据所述弹性语义表征、所述第一深度图对应的法向量图和置信度度量图，确定所述第一深度图对应的候选点集合，所述候选点集合包括至少一个候选点；控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到所述第二深度图。4.根据权利要求3所述的方法，其特征在于，所述控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到所述第二深度图，包括：控制所述至少一个候选点分别在所述第一深度图中进行像素传播，得到第二传播深度图集合，其中，所述第二传播深度图集合包括至少一个第二传播深度图，所述第二传播深度图与所述候选点一一对应；对所述第一深度图进行随机扰动，得到第一深度；对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行评估，选取评估结果满足深度条件的第二传播深度图作为所述第二深度图。5.根据权利要求4所述的方法，其特征在于，所述对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行评估，包括：对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行跨视角的光度一致性度量、语义一致性度量和参考视角内的平滑性度量。6.根据权利要求1所述的方法，其特征在于，所述将...
【专利技术属性】
技术研发人员：方璐，张晋之，唐若凡，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。