基于神经辐射场的视景环境生成方法、系统、设备及存储介质技术方案

本申请涉及无人机控制技术领域，提供一种基于神经辐射场的视景环境生成方法、系统、设备及存储介质，解决视景环境生成效果差的问题。本申请方法包括：对校正图像进行语义分割，生成带有语义标签的图像数据，语义标签用于标注室外场景中物体的类别；基于带有语义标签的图像数据更新神经辐射场模型，并将语义标签映射到神经辐射场模型对应的体素特征空间，构建语义点云；识别多视角图像中的非关键区域，对非关键区域执行冗余体素裁剪，生成裁剪后的语义点云；利用裁剪后的语义点云驱动神经辐射场模型，生成室外场景的任意视角视景。本申请技术方案实现了室外视景环境的轻量化语义建模与高效自由视点渲染，提升了复杂环境的新视角生成效率与质量。

【技术实现步骤摘要】

本申请涉及无人机控制，尤其涉及一种基于神经辐射场的视景环境生成方法及系统。

技术介绍

1、在无人机航测等应用领域，对室外大范围场景进行高效三维重建与实时视景生成提出了严格要求，需要具备大尺度重建能力，能够完整还原千米级场景的几何结构及语义信息，同时有效克服实际环境中的光照变化、物体遮挡及动态干扰；必须实现三维语义一致性，确保建筑、道路、植被等不同类别的物体在任何观察视角下都能保持语义标签的统一识别；并且，在有限的算力条件下，需精准平衡计算效率与输出质量，既要保障重建的精度，也要满足实时渲染的性能要求，同时避免内存过载问题。

2、现有方案首先对动态场景进行解耦，将整个场景拆分为“物体”和“背景”两部分，其中每个物体实例均使用独立的小型多层感知器进行建模，并结合其三维边界框与辐射场参数；其次采用多模态数据融合策略，利用现有成熟算法预先获取相机位姿、物体运动轨迹以及二维语义分割图，通过融合自监督与伪监督学习的方式联合优化多层感知器的权重参数；最终构建出隐式的场景表达，输出包含体素密度、辐射度和语义标签在内的综合信息，从而支持新视角合成、三维场景编辑等本文档来自技高网...

【技术保护点】

1.一种基于神经辐射场的视景环境生成方法，其特征在于，包括：

2.根据权利要求1所述的基于神经辐射场的视景环境生成方法，其特征在于，所述利用所述裁剪后的语义点云驱动所述神经辐射场模型，生成室外场景的任意视角视景，包括：

3.根据权利要求2所述的基于神经辐射场的视景环境生成方法，其特征在于，所述针对所述射线集合中的每条射线，利用所述裁剪后的语义点云驱动沿射线方向的自适应采样，生成采样点序列，包括：

4.根据权利要求1所述的基于神经辐射场的视景环境生成方法，其特征在于，所述基于所述语义点云，识别多视角图像中的非关键区域，对所述非关键区域执行冗余体素裁剪，生...

【技术特征摘要】

1.一种基于神经辐射场的视景环境生成方法，其特征在于，包括：

2.根据权利要求1所述的基于神经辐射场的视景环境生成方法，其特征在于，所述利用所述裁剪后的语义点云驱动所述神经辐射场模型，生成室外场景的任意视角视景，包括：

3.根据权利要求2所述的基于神经辐射场的视景环境生成方法，其特征在于，所述针对所述射线集合中的每条射线，利用所述裁剪后的语义点云驱动沿射线方向的自适应采样，生成采样点序列，包括：

4.根据权利要求1所述的基于神经辐射场的视景环境生成方法，其特征在于，所述基于所述语义点云，识别多视角图像中的非关键区域，对所述非关键区域执行冗余体素裁剪，生成裁剪后的语义点云，包括：

5.根据权利要求4所述的基于神经辐射场的视景环境生成方法，其特征在于，所述合并满足预设连续性条件的相邻标记区域，生成非关键区域，包括：

6.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：杨树，赵思媛，汤芯怡，郭浩彬，胡婕，
申请(专利权)人：珠海翔翼航空技术有限公司，
类型：发明
国别省市：