【技术实现步骤摘要】
神经辐射场的物体和布局提取方法和装置
[0001]本专利技术涉及一种电子
，尤其涉及一种神经辐射场的物体和布局提取方法和装置。
技术介绍
[0002]现有基于神经辐射场表征(Neural Radiance Fields，简称NeRF)的模型在训练时将整个场景处理成一个整体，因此缺乏对物体单体和场景布局的理解。这样的处理方式带来多种缺陷：(1)拟合的三维场景缺乏可编辑性；(2)随着场景内物体个数的增加以及场景的扩大，渲染质量受到神经网络表达能力的限制难以提升；(3)由于训练视角不足、外部环境变化等因素，场景中的单体建模质量良莠不齐。
[0003]虽然现有技术中也有提出提出利用2D的物体语义标注来区分场景中的物体的技术方案，或者利用现有的2D物体识别模型提取自动驾驶场景图片中的单体信息并对场景中的每个单体用一个单独的小NeRF表示的技术方案。但是现有技术依赖现有物体的掩膜(Mask)或者2D的物体检测网络，需要在2D图片上事先识别场景中物体单体。物体建模质量受Mask质量影响，且需要额外处理训练视角中广泛存在的物体...
【技术保护点】
【技术特征摘要】
1.神经辐射场的物体和布局提取方法，其特征在于，包括：确定待处理场景；利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息；选取一个所述二维特征平面作为目标二维特征平面，通过轮廓判别法在所述目标二维特征平面上识别出所述待处理场景中的至少一个物体单体；对每个所述物体单体对应的平面特征进行层次聚类判断出所述物体单体的类别；记录每个所述物体单体在所述待处理场景中的位姿，其中，所述位姿包括在所述目标二维特征平面上的坐标和以X轴为基准的旋转角度；根据每个所述物体单体在所述待处理场景中的位姿获取所述待处理场景的布局。2.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，在判断出所述物体单体的类别之后，所述方法还包括：在素材库中为每一类所述物体单体存储一个特征模块。3.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，所述物体单体对应的平面特征包括：所述物体单体在所述目标二维特征平面的特征向量；所述对每个所述物体单体对应的平面特征进行层次聚类判断出所述物体单体的类别包括：对所述特征向量做聚类；统计每个所述物体单体在所述目标二维特征平面的聚类分布；计算每两个所述物体单体之间的JS散度，根据所述JS散度运用层次聚类算法判断出所述物体单体的类别。4.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，所述至少一个二维特征平面包括密度场特征平面、颜色场特征平面和语义场特征平面；所述利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息包括：分别获取所述待处理场景的所述密度场特征平面、所述颜色场特征平面和所述语义场特征平面；分别将所述密度场特征平面、所述颜色场特征平面和所述语义场特征平面分别与高度轴特征向量进行匹配，得到所述密度场特征平面对应的3D特征值、所述颜色场特征平面的3D特征值和所述语义场特征平面的3D特征值，根据所述密度场特征平面对应的3D特征值、所述颜色场特征平面的3D特征值和所述语义场特征平面的3D特征值获得所述待处理场景的3D特征信息。5.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，所述至少一个二维特征平面包括密度场特征平面、颜色和语义场特征平面；所述利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息包括：分别获取所述待处理场景的所述密度场特征平面、所述颜色和语义场特征平面；将所述密度场特征平面与高度轴特征向量进行匹配，获得密度场特征平面对应的3D特征值；将所述颜色和语义场特征平面与所述密度场特征平面对应的3D特征值结合，获得所述待处理场景的3D特征信息。
6.根据权利要求4或5所述的神经辐射场的物体和布局提取方法，其特征在于，所述选取一个所述二维特征平面作为目标...
【专利技术属性】
技术研发人员：相里元博，徐霖宁，戴勃，林达华，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。