神经辐射场的物体和布局提取方法和装置制造方法及图纸

本发明专利技术提供了一种神经辐射场的物体和布局提取方法和装置，方法包括：确定待处理场景；利用至少一个二维特征平面来拟合待处理场景的3D特征信息；选取一个二维特征平面作为目标二维特征平面，通过轮廓判别法在目标二维特征平面上识别出待处理场景中的至少一个物体单体；对每个物体单体对应的平面特征进行层次聚类判断出物体单体的类别；记录每个物体单体在待处理场景中的位姿，其中，位姿包括在目标二维特征平面上的坐标和以X轴为基准的旋转角度；根据每个物体单体在待处理场景中的位姿获取待处理场景的布局。通过本发明专利技术可以通过找出场景中的同类物体，方便用户在平面上直观地发现物体单体并进行聚类，提供高质量的物体素材，易于用户编辑和拓展。易于用户编辑和拓展。易于用户编辑和拓展。

【技术实现步骤摘要】
神经辐射场的物体和布局提取方法和装置


[0001]本专利技术涉及一种电子
，尤其涉及一种神经辐射场的物体和布局提取方法和装置。

技术介绍

[0002]现有基于神经辐射场表征(Neural Radiance Fields，简称NeRF)的模型在训练时将整个场景处理成一个整体，因此缺乏对物体单体和场景布局的理解。这样的处理方式带来多种缺陷：(1)拟合的三维场景缺乏可编辑性；(2)随着场景内物体个数的增加以及场景的扩大，渲染质量受到神经网络表达能力的限制难以提升；(3)由于训练视角不足、外部环境变化等因素，场景中的单体建模质量良莠不齐。
[0003]虽然现有技术中也有提出提出利用2D的物体语义标注来区分场景中的物体的技术方案，或者利用现有的2D物体识别模型提取自动驾驶场景图片中的单体信息并对场景中的每个单体用一个单独的小NeRF表示的技术方案。但是现有技术依赖现有物体的掩膜(Mask)或者2D的物体检测网络，需要在2D图片上事先识别场景中物体单体。物体建模质量受Mask质量影响，且需要额外处理训练视角中广泛存在的物体遮挡问题。现有技术中往往采用单个NeRF或单个编码来控制每一个物体，在计算复杂性和存储上难以扩展到任意数量。此外，现有技术中基于NeRF的场景编辑，需要对每个物体的坐标系进行单独转换，过程繁琐且仅限于局部编辑。

技术实现思路

[0004]本专利技术旨在解决上述问题之一。
[0005]本专利技术的主要目的在于提供一种神经辐射场的物体和布局提取方法。
[0006]本专利技术的另一目的在于提供一种神经辐射场的物体和布局提取装置。
[0007]为达到上述目的，本专利技术的技术方案具体是这样实现的：
[0008]本专利技术一方面提供了一种神经辐射场的物体和布局提取方法，包括：确定待处理场景；利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息；选取一个所述二维特征平面作为目标二维特征平面，通过轮廓判别法在所述目标二维特征平面上识别出所述待处理场景中的至少一个物体单体；对每个所述物体单体对应的平面特征进行层次聚类判断出所述物体单体的类别；记录每个所述物体单体在所述待处理场景中的位姿，其中，所述位姿包括在所述目标二维特征平面上的坐标和以X轴为基准的旋转角度；根据每个所述物体单体在所述待处理场景中的位姿获取所述待处理场景的布局。
[0009]本专利技术另一方面提供一种神经辐射场的物体和布局提取装置，包括：确定单元，用于确定待处理场景；拟合单元，用于利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息；识别单元，用于选取一个所述二维特征平面作为目标二维特征平面，通过轮廓判别法在所述目标二维特征平面上识别出所述待处理场景中的至少一个物体单体；归类单元，用于对每个所述物体单体对应的平面特征进行层次聚类判断出所述物体单体的类别；
记录单元，用于记录每个所述物体单体在所述待处理场景中的位姿，其中，所述位姿包括在所述目标二维特征平面上的坐标和以X轴为基准的旋转角度；获取单元，用于根据每个所述物体单体在所述待处理场景中的位姿获取所述待处理场景的布局。
[0010]由上述本专利技术提供的技术方案可以看出，本专利技术提供了一种神经辐射场的物体和布局提取方法和装置，可以通过找出场景中的同类物体，方便用户在平面上直观地发现物体单体并进行聚类，从而提供了高质量的物体单体素材。此外，本专利技术的物体单体得益于二维特征平面的优势，用户可直观地在2D平面上改变物体和场景布局，易于用户编辑和拓展，且对任意个数的物体都适用，在渲染前对场景进行事先编辑，无需在渲染过程中作二次判断，新的特征平面可以用原始场景训练过程中学好的网络直接渲染新视角。
附图说明
[0011]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0012]图1为本专利技术实施例1提供的神经辐射场的物体和布局提取方法的流程图；
[0013]图2为本专利技术实施例1提供的针对场景进行渲染的具体流程图；
[0014]图3为本专利技术实施例1提供的运用AssetField基本模型的运算和效果图；
[0015]图4为本专利技术实施例1提供的物体识别和布局提取的具体流程图；
[0016]图5为本专利技术实施例1提供的运用AssetField改进模型的运算和效果图；
[0017]图6为本专利技术实施例1提供的场景物体识别和编辑的效果图；
[0018]图7为本专利技术实施例1提供的厨房场景物体识别和提取的效果图；
[0019]图8为本专利技术实施例1提供的在AssetField基本模型和AssetField改进模型下空间密度替换应用上的对比图；
[0020]图9为本专利技术实施例1提供的识别和编辑投影重叠的物体的效果图；
[0021]图10为本专利技术实施例1提供的对同类物体的统一编辑的效果图；
[0022]图11为本专利技术实施例1提供的神经辐射场的物体和布局提取装置的结构示意图。
具体实施方式
[0023]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0024]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或数量或位置。
[0025]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0026]下面将结合附图对本专利技术实施例作进一步地详细描述。
[0027]实施例1
[0028]本实施例提供一种神经辐射场的物体和布局提取方法，如图1所示，该方法包括：
[0029]步骤S101，确定待处理场景；具体来说，本实施例的方法可以适用于生活中常见的室内或室外环境的场景。
[0030]步骤S102，利用至少一个二维特征平面来拟合待处理场景的3D特征信息；具体来说，本专利技术根据场景的密度(Density)、颜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.神经辐射场的物体和布局提取方法，其特征在于，包括：确定待处理场景；利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息；选取一个所述二维特征平面作为目标二维特征平面，通过轮廓判别法在所述目标二维特征平面上识别出所述待处理场景中的至少一个物体单体；对每个所述物体单体对应的平面特征进行层次聚类判断出所述物体单体的类别；记录每个所述物体单体在所述待处理场景中的位姿，其中，所述位姿包括在所述目标二维特征平面上的坐标和以X轴为基准的旋转角度；根据每个所述物体单体在所述待处理场景中的位姿获取所述待处理场景的布局。2.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，在判断出所述物体单体的类别之后，所述方法还包括：在素材库中为每一类所述物体单体存储一个特征模块。3.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，所述物体单体对应的平面特征包括：所述物体单体在所述目标二维特征平面的特征向量；所述对每个所述物体单体对应的平面特征进行层次聚类判断出所述物体单体的类别包括：对所述特征向量做聚类；统计每个所述物体单体在所述目标二维特征平面的聚类分布；计算每两个所述物体单体之间的JS散度，根据所述JS散度运用层次聚类算法判断出所述物体单体的类别。4.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，所述至少一个二维特征平面包括密度场特征平面、颜色场特征平面和语义场特征平面；所述利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息包括：分别获取所述待处理场景的所述密度场特征平面、所述颜色场特征平面和所述语义场特征平面；分别将所述密度场特征平面、所述颜色场特征平面和所述语义场特征平面分别与高度轴特征向量进行匹配，得到所述密度场特征平面对应的3D特征值、所述颜色场特征平面的3D特征值和所述语义场特征平面的3D特征值，根据所述密度场特征平面对应的3D特征值、所述颜色场特征平面的3D特征值和所述语义场特征平面的3D特征值获得所述待处理场景的3D特征信息。5.根据权利要求1所述的神经辐射场的物体和布局提取方法，其特征在于，所述至少一个二维特征平面包括密度场特征平面、颜色和语义场特征平面；所述利用至少一个二维特征平面来拟合所述待处理场景的3D特征信息包括：分别获取所述待处理场景的所述密度场特征平面、所述颜色和语义场特征平面；将所述密度场特征平面与高度轴特征向量进行匹配，获得密度场特征平面对应的3D特征值；将所述颜色和语义场特征平面与所述密度场特征平面对应的3D特征值结合，获得所述待处理场景的3D特征信息。
6.根据权利要求4或5所述的神经辐射场的物体和布局提取方法，其特征在于，所述选取一个所述二维特征平面作为目标...

【专利技术属性】
技术研发人员：相里元博，徐霖宁，戴勃，林达华，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：