本发明专利技术提供一种基于隐式神经表征的无监督新类别发现方法、装置及设备，其中方法包括：获取待分割图像，并对待分割图像进行分割，得到初始子实例分割集合；基于神经辐射场模型，渲染待分割图像的隐式神经表征，将隐式神经表征作为待分割图像的语义特征，并基于语义特征计算交叉熵，得到待分割图像的熵特征；将语义特征和熵特征进行特征融合，得到融合特征；基于初始子实例分割集合中各个子实例的覆盖范围，从融合特征中提取得到子实例特征集合；对子实例特征集合进行聚类，得到待分割图像的语义分割结果。本发明专利技术提供的方法、装置及设备，利用神经辐射场模型实现对3D空间的隐式编码，显著降低了内存消耗，提高了新类别的识别准确率。率。率。
【技术实现步骤摘要】
基于隐式神经表征的无监督新类别发现方法、装置及设备
[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于隐式神经表征的无监督新类别发现方法、装置及设备。
技术介绍
[0002]近年来，随着计算机视觉技术的发展，场景感知算法的范式逐渐从监督型AI(Supervised Artificial Intelligence)过渡到具身AI(Embodied Artificial Intelligence)，监督型AI需要虽然在视觉感知的各种任务中取得了优异的性能，但是其依赖大量人工标注、有限类别的数据集来训练模型，且对于未标注过的新类别物体识别性能较差，很难在开放环境中得到大规模应用。具身AI范式借助智能体与周围环境之间的交互不断积累新知识，增量学习环境几何和语义信息，从而能够发现新类别物体，使得智能体在开放环境中仍然可以执行任务，可广泛应用于室内移动机器人、自动驾驶等领域。
[0003]现有的新类别发现方法大多通过手工设计的显式特征描述子或构建3D地图的方式来识别新类别物体。
[0004]然而，上述新类别发现方法不仅需要耗费大量的内存存储3D模型，而且无法渲染高分辨率的识别结果。
技术实现思路
[0005]本专利技术提供一种基于隐式神经表征的无监督新类别发现方法、装置及设备，用以解决现有技术中新类别发现方法大多通过手工设计的显式特征描述子或构建3D地图的方式来识别新类别物体，不仅需要耗费大量的内存存储3D模型，而且无法渲染高分辨率的识别结果的缺陷。
[0006]本专利技术提供一种基于隐式神经表征的无监督新类别发现方法，包括：
[0007]获取待分割图像，并对所述待分割图像进行分割，得到初始子实例分割集合；
[0008]基于神经辐射场模型，渲染所述待分割图像的隐式神经表征，将所述隐式神经表征作为所述待分割图像的语义特征，并基于所述语义特征计算交叉熵，得到所述待分割图像的熵特征；
[0009]将所述语义特征和所述熵特征进行特征融合，得到融合特征；
[0010]基于所述初始子实例分割集合中各个子实例的覆盖范围，从所述融合特征中提取得到子实例特征集合；
[0011]对所述子实例特征集合进行聚类，得到所述待分割图像的语义分割结果。
[0012]根据本专利技术提供的一种基于隐式神经表征的无监督新类别发现方法，所述神经辐射场模型的训练步骤包括：
[0013]提取样本图像中的样本语义特征，并获取所述样本图像的第一采样光线的三维坐标和视角方向，以及标签像素渲染结果；
[0014]获取初始模型，所述初始模型包括第一模型和第二模型，所述第一模型和所述第
二模型的模型结构相同，所述第一模型包括第一主干模型，以及与所述第一主干模型分别连接的第一隐式神经表征分支和第一像素渲染分支，所述第二模型包括第二主干模型，以及与所述第二主干模型分别连接的第二隐式神经表征分支和第二像素渲染分支；
[0015]将所述第一采样光线的三维坐标和视角方向输入至所述第一模型中，由所述第一模型沿所述第一采样光线间隔采样，并基于所述第一像素渲染分支得到并输出粗糙像素渲染结果和密度值，以及基于所述第一隐式神经表征分支得到并输出第一隐式神经表征特征；
[0016]基于所述密度值确定所述样本图像的第二采样光线的三维坐标和视角方向，将所述第二采样光线的三维坐标和视角方向输入至所述第二模型中，由所述第二模型沿所述第二采样光线采样，并基于所述第二像素渲染分支得到并输出精细像素渲染结果，以及基于所述第二隐式神经表征分支得到并输出第二隐式神经表征特征；
[0017]基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，以及所述粗糙像素渲染结果、所述精细像素渲染结果和所述标签像素渲染结果，对所述初始模型进行参数迭代，得到所述神经辐射场模型。
[0018]根据本专利技术提供的一种基于隐式神经表征的无监督新类别发现方法，所述基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，以及所述粗糙像素渲染结果、所述精细像素渲染结果和所述标签像素渲染结果，对所述初始模型进行参数迭代，包括：
[0019]基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，确定特征损失；
[0020]基于所述粗糙像素渲染结果、所述精细像素渲染结果和所述标签像素渲染结果，确定光度损失；
[0021]基于所述特征损失和所述光度损失，对所述初始模型进行参数迭代。
[0022]根据本专利技术提供的一种基于隐式神经表征的无监督新类别发现方法，所述基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，确定特征损失，包括：
[0023]基于所述第一隐式神经表征特征和所述样本语义特征，确定第一特征损失；
[0024]基于所述第二隐式神经表征特征和所述样本语义特征，确定第二特征损失；
[0025]基于所述第一特征损失和所述第二特征损失，确定所述特征损失。
[0026]根据本专利技术提供的一种基于隐式神经表征的无监督新类别发现方法，所述基于所述粗糙像素渲染结果、所述精细像素渲染结果和所述标签像素渲染结果，确定光度损失，包括：
[0027]基于所述粗糙像素渲染结果和所述标签像素渲染结果，确定第一光度损失；
[0028]基于所述精细像素渲染结果和所述标签像素渲染结果，确定第二光度损失；
[0029]基于所述第一光度损失和所述第二光度损失，确定所述光度损失。
[0030]根据本专利技术提供的一种基于隐式神经表征的无监督新类别发现方法，所述对所述子实例特征集合进行聚类，得到所述待分割图像的语义分割结果，包括：
[0031]基于所述子实例特征集合与所述初始子实例分割集合中各个子实例之间的相似度，得到候选子实例特征集合；
[0032]基于所述候选子实例特征集合，得到所述待分割图像的语义分割结果。
[0033]根据本专利技术提供的一种基于隐式神经表征的无监督新类别发现方法，所述基于所述候选子实例特征集合，得到所述待分割图像的语义分割结果，包括：
[0034]将属于同一子实例和同一语义的子实例的候选子实例特征集合进行聚合，得到多个聚合结果，合并所述多个聚合结果，得到所述待分割图像的语义分割结果。
[0035]根据本专利技术提供的一种基于隐式神经表征的无监督新类别发现方法，所述基于所述语义特征计算交叉熵，得到所述待分割图像的熵特征，包括：
[0036]基于如下公式，得到所述待分割图像的熵特征：
[0037][0038]其中，表示第i帧待分割图像中像素类别为o的概率，ε
i
表示熵特征，熵特征的维度为N
×
H
×
W
×
1。
[0039]本专利技术还提供一种基于隐式神经表征的无监督新类别发现装置，包括：
[0040]获取单元，用于获取待分割图像，并对所述待分割图像进行分割，得到初始本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于隐式神经表征的无监督新类别发现方法，其特征在于，包括：获取待分割图像，并对所述待分割图像进行分割，得到初始子实例分割集合；基于神经辐射场模型，渲染所述待分割图像的隐式神经表征，将所述隐式神经表征作为所述待分割图像的语义特征，并基于所述语义特征计算交叉熵，得到所述待分割图像的熵特征；将所述语义特征和所述熵特征进行特征融合，得到融合特征；基于所述初始子实例分割集合中各个子实例的覆盖范围，从所述融合特征中提取得到子实例特征集合；对所述子实例特征集合进行聚类，得到所述待分割图像的语义分割结果。2.根据权利要求1所述的基于隐式神经表征的无监督新类别发现方法，其特征在于，所述神经辐射场模型的训练步骤包括：提取样本图像中的样本语义特征，并获取所述样本图像的第一采样光线的三维坐标和视角方向，以及标签像素渲染结果；获取初始模型，所述初始模型包括第一模型和第二模型，所述第一模型和所述第二模型的模型结构相同，所述第一模型包括第一主干模型，以及与所述第一主干模型分别连接的第一隐式神经表征分支和第一像素渲染分支，所述第二模型包括第二主干模型，以及与所述第二主干模型分别连接的第二隐式神经表征分支和第二像素渲染分支；将所述第一采样光线的三维坐标和视角方向输入至所述第一模型中，由所述第一模型沿所述第一采样光线间隔采样，并基于所述第一像素渲染分支得到并输出粗糙像素渲染结果和密度值，以及基于所述第一隐式神经表征分支得到并输出第一隐式神经表征特征；基于所述密度值确定所述样本图像的第二采样光线的三维坐标和视角方向，将所述第二采样光线的三维坐标和视角方向输入至所述第二模型中，由所述第二模型沿所述第二采样光线采样，并基于所述第二像素渲染分支得到并输出精细像素渲染结果，以及基于所述第二隐式神经表征分支得到并输出第二隐式神经表征特征；基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，以及所述粗糙像素渲染结果、所述精细像素渲染结果和所述标签像素渲染结果，对所述初始模型进行参数迭代，得到所述神经辐射场模型。3.根据权利要求2所述的基于隐式神经表征的无监督新类别发现方法，其特征在于，所述基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，以及所述粗糙像素渲染结果、所述精细像素渲染结果和所述标签像素渲染结果，对所述初始模型进行参数迭代，包括：基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，确定特征损失；基于所述粗糙像素渲染结果、所述精细像素渲染结果和所述标签像素渲染结果，确定光度损失；基于所述特征损失和所述光度损失，对所述初始模型进行参数迭代。4.根据权利要求3所述的基于隐式神经表征的无监督新类别发现方法，其特征在于，所述基于所述第一隐式神经表征特征和所述第二隐式神经表征特征和所述样本语义特征，确定特征损失，包...
【专利技术属性】
技术研发人员：张驰，张兆翔，陈文博，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。