基于隐式神经场的物体跟踪方法和系统技术方案

本申请涉及一种基于隐式神经场的物体跟踪方法，该方法包括：将当前帧图像的初始位姿输入隐式神经场获取参考图像，和参考图像对应的物体3D点，根据物体3D点在当前帧图像和参考图像中的层级特征，优化预估的初始位姿，得到当前帧图像的优化位姿，解决了物体的6DOF跟踪方法实现复杂的问题。只需通过隐式神经场渲染一张参考图像进行位姿优化，不需要传感器或物体的CAD模型，降低了物体跟踪方法的复杂度，提高了跟踪效率，且使用通用的特征提取替代传统的灰度值，提高了算法对光照等变化的鲁棒性。提高了算法对光照等变化的鲁棒性。提高了算法对光照等变化的鲁棒性。

【技术实现步骤摘要】
基于隐式神经场的物体跟踪方法和系统


[0001]本申请涉及定位
，特别是涉及基于隐式神经场的物体跟踪方法、系统、电子设备和存储介质。

技术介绍

[0002]随着计算机技术的快速发展，3D物体的6DOF跟踪技术应用越来越广泛。在增强现实的应用中，通过实时得到特定物体的位姿，将虚拟内容锚定在物体上，从而做到对现实环境的增强；在工业应用中，通过实时确定目标物体位姿，实现机械臂精准抓取。
[0003]在相关技术中，对物体进行跟踪需要借助深度相机、多传感器或者物体的CAD模型，这些方法实现过程复杂，且对软硬件要求高。
[0004]目前针对相关技术中物体的6DOF跟踪方法实现复杂的问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种基于隐式神经场的物体跟踪方法、系统、电子设备和存储介质，以至少解决相关技术中物体的6DOF跟踪方法实现复杂的问题。
[0006]第一方面，本申请实施例提供了一种基于隐式神经场的物体跟踪方法，所述方法包括：
[0007]获取当前帧图像和所述当前帧图像的初始位姿；
[0008]基于所述初始位姿和预先构建的隐式神经场，获取参考图像和所述参考图像的分割掩码；
[0009]根据所述初始位姿、所述物体参考图像和所述分割掩码，得到所述当前帧图像的优化位姿。
[0010]在其中一些实施例中，在获取当前帧图像和所述当前帧图像的初始位姿之前，所述方法还包括：
[0011]采集目标图像，其中，所述目标图像包括目标物体和背景；
[0012]根据所述目标图像，训练所述隐式神经场，生成场景的隐式3D模型。
[0013]在其中一些实施例中，基于所述初始位姿和预先构建的隐式神经场，获取参考图像和所述参考图像的分割掩码包括：
[0014]将所述初始位姿输入所述隐式神经场，得到参考图像，其中，所述参考图像包括目标物体和背景；
[0015]根据预设分割网络，对所述参考图像进行分割，得到所述参考图像的分割掩码，其中，所述分割掩码表示了参考图像中每个像素属于所述目标物体还是所述背景。
[0016]在其中一些实施例中，根据所述初始位姿、所述物体参考图像和所述分割掩码，得到所述当前帧图像的优化位姿包括：
[0017]基于预先设置的特征提取网络，获取所述当前帧图像的层级特征图，以及所述参
考图像的层级特征图和置信度；
[0018]根据所述当前帧图像的层级特征图、所述分割掩码、所述参考图像的层级特征图和所述置信度，优化所述初始位姿，得到所述当前帧图像的优化位姿。
[0019]在其中一些实施例中，所述层级特征包括第一层级特征和第二层级特征，其中，所述第一层级为原图尺寸层级，所述第二层级的尺寸小于所述第一层级的尺寸，所述基于预先设置的特征提取网络，获取所述当前帧图像的层级特征图，以及所述参考图像的层级特征图和置信度包括：
[0020]通过所述特征提取网络对所述参考图像进行特征提取，得到所述参考图像中的第一层级特征图和第一层级置信度，以及第二层级特征图和第二层级置信度；
[0021]通过所述特征提取网络对所述当前帧图像进行特征提取，得到所述当前帧图像的第一层级特征图和第二层级特征图。
[0022]在其中一些实施例中，根据所述当前帧图像的层级特征图、所述分割掩码、所述参考图像的层级特征图和所述置信度，优化所述初始位姿，得到所述当前帧图像的优化位姿包括：
[0023]根据所述第二层级置信度、所述分割掩码、所述参考图像和所述当前帧图像的第二层级特征图，优化所述初始位姿，得到第二层级位姿；
[0024]根据所述第一层级置信度、所述分割掩码、所述参考图像和所述当前帧图像的第一层级特征图，优化所述第二层级位姿，得到所述当前帧图像的优化位姿。
[0025]在其中一些实施例中，根据所述第二层级置信度、所述分割掩码、所述参考图像和所述当前帧图像的第二层级特征图，优化所述初始位姿，得到第二层级位姿包括：
[0026]根据所述第二层级置信度和所述分割掩码，从所述参考图像中，获取第二目标3D点；
[0027]从所述参考图像的层级特征图中，获取所述第二目标3D点的第二层级特征，得到第二层级参考特征；
[0028]根据所述初始位姿，将所述第二目标3D点投影到所述当前帧图像，得到初始投影点；
[0029]从所述当前帧图像的第二层级特征图中，获取所述初始投影点的第二层级特征，得到第二层级初始特征；
[0030]根据所述第二层级参考特征和所述第二层级初始特征，优化所述初始位姿，得到所述第二层级位姿。
[0031]在其中一些实施例中，根据所述第一层级置信度、所述分割掩码、所述参考图像和所述当前帧图像的第一层级特征图，优化所述第二层级位姿，得到所述当前帧图像的优化位姿包括：
[0032]根据所述第一层级置信度和所述分割掩码，从所述参考图像中，获取第一目标3D点；
[0033]从所述参考图像的层级特征图中，获取所述第一目标3D点的第一层级特征，得到第一层级参考特征；
[0034]根据所述第二层级位姿，将所述第一目标3D点投影到所述当前帧图像，得到更新投影点；
[0035]从所述当前帧图像的第一层级特征图中，获取所述更新投影点的第一层级特征，得到第一层级更新特征；
[0036]根据所述第一层级参考特征和所述第一层级更新特征，优化所述第二层级位姿，得到所述当前帧图像的优化位姿。
[0037]第二方面，本申请实施例提供了一种基于隐式神经场的物体跟踪系统，所述系统包括：信息获取模块、信息匹配模块和位姿优化模块：
[0038]所述信息获取模块，用于获取当前帧图像和所述当前帧图像的初始位姿；
[0039]所述信息匹配模块，用于基于所述初始位姿和预先构建的隐式神经场，获取参考图像和所述参考图像的分割掩码；
[0040]所述位姿优化模块，用于根据所述初始位姿、所述物体参考图像和所述分割掩码，得到所述当前帧图像的优化位姿。
[0041]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于隐式神经场的物体跟踪方法。
[0042]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于隐式神经场的物体跟踪方法。
[0043]相比于相关技术，本申请实施例提供的基于隐式神经场的物体跟踪方法，通过将当前帧图像的初始位姿输入隐式神经场获取参考图像，以及参考图像的分割掩码，通过参考图像的分割掩码和置信度确定目标3D点，根据目标3D点在当前帧图像和参考图像中的层级特征，优化预估的初始位姿，得到当前帧图像的优化位姿，解决了物体的6DOF跟踪方法实现复杂的问题。通过隐式神经场获取参考图像，进行位姿优化，无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐式神经场的物体跟踪方法，其特征在于，所述方法包括：获取当前帧图像和所述当前帧图像的初始位姿；基于所述初始位姿和预先构建的隐式神经场，获取参考图像和所述参考图像的分割掩码；根据所述初始位姿、所述物体参考图像和所述分割掩码，得到所述当前帧图像的优化位姿。2.根据权利要求1所述的方法，其特征在于，在获取当前帧图像和所述当前帧图像的初始位姿之前，所述方法还包括：采集目标图像，其中，所述目标图像包括目标物体和背景；根据所述目标图像，训练所述隐式神经场，生成场景的隐式3D模型。3.根据权利要求1所述的方法，其特征在于，基于所述初始位姿和预先构建的隐式神经场，获取参考图像和所述参考图像的分割掩码包括：将所述初始位姿输入所述隐式神经场，得到参考图像，其中，所述参考图像包括目标物体和背景；根据预设分割网络，对所述参考图像进行分割，得到所述参考图像的分割掩码，其中，所述分割掩码表示了参考图像中每个像素属于所述目标物体还是所述背景。4.根据权利要求1所述的方法，其特征在于，根据所述初始位姿、所述物体参考图像和所述分割掩码，得到所述当前帧图像的优化位姿包括：基于预先设置的特征提取网络，获取所述当前帧图像的层级特征图，以及所述参考图像的层级特征图和置信度；根据所述当前帧图像的层级特征图、所述分割掩码、所述参考图像的层级特征图和所述置信度，优化所述初始位姿，得到所述当前帧图像的优化位姿。5.根据权利要求4所述的方法，其特征在于，所述层级特征包括第一层级特征和第二层级特征，其中，所述第一层级为原图尺寸层级，所述第二层级的尺寸小于所述第一层级的尺寸，所述基于预先设置的特征提取网络，获取所述当前帧图像的层级特征图，以及所述参考图像的层级特征图和置信度包括：通过所述特征提取网络对所述参考图像进行特征提取，得到所述参考图像中的第一层级特征图和第一层级置信度，以及第二层级特征图和第二层级置信度；通过所述特征提取网络对所述当前帧图像进行特征提取，得到所述当前帧图像的第一层级特征图和第二层级特征图。6.根据权利要求5所述的方法，其特征在于，根据所述当前帧图像的层级特征图、所述分割掩码、所述参考图像的层级特征图和所述置信度，优化所述初始位姿，得到所述当前帧图像的优化位姿包括：根据所述第二层级置信度、所述分割掩码、所述参考图像和所述当前帧图像的第二层级特征图，优化所述初...

【专利技术属性】
技术研发人员：陈志国，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：