机器人目标跟踪方法、装置、机器人及存储介质制造方法及图纸

本申请涉及一种机器人目标跟踪方法、装置、机器人及存储介质，该方法包括：对第一图像和第二图像进行目标检测，得到至少一个第一对象和至少一个第二对象；第一图像基于第一相机采集，第二图像基于第二相机采集，第二相机的视野范围大于第一相机的视野范围，且与第一相机的视野范围存在交叠；提取各第一对象、第二对象在第一图像、第二图像中的图像特征和位置特征；基于图像特征和位置特征确定第一对象和第二对象中处于交叠视野范围内的目标对象；将目标对象所对应的图像特征融合后得到第三图像特征，基于第三图像特征跟踪目标对象，扩展了目标对象的跟踪视野，解决了相关技术中存在的机器人难以实现对被跟踪目标整体运动过程跟踪的问题。跟踪的问题。跟踪的问题。

【技术实现步骤摘要】
机器人目标跟踪方法、装置、机器人及存储介质


[0001]本申请涉及机器人视觉跟踪
，特别是涉及一种机器人目标跟踪方法、装置、机器人及可读存储介质。

技术介绍

[0002]智能机器人可以通过设置在本体上的相机感知周围环境，而在相机拍摄的视频图像中进行多目标跟踪是机器人理解自身所处环境的重要前置任务。例如，多目标跟踪技术能够实时地为机器人提供周边行人、车辆等障碍物信息，从而为机器人智能避障提供依据；多目标跟踪也能够帮助机器人选择服务对象，从而使得机器人能够更好地服务于人类。现有的多目标跟踪技术多是基于机器人本体视野的多目标跟踪技术，由于距离被跟踪目标近，能够获取到被跟踪目标的细节特征；然而，受机器人本体硬件的限制，通常设置在机器人本体上的相机数量少、安装高度低，视野受限，难以对目标实施整体运动过程的跟踪。因此，在保留细节特征的基础上实现被跟踪目标的整体运动过程跟踪是目前迫切需要解决的问题。
[0003]针对相关技术中存在的机器人难以实现对被跟踪目标整体运动过程跟踪的问题，目前还没有提出有效的解决方案。

技术实现思路

[0004]在本实施例中提供了一种机器人目标跟踪方法、装置、机器人及可读存储介质，以解决相关技术中存在的机器人难以实现对被跟踪目标整体运动过程跟踪的问题。
[0005]第一个方面，在本实施例中提供了一种机器人目标跟踪方法，所述方法包括：
[0006]对第一图像进行目标检测，得到至少一个第一对象；及
[0007]对第二图像进行目标检测，得到至少一个第二对象；所述第一图像基于第一相机采集，所述第二图像基于第二相机采集，所述第二相机的视野范围大于所述第一相机的视野范围，且与所述第一相机的视野范围存在交叠；
[0008]提取各所述第一对象在所述第一图像中的第一图像特征和第一位置特征，以及各所述第二对象在所述第二图像中的第二图像特征和第二位置特征；
[0009]基于所述第一图像特征和第一位置特征，以及所述第二图像特征和第二位置特征，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象；
[0010]将所述目标对象所对应的所述第一图像特征和所述第二图像特征融合后得到第三图像特征，基于所述第三图像特征跟踪所述目标对象。
[0011]在其中的一些实施例中，所述基于所述第一图像特征和第一位置特征，以及所述第二图像特征和第二位置特征，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括：
[0012]获取各所述第一图像特征和各所述第二图像特征之间的图像特征距离；及
[0013]获取各所述第一位置特征和各所述第二位置特征之间的位置特征距离；
[0014]基于各所述图像特征距离和各所述位置特征距离，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象。
[0015]在其中的一些实施例中，所述基于各所述图像特征距离和各所述位置特征距离，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括：
[0016]基于各所述图像特征距离，构建图像距离矩阵；及
[0017]基于各所述位置特征距离，构建位置距离矩阵；
[0018]将所述图像距离矩阵和所述位置距离矩阵组合得到距离信息矩阵；
[0019]以所述距离信息矩阵的值为目标对象确定参数，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象。
[0020]在其中的一些实施例中，所述第一位置特征为对应的第一对象在世界坐标系下的三维坐标；所述第一位置特征基于当前时刻机器人坐标系与所述世界坐标系间的转换关系、第一相机坐标系与所述机器人坐标系间的转换关系以及对应的第一对象在第一相机坐标系下的齐次三维坐标所确定。
[0021]在其中的一些实施例中，所述第二位置特征为对应的第二对象在世界坐标系下的三维坐标；所述第二位置特征基于所述第二相机与所述世界坐标系间的转换关系以及对应的第二对象在第二相机坐标系下的齐次三维坐标所确定。
[0022]在其中的一些实施例中，所述将所述目标对象所对应的所述第一图像特征和所述第二图像特征融合后得到第三图像特征，基于所述第三图像特征跟踪所述目标对象包括：
[0023]将所述目标对象所对应的所述第一图像特征和所述第二图像特征串联，得到所述第三图像特征。
[0024]在其中的一些实施例中，所述将所述目标对象所对应的所述第一图像特征和所述第二图像特征串联，得到所述第三图像特征包括：
[0025]F＝n([F
i
；F
j
])
[0026]其中，F为所述第三图像特征；n()为归一化函数，F
i
为第i个第一对象对应的第一图像特征，F
j
为第j个第二对象对应的第二图像特征。
[0027]第二个方面，在本实施例中提供了一种机器人目标跟踪装置，所述机器人目标跟踪装置包括：
[0028]第一检测模块，用于对第一图像进行目标检测，得到至少一个第一对象；
[0029]第二检测模块，用于对第二图像进行目标检测，得到至少一个第二对象；所述第一图像基于第一相机采集，所述第二图像基于第二相机采集，所述第二相机的视野范围大于所述第一相机的视野范围，且与所述第一相机的视野范围存在交叠；
[0030]提取模块，用于提取各所述第一对象在所述第一图像中的第一图像特征和第一位置特征，以及各所述第二对象在所述第二图像中的第二图像特征和第二位置特征；
[0031]确定模块，用于基于所述第一图像特征和第一位置特征，以及所述第二图像特征和第二位置特征，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象；
[0032]跟踪模块，用于将所述目标对象所对应的所述第一图像特征和所述第二图像特征融合后得到第三图像特征，基于所述第三图像特征跟踪所述目标对象。
[0033]第三个方面，在本实施例中提供了一种机器人，所述机器人包括：
[0034]用于采集第一图像的第一相机，以及如第二个方面所述的机器人目标跟踪装置。
[0035]第四个方面，在本实施例中提供了一种可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述第一个方面所述的机器人目标跟踪方法的步骤。
[0036]与相关技术相比，在本实施例中提供的机器人目标跟踪方法，通过对第一图像进行目标检测，得到至少一个第一对象，及通过对第二图像进行目标检测，得到至少一个第二对象，其中第一图像基于第一相机采集，第二图像基于第二相机采集，且第二相机的视野范围大于第一相机的视野范围，与第一相机的视野范围存在交叠，即分别通过目标检测，获取两个相机采集的两张图像中的待匹配对象，其中第一相机视野范围较小，第二相机视野范围较大，能够获取待匹配对象的整体运动过程；通过提取各第一对象在第一图像中的第一图像特征和第一位置特征，以及各第二对象在第二图像中的第二图像特征和第二位置特征，获取待匹配对象的图像特征和位置特征；通过基于第一图像特征和第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人目标跟踪方法，其特征在于，所述方法包括：对第一图像进行目标检测，得到至少一个第一对象；及对第二图像进行目标检测，得到至少一个第二对象；所述第一图像基于第一相机采集，所述第二图像基于第二相机采集，所述第二相机的视野范围大于所述第一相机的视野范围，且与所述第一相机的视野范围存在交叠；提取各所述第一对象在所述第一图像中的第一图像特征和第一位置特征，以及各所述第二对象在所述第二图像中的第二图像特征和第二位置特征；基于所述第一图像特征和第一位置特征，以及所述第二图像特征和第二位置特征，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象；将所述目标对象所对应的所述第一图像特征和所述第二图像特征融合后得到第三图像特征，基于所述第三图像特征跟踪所述目标对象。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像特征和第一位置特征，以及所述第二图像特征和第二位置特征，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括：获取各所述第一图像特征和各所述第二图像特征之间的图像特征距离；及获取各所述第一位置特征和各所述第二位置特征之间的位置特征距离；基于各所述图像特征距离和各所述位置特征距离，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象。3.根据权利要求2所述的方法，其特征在于，所述基于各所述图像特征距离和各所述位置特征距离，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括：基于各所述图像特征距离，构建图像距离矩阵；及基于各所述位置特征距离，构建位置距离矩阵；将所述图像距离矩阵和所述位置距离矩阵组合得到距离信息矩阵；以所述距离信息矩阵的值为目标对象确定参数，确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象。4.根据权利要求1所述的方法，其特征在于，所述第一位置特征为对应的第一对象在世界坐标系下的三维坐标；所述第一位置特征基于当前时刻机器人坐标系与所述世界坐标系间的转换关系、第一相机坐标系与所述机器人坐标系间的转换关系以及对应的第一对象在第一相机坐标系下的齐次三维坐标所确定。5.根据权利要求1所述的方法，其特征在于，所述第二位置特征为对应的第二...

【专利技术属性】
技术研发人员：王文，王军，张春龙，宛敏红，李特，林哲远，
申请(专利权)人：之江实验室，
类型：发明
国别省市：