一种基于多模态数据的目标定位方法及系统技术方案

本发明专利技术公开了一种基于多模态数据的目标定位方法及系统，融合目标检测和深度图像，得到检测目标的实际位置信息，且无需特定场景即可完成目标的定位跟踪；通过事先设定指定对象特征集，对视野内的指定对象进行定位，定位更具有针对性，同时在未设定指定对象特征集时，可定位的目标包括但不限于人，本发明专利技术可以同时对多个目标进行定位，有效提高定位效率以及增大定位适用范围。

【技术实现步骤摘要】
一种基于多模态数据的目标定位方法及系统
本申请属于计算机视觉
，具体涉及一种基于多模态数据的目标定位方法及系统。
技术介绍
多模态(multimodality)的概念起源于计算机人机交互领域信息表示方式的研究，其中术语“模态”一词被定义为在特定物理媒介上信息的表示及交换方式。在研究中人们发现，用语言、视频、音频等媒体指称来描述信息表示方式过于宽泛、粒度太大，不足以区分实际采用的表示方式，为此引入了比媒体(或媒介)更细粒度的“模态”概念。目标定位是智能机器人的基本能力，当前关于目标定位已有多项研究较为常用方法有基于红外、超声波、图像识别等定位方法，具体如①根据三角定位法进行定位的方法；②根据HSV颜色空间和距离测量单元进行定位的方法。但是以上方法定位过程易受干扰，无法准确区分目标和相似目标。另一类常用方法具有较好的定位效果，但要求目标配合度高，如①要求目标佩戴或安装位置发送模块，如RFID、蓝牙等；②要求目标布置或粘贴标签，如二维码、AprilTag等，很显然以上方法应用场景有限。
技术实现思路
本申请的目的在于提供一种基于多模态数据的目标定位方法及系统，目标检测准确率高，且不受应用场景限制。为实现上述目的，本申请所采取的技术方案为：一种基于多模态数据的目标定位方法，用于机器人在移动过程中对目标的实时定位追踪，所述机器人设有光学成像采集设备和深度成像采集设备，所述基于多模态数据的目标定位方法，包括：步骤1、建立以机器人所在的硬件载体的中心为原点的硬件坐标系；r>步骤2、控制光学成像采集设备与深度成像采集设备的时间对齐；步骤3、标定深度成像采集设备与硬件载体的中心的外参；步骤4、构建光学成像采集设备获取的光学图像到深度成像采集设备获取的深度图像的图像映射关系；步骤5、基于光学成像采集设备和深度成像采集设备获取同一时间地点的光学图像和深度图像；步骤6、判断是否存在预设的指定对象特征集，若存在则执行步骤7；否则执行步骤8；步骤7、基于预设的指定对象特征集，使用实例分割网络提取光学图像中指定对象的像素坐标，若未检测到指定对象则返回步骤5；否则输出提取的像素坐标，同时利用提取时识别的指定对象的特征更新预设的指定对象特征集，并执行步骤9；步骤8、使用实例分割网络提取光学图像中所有对象的像素坐标输出，并执行步骤9；步骤9、根据同一时间地点采集的深度图像以及所述图像映射关系，得到像素坐标对应的距离信息，输出所提取对象的结合像素坐标和距离信息的相对于深度成像采集设备的图像坐标；步骤10、根据所述深度成像采集设备的外参，对图像坐标进行坐标变换，得到所提取对象在硬件坐标系下的相对坐标；步骤11、判断是否存在先验地图，若存在则根据先验地图、相对坐标以及硬件载体在先验地图中的位姿，计算得到在世界坐标系下的目标位姿作为本次目标定位输出的针对所提取对象的位置信息；若不存在则输出相对坐标作为本次目标定位输出的针对所提取对象的位置信息。以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。作为优选，所述硬件载体为移动底盘。作为优选，所述构建光学成像采集设备获取的光学图像到深度成像采集设备获取的深度图像的图像映射关系，包括：步骤4.1、指定用于构建图像映射关系的标定物；步骤4.2、获取标定物在光学成像采集设备中的光学成像，同时获取标定物在深度成像采集设备中的深度成像；步骤4.3、对光学成像和深度成像进行特征匹配，根据匹配数据计算得到光学成像到深度成像的变换矩阵；步骤4.4、重复步骤4.2～步骤4.3，直至通过滤波得到稳定的变换矩阵，将稳定的变换矩阵作为光学图像到深度图像的图像映射关系。作为优选，所述使用实例分割网络提取光学图像中指定对象的像素坐标，若未检测到指定对象则返回步骤5，包括：使用实例分割网络提取光学图像中指定对象的像素坐标，若未检测到指定对象，则改变硬件载体的位姿并返回步骤5。本申请还提供一种基于多模态数据的目标定位系统，用于机器人在移动过程中对目标的实时定位追踪，所述基于多模态数据的目标定位系统包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于多模态数据的目标定位方法的步骤。本申请提供的基于多模态数据的目标定位方法及系统，融合目标检测和深度图像，得到检测目标的实际位置信息，且无需特定场景即可完成目标的定位跟踪；通过事先设定指定对象特征集，对视野内的指定对象进行定位，定位更具有针对性，同时在未设定指定对象特征集时，可定位的目标包括但不限于人，本专利技术可以同时对多个目标进行定位，有效提高定位效率以及增大定位适用范围。该方法不仅适用于机器人，也适用于其他可移动可挂载数据采集设备的硬件载体。附图说明图1为本申请的基于多模态数据的目标定位方法的流程图；图2为本申请光学图像到深度图像的映射示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。其中一个实施例中，提供一种基于多模态数据的目标定位方法，用于机器人在移动过程中对目标的实时定位追踪，满足对一个或多个目标的定位，并且无额外的特定场景限制。本实施例中的多模态数据至少包括一个可以产生景深的深度图像数据和一个可以提取出目标特征的数据，提取出目标特征的数据中至少存在一种光学图像数据。具体获取的多模态数据根据本方法所应用的机器人的硬件结构而定。本实施例以机器人设有光学成像采集设备和深度成像采集设备为例进行说明，如图1所示，基于多模态数据的目标定位方法，包括：步骤1、建立以机器人所在的硬件载体的中心为原点的硬件坐标系。为适应机器人对目标的移动定位跟踪，通常硬件载体为可移动机械系统，例如轮式机械系统、带式机械系统等，本实施例以硬件载体为移动底盘为例进行说明。该移动底盘为矩形或再建立坐标系时将移动底盘构建为矩形模型，以便于确定移动底盘的中心。根据坐标转换习惯，本实施例建立的硬件坐标系为右手坐标系。步骤2、控制光学成像采集设备与深度成像采集设备的时间对齐。进行时间对齐时，可通过第三方服务器控制光学成像采集设备与深度成像采集设备对齐时间，例如光学成像采集设备与深度成像采集设备均以第三方服务器的时间为准进行运行，既省去了额外的时间对齐计本文档来自技高网...

【技术保护点】
1.一种基于多模态数据的目标定位方法，用于机器人在移动过程中对目标的实时定位追踪，其特征在于，所述机器人设有光学成像采集设备和深度成像采集设备，所述基于多模态数据的目标定位方法，包括：/n步骤1、建立以机器人所在的硬件载体的中心为原点的硬件坐标系；/n步骤2、控制光学成像采集设备与深度成像采集设备的时间对齐；/n步骤3、标定深度成像采集设备与硬件载体的中心的外参；/n步骤4、构建光学成像采集设备获取的光学图像到深度成像采集设备获取的深度图像的图像映射关系；/n步骤5、基于光学成像采集设备和深度成像采集设备获取同一时间地点的光学图像和深度图像；/n步骤6、判断是否存在预设的指定对象特征集，若存在则执行步骤7；否则执行步骤8；/n步骤7、基于预设的指定对象特征集，使用实例分割网络提取光学图像中指定对象的像素坐标，若未检测到指定对象则返回步骤5；否则输出提取的像素坐标，同时利用提取时识别的指定对象的特征更新预设的指定对象特征集，并执行步骤9；/n步骤8、使用实例分割网络提取光学图像中所有对象的像素坐标输出，并执行步骤9；/n步骤9、根据同一时间地点采集的深度图像以及所述图像映射关系，得到像素坐标对应的距离信息，输出所提取对象的结合像素坐标和距离信息的相对于深度成像采集设备的图像坐标；/n步骤10、根据所述深度成像采集设备的外参，对图像坐标进行坐标变换，得到所提取对象在硬件坐标系下的相对坐标；/n步骤11、判断是否存在先验地图，若存在则根据先验地图、相对坐标以及硬件载体在先验地图中的位姿，计算得到在世界坐标系下的目标位姿作为本次目标定位输出的针对所提取对象的位置信息；若不存在则输出相对坐标作为本次目标定位输出的针对所提取对象的位置信息。/n...

【技术特征摘要】
1.一种基于多模态数据的目标定位方法，用于机器人在移动过程中对目标的实时定位追踪，其特征在于，所述机器人设有光学成像采集设备和深度成像采集设备，所述基于多模态数据的目标定位方法，包括：
步骤1、建立以机器人所在的硬件载体的中心为原点的硬件坐标系；
步骤2、控制光学成像采集设备与深度成像采集设备的时间对齐；
步骤3、标定深度成像采集设备与硬件载体的中心的外参；
步骤4、构建光学成像采集设备获取的光学图像到深度成像采集设备获取的深度图像的图像映射关系；
步骤5、基于光学成像采集设备和深度成像采集设备获取同一时间地点的光学图像和深度图像；
步骤6、判断是否存在预设的指定对象特征集，若存在则执行步骤7；否则执行步骤8；
步骤7、基于预设的指定对象特征集，使用实例分割网络提取光学图像中指定对象的像素坐标，若未检测到指定对象则返回步骤5；否则输出提取的像素坐标，同时利用提取时识别的指定对象的特征更新预设的指定对象特征集，并执行步骤9；
步骤8、使用实例分割网络提取光学图像中所有对象的像素坐标输出，并执行步骤9；
步骤9、根据同一时间地点采集的深度图像以及所述图像映射关系，得到像素坐标对应的距离信息，输出所提取对象的结合像素坐标和距离信息的相对于深度成像采集设备的图像坐标；
步骤10、根据所述深度成像采集设备的外参，对图像坐标进行坐标变换，得到所提取对象在硬件坐标系下的相对坐标；
步骤11、判断是否存在先验地图，若存在则根据先验地图、相对坐标以及硬件载体在先验地图中的位姿，计算得到在世界坐标系下的目标位姿作为本次目...

【专利技术属性】
技术研发人员：舒元昊，屠逸男，刘倚剑，林兴萍，赵佐权，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：浙江;33