图像跟踪方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种图像跟踪方法、装置、设备及介质，该方法包括：获取多帧点云数据，以及与各帧点云数据同一时刻采集到的图像数据；基于预设模型分别对每帧点云数据进行标注处理，得到每帧点云数据上的第一标注信息；基于点云坐标系和图像坐标系之间的坐标转换关系，将点云数据上的第一标注信息映射到与所述点云数据同一时刻采集的图像数据上，得到标注后的目标图像数据；基于多个目标图像数据上的标注信息，对所述多个目标图像数据上的同一对象进行跟踪处理，得到跟踪结果，能够提高图像跟踪结果的准确度。果的准确度。果的准确度。

【技术实现步骤摘要】
图像跟踪方法、装置、设备及存储介质


[0001]本公开涉及计算机视觉领域，尤其涉及一种图像跟踪方法、装置、设备及存储介质。

技术介绍

[0002]图像跟踪是一种对图像中的目标对象进行跟踪，得到其运动状态的技术，在智能视频监控、机器人视觉导航、自动驾驶等多个领域中，图像跟踪技术具有重要的意义。因此，如何进行图像跟踪，提高图像跟踪的准确度是需要解决的技术问题。

技术实现思路

[0003]为了解决上述技术问题，本公开提供了一种图像跟踪方法、装置、设备及存储介质。
[0004]本公开实施例的第一方面提供了一种图像跟踪方法，该方法包括：
[0005]获取多帧点云数据，以及与各帧点云数据同一时刻采集到的图像数据；
[0006]基于预设模型分别对每帧点云数据进行标注处理，得到每帧点云数据上的第一标注信息；
[0007]基于点云坐标系和图像坐标系之间的坐标转换关系，将点云数据上的第一标注信息映射到与所述点云数据同一时刻采集的图像数据上，得到标注后的目标图像数据；
[0008]基于多个目标图像数据上的标注信息，对所述多个目标图像数据上的同一对象进行跟踪处理，得到跟踪结果。
[0009]本公开实施例的第二方面提供了一种图像跟踪装置，该装置包括：
[0010]获取模块，用于获取多帧点云数据，以及与各帧点云数据同一时刻采集到的图像数据；
[0011]标注模块，用于基于预设模型分别对每帧点云数据进行标注处理，得到每帧点云数据上的第一标注信息；
[0012]映射模块，用于基于点云坐标系和图像坐标系之间的坐标转换关系，将点云数据上的第一标注信息映射到与所述点云数据同一时刻采集的图像数据上，得到标注后的目标图像数据；
[0013]跟踪模块，用于基于多个目标图像数据上的标注信息，对所述多个目标图像数据上的同一对象进行跟踪处理，得到跟踪结果。
[0014]本公开实施例的第三方面提供了一种计算机设备，包括存储器和处理器，以及计算机程序，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，实现如上述第一方面的图像跟踪方法。
[0015]本公开实施例的第四方面提供了一种计算机可读存储介质，存储介质中存储有计算机程序，当计算机程序被处理器执行时，实现如上述第一方面的图像跟踪方法。
[0016]本公开实施例提供的技术方案与现有技术相比具有如下优点：
[0017]在本公开实施例提供的图像跟踪方法、装置、设备及介质中，通过预设模型对多帧点云数据进行标注处理，得到每帧点云数据上的第一标注信息，再基于点云坐标系和图像坐标系之间的坐标转换关系，将点云数据中的第一标注信息映射到与点云数据同一时刻采集到的图像数据上，得到标注后的目标图像数据，进而基于多个目标图像数据上的标注信息，即可实现对多个目标图像数据上的同一对象的跟踪，提高了图像跟踪的准确度。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0019]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本公开实施例提供的一种图像跟踪方法的流程图；
[0021]图2是本公开实施例提供的一种校正标注信息方法的流程图；
[0022]图3是本公开实施例提供的一种将点云数据的标注信息映射到图像数据中方法的流程图；
[0023]图4是本公开实施例提供的一种去除图像数据的畸变方法的流程图；
[0024]图5是本公开实施例提供的一种在点云数据中添加畸变方法的流程图；
[0025]图6是本公开实施例提供的一种图像跟踪装置的结构示意图；
[0026]图7是本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0027]为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
[0028]在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
[0029]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0030]需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0031]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域
技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0032]图1是本公开实施例提供的一种图像跟踪方法的流程图，该方法可以由一种图像跟踪装置执行。如图1所示，本实施例提供的图像跟踪方法包括如下步骤：
[0033]S101、获取多帧点云数据，以及与各帧点云数据同一时刻采集到的图像数据。
[0034]本公开实施例中的点云数据可以理解为在同一空间参考系下，获取物体表面每个采样点的空间坐标后，表达物体空间分布的三维点的集合，本公开实施例中的点云数据是体现待标注的目标物体空间分布的三维点的集合。
[0035]本公开实施例中的图像数据可以理解为相机对待标注的目标物体进行拍摄得到的二维图像数据。其中，目标物体可以根据需要预先设定，例如车辆，树木，建筑，在此不作限制。
[0036]本公开实施例中，点云数据可以是通过雷达采集得到的，比如，在本公开实施例的一种示例性的实施方式中，点云数据可以通过全向激光雷达(Light Detection And Ranging，LIDAR)对周围环境进行点云采集得到。
[0037]本公开实施例中的图像数据可以通过拍摄设备，比如相机等，采集得到。
[0038]在本公开实施例的一种示例性的实施方式中，图像跟踪装置获取到的多帧点云数据以及多帧图像数据中可以包括时间戳的信息，进而根据时间戳可以确定得到同一时刻采集的点云数据和图像数据。
...

【技术保护点】

【技术特征摘要】
1.一种图像跟踪方法，其特征在于，包括：获取多帧点云数据，以及与各帧点云数据同一时刻采集到的图像数据；基于预设模型分别对每帧点云数据进行标注处理，得到每帧点云数据上的第一标注信息；基于点云坐标系和图像坐标系之间的坐标转换关系，将点云数据上的第一标注信息映射到与所述点云数据同一时刻采集的图像数据上，得到标注后的目标图像数据；基于多个目标图像数据上的标注信息，对所述多个目标图像数据上的同一对象进行跟踪处理，得到跟踪结果。2.根据权利要求1所述的方法，其特征在于，所述基于多个目标图像数据上的标注信息，对所述多个目标图像数据上的同一对象进行跟踪处理，得到跟踪结果之前，所述方法还包括：对标注得到的多个目标图像数据进行显示；响应于接收到用户的校正指令，对至少部分目标图像数据上的标注信息进行校正。3.根据权利要求1或2所述的方法，其特征在于，所述基于点云坐标系和图像坐标系之间的坐标转换关系，将点云数据上的第一标注信息映射到与所述点云数据同一时刻采集的图像数据上，得到标注后的目标图像数据，包括；根据点云坐标系与相机坐标系之间的第一转换关系，将所述点云数据上的第一标注信息转换到所述相机坐标系，得到第二标注信息；基于相机坐标系与图像坐标系之间的第二转换关系，将所述第二标注信息映射到与所述点云数据同一时刻采集的图像数据上，得到标注后的目标图像数据。4.根据权利要求3所述的方法，其特征在于，所述根据点云坐标系与相机坐标系之间的第一转换关系，将所述点云数据上的第一标注信息转换到所述相机坐标系，得到第二标注信息之前，所述方法还包括：获取与所述点云数据同一时刻采集的图像数据的畸变参数；基于所述畸变参数，对所述图像数据进行去畸变处理；所述将所述第二标注信息映射到与所述点云数据同一时刻采集的图像数据上，得到标注后的目标图像数据之后，还包括：基于所述畸变参数，在所述目标图像数据上添加畸变。5.根据权利要求3所述的方法，其特征在于，所述根据点云坐标系与相机坐标系之间的第一转换关系，将所述点云数据上的第一标注信息转换到所述相机坐标系，得到第二标注信息之前，所述方法还包括：获取与所述点云数据同一时刻采集的图像数据的畸变参数；基于所述畸变参数，在所述点云数据中添加畸变。6.一种图像跟踪装置，其特征在于...

【专利技术属性】
技术研发人员：冯宗宝，朱道杰，刘艺博，杨飘，李昂，张亚州，秦彩红，范京琛，贾鹏，
申请(专利权)人：北京车和家信息技术有限公司，
类型：发明
国别省市：