目标对象状态的确定方法、装置、存储介质及电子装置制造方法及图纸

本发明专利技术提供了一种目标对象状态的确定方法、装置、存储介质及电子装置，其中，该方法包括：利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；确定所述对齐信息中包括的目标对象的对齐信息；基于所述目标对象的对齐信息确定所述目标对象的状态。通过本发明专利技术，解决了相关技术中存在的无法得到图像的深度信息的问题，进而达到有效确定图像的深度信息，进而得到目标对象的状态的效果。而得到目标对象的状态的效果。而得到目标对象的状态的效果。

【技术实现步骤摘要】
目标对象状态的确定方法、装置、存储介质及电子装置


[0001]本专利技术涉及通信领域，具体而言，涉及一种目标对象状态的确定方法、装置、存储介质及电子装置。

技术介绍

[0002]图像多目标识别与追踪(Detection&Multi-Object Tracking)作为机器视觉方向上的两大经典课题，近年来得益于深度学习的广泛且有效的运用，两个课题都得到了较大的进步。
[0003]但是在相关技术中，由于相机成像原理的物理限制，无法得到图像的深度信息。
[0004]针对相关技术中存在的无法得到图像的深度信息的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种目标对象状态的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的无法得到图像的深度信息的问题。
[0006]根据本专利技术的一个实施例，提供了一种目标对象状态的确定方法，包括：利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；确定所述对齐信息中包括的目标对象的对齐信息；基于所述目标对象的对齐信息确定所述目标对象的状态。
[0007]根据本专利技术的另一个实施例，提供了一种目标对象状态的确定装置，包括：获取模块，用于利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；对齐模块，用于将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；第一确定模块，用于确定所述对齐信息中包括的目标对象的对齐信息；第二确定模块，用于基于所述目标对象的对齐信息确定所述目标对象的状态。
[0008]根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法实施例中的步骤。
[0009]根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法实施例中的步骤。
[0010]通过本专利技术，在得到的对齐信息中包括了目标场景的图像信息以及激光点云信息，通过激光点云信息可以确定图像信息中包括的各个对象的深度信息，进而可以确定目标对象的深度信息，以及目标对象的状态。有效解决相关技术中存在的无法得到图像的深度信息的问题，进而达到有效确定图像的深度信息，进而得到目标对象的状态的效果。
附图说明
[0011]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0012]图1是本专利技术实施例的一种目标对象状态的确定方法的移动设备的硬件结构框图；
[0013]图2是根据本专利技术实施例的目标对象状态的确定方法流程图；
[0014]图3是根据本专利技术实施例的激光点云鸟瞰示意图以及激光点云与图像信息对齐后的图像示意图；
[0015]图4是根据本专利技术实施例的检测和追踪信息与图像信息的融合示意图；
[0016]图5是根据本专利技术实施例的激光点云筛选结果示意图；
[0017]图6是根据本专利技术实施例的目标对象状态的确定装置的结构框图。
具体实施方式
[0018]下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0019]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0020]在相关技术中，常见的多目标识别与追踪算法分为如下几个步骤：通过图像识别模型，例如，检测器，得到当前一帧中的每个目标的像素坐标P，再将这些像素坐标P传入轨迹追踪模型，例如，追踪器中，与轨迹追踪模型中的每个保存的轨迹T进行比对，通过计算余弦距离和协方差矩阵，给出最为优化的匹配结果，即，为每个目标匹配对应的轨迹，并将当前帧的信息保存进追踪器中，作为下一帧的比对信息。
[0021]但是，由于相关技术中相机成像原理的物理限制，无法得到各个目标的状态信息，例如，对应于各个目标的轨迹的速度、方向、空间位置信息等。
[0022]为了解决上述问题，在本专利技术实施例中提出了确定目标对象的状态方案，下面结合实施例对本专利技术进行说明：
[0023]本申请所提供的方法实施例可以在移动设备，例如，移动机器人，具备自主移动能力的运输车或者类似的设备中执行。图1是本专利技术实施例的一种目标对象状态的确定方法的移动设备的硬件结构框图。如图1所示，移动设备10可以包括一个或多个，其中，图1中仅示出一个，处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置，可选地，上述移动设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动设备的结构造成限定。例如，移动设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0024]存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的目标对象状态的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理
器102远程设置的存储器，这些远程存储器可以通过网络连接至移动设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0025]传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
[0026]图2是根据本专利技术实施例的目标对象状态的确定方法流程图，如图2所示，该流程包括如下步骤：
[0027]步骤S202，利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；
[0028]步骤S204，将所述图像信息和所述激光点云信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标对象状态的确定方法，其特征在于，包括：利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；确定所述对齐信息中包括的目标对象的对齐信息；基于所述目标对象的对齐信息确定所述目标对象的状态。2.根据权利要求1所述的方法，其特征在于，在将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息之前，所述方法还包括：确定当前帧图像信息中所包括的所述目标对象的坐标信息；将所述坐标信息与预先确定的轨迹信息进行匹配，以得到所述目标对象的轨迹信息，其中，所述预先确定的轨迹信息为基于所述当前帧图像信息之前的帧图像信息中所包括的所述目标对象的坐标信息所确定的；基于所述目标对象的对齐信息确定所述目标对象的状态包括：基于所述目标对象的对齐信息和所述目标对象的轨迹信息确定所述目标对象的状态。3.根据权利要求2所述的方法，其特征在于，确定当前帧图像信息中所包括的所述目标对象的坐标信息包括：为所述目标对象配置用于标识所述目标对象的标识框；将所述标识框的坐标信息确定为所述目标对象的坐标信息。4.根据权利要求1所述的方法，其特征在于，在将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息之前，所述方法还包括：在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框；确定所述对齐信息中包括的目标对象的对齐信息包括：确定所述标识框中所包含的激光点云信息；从所述标识框中所包含的激光点云信息中确定出目标激光点云信息，并将所述目标激光点云信息确定为所述目标对象的对齐信息中所包括的激光点云信息，其中...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：纳恩博北京科技有限公司，
类型：发明
国别省市：