物体关联方法、装置、设备和介质制造方法及图纸

本申请实施例公开了一种物体关联方法、装置、设备和介质，涉及数据处理领域，尤其涉及计算机视觉领域，可以用于无人驾驶领域。具体实现方案为：根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示；根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关。本申请实施例提供了一种物体关联方法、装置、设备和介质，提高了物体关联的准确率。

Object correlation methods, devices, equipment and media

【技术实现步骤摘要】
物体关联方法、装置、设备和介质
本申请实施例涉及数据处理领域，尤其涉及计算机视觉领域，可以用于无人驾驶领域。具体地，本申请实施例提供了一种物体关联方法、装置、设备和介质。
技术介绍
随着计算机视觉技术的发展，多目标跟踪在视频监控领域以及无人驾驶领域中得到的越来越广泛的应用。在实际场景中，多相机多目标跟踪的应用最为广泛，而目标关联则是每个多相机多目标跟踪算法必须解决的问题。传统的解决方法主要有三种：(1)基于跟踪结果的信息，计算候选匹配对之间障碍物的位置，速度和加速度信息的差值。如果所有差值均小于设定的差值阈值，则判断两候选匹配对关联成功。(2)基于外观的特征的方法，这种方法比较两个目标之间图像的相似性或者图像的特征图之间的相似性，当相似性大于一定阈值的时候，认为两者是可以关联上的(3)同时利用跟踪的信息和外观的信息，对两种信息进行加权，将加权和与阈值相比较，判断两目标之间是否可以关联上。上述三种方案使用场景有所不同，所带来的问题和不足也有所不同：方案(1)应用场景对于定位跟踪信息的精度要求较高，无法完全按照地址进行计算，所以需要阈值。但阈值的选定要求很高。方案(2)因为在路上很容易出现两款外观接近的车在同一条道路上行驶，这个时候如果不增加候选匹配的位置信息很容易出现无匹配的情况。方案(3)可以很有效解决上述方案(1)和(2)的问题，但是加权和阈值都是通过主观的经验进行设定的，对于不同的场景没有一种通用的办法可以快速的得到一组阈值；同时手工设定的阈值很有可能找不到判定关联的全局最优解，所以在一定程度上限制了算法的性能。
技术实现思路
本申请实施例提供了一种物体关联方法、装置、设备和介质，以提高物体关联的准确率。本申请实施例提供了一种物体关联方法，该方法包括：根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示；根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关。本申请实施例可以实现如下技术效果：通过根据物体的图像数据和非图像数据，确定物体的特征表示；根据物体的特征表示，确定待匹配物体对中物体是否相关，从而实现物体的关联。相比分别确定物体的图像数据相关度和非图像数据相关度，基于融合权值，对确定的图像数据相关度和非图像数据相关度进行加权融合，确定待匹配物体中物体是否相关。本申请实施例省去了加权融合的过程，也就避免了融合权值的应用。因为融合权值的确定中引入有主观因素，所以本申请避免了加权融合过程中引入的主观因素的影响，进而提高物体关联的准确率。进一步地，所述根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示，包括：确定所述图像数据的图像特征表示和所述非图像数据的非图像特征表示；拼接所述图像特征表示和所述非图像特征表示；根据拼接结果确定所述物体的特征表示。基于该技术特征，本申请实施例可以实现如下效果：通过确定所述图像数据的图像特征表示和所述非图像数据的非图像特征表示；拼接所述图像特征表示和所述非图像特征表示；根据拼接结果确定所述物体的特征表示，从而使得确定出的物体的特征表示中既包括有物体的图像特征，又包括有物体的非图像特征。也即实现对物体相对全面的表示。进一步地，所述确定所述图像数据的图像特征表示，包括：提取所述图像数据的图像语义特征；将所述图像语义特征转换为所述图像特征表示。基于该技术特征，本申请实施例可以实现如下效果：通过提取所述图像数据的图像语义特征；将所述图像语义特征转换为所述图像特征表示，从而实现对表示有图像语义特征的图像特征表示的确定。进一步地，所述根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关，包括：将所述待匹配物体对中一个物体的特征表示，输入孪生网络中的一个网络，将所述待匹配物体中另一个物体的特征表示，输入所述孪生网络中的另一个网络，其中所述孪生网络中两个网络的网络结构相同，网络参数共享；根据所述孪生网络的输出结果，确定所述待匹配物体对中物体是否相关。基于该技术特征，本申请实施例可以实现如下效果：通过将待匹配物体对中两物体的特征表示分别输入孪生网络中的两个网络结构，利用孪生网络中两个网络结构分别表征待匹配物体对中的两物体，然后通过曼哈顿距离、欧式距离和余弦相似度等来度量待匹配物体对中两物体之间的空间相似度，从而实现对待匹配物体对中物体的准确关联。进一步地，所述非图像数据包括：位置信息、速度信息、加速度信息、尺寸信息，以及采集物体图像的相机参数中的至少一种。基于该技术特征，本申请实施例可以实现如下效果：通过融入多个维度的信息，从而实现从较为全面的角度对待匹配物体对中物体是否相关进行判断，进而提高物体相关判断的准确率。本申请实施例还提供了一种物体关联装置，该装置包括：特征表示确定模块，用于根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示；相关确定模块，用于根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关。进一步地，所述特征表示确定模块，包括：第一确定单元，用于确定所述图像数据的图像特征表示和所述非图像数据的非图像特征表示；特征拼接单元，用于拼接所述图像特征表示和所述非图像特征表示；第二确定单元，用于根据拼接结果确定所述物体的特征表示。进一步地，所述第一确定单元，具体用于：提取所述图像数据的图像语义特征；将所述图像语义特征转换为所述图像特征表示。进一步地，所述相关确定模块，包括：特征输入单元，用于将所述待匹配物体对中一个物体的特征表示，输入孪生网络中的一个网络，将所述待匹配物体中另一个物体的特征表示，输入所述孪生网络中的另一个网络，其中所述孪生网络中两个网络的网络结构相同，网络参数共享；相关确定单元，用于根据所述孪生网络的输出结果，确定所述待匹配物体对中物体是否相关。进一步地，所述非图像数据包括：位置信息、速度信息、加速度信息、尺寸信息，以及采集物体图像的相机参数中的至少一种。本申请实施例还提供了一种电子设备，所述设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请第一实施例提供的一种物体关联方法的流程图；图2是本申请第二实施例提供的一种物体关联方法的流程图；图3是本申请第三实施例提供的一种物体关联方法的流程图；图4是本申请第四实施例提供本文档来自技高网...

【技术保护点】
1.一种物体关联方法，其特征在于，包括：/n根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示；/n根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关。/n

【技术特征摘要】
1.一种物体关联方法，其特征在于，包括：
根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示；
根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关。


2.根据权利要求1所述的方法，其特征在于，所述根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示，包括：
确定所述图像数据的图像特征表示和所述非图像数据的非图像特征表示；
拼接所述图像特征表示和所述非图像特征表示；
根据拼接结果确定所述物体的特征表示。


3.根据权利要求2所述的方法，其特征在于，所述确定所述图像数据的图像特征表示，包括：
提取所述图像数据的图像语义特征；
将所述图像语义特征转换为所述图像特征表示。


4.根据权利要求1所述的方法，其特征在于，所述根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关，包括：
将所述待匹配物体对中一个物体的特征表示，输入孪生网络中的一个网络，将所述待匹配物体中另一个物体的特征表示，输入所述孪生网络中的另一个网络，其中所述孪生网络中两个网络的网络结构相同，网络权值相同；
根据所述孪生网络的输出结果，确定所述待匹配物体对中物体是否相关。


5.根据权利要求1所述的方法，其特征在于，所述非图像数据包括：位置信息、速度信息、加速度信息、尺寸信息，以及采集物体图像的相机参数中的至少一种。


6.一种物体关联装置，其特征在于，包括：
特征表示确定模块，用于根据待匹配物体对中物体的图像数据和非图像数据，确定所述物体的特征表示；
相关确定模块，用于根据所述物体的特征表示，确定所述待匹配物体对中物体是否相关。

【专利技术属性】
技术研发人员：曹获，刘博，胡星，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11