跨模态跨层级目标关联方法、装置、电子设备及介质制造方法及图纸

本申请涉及一种跨模态跨层级目标关联方法、装置、电子设备及介质，属于传感器数据融合领域。包括：采集视觉数据和雷达数据并进行预处理；将预处理后的雷达数据中的雷达观测目标的位置坐标转换为对应的像素坐标；根据雷达观测目标对应的像素坐标获取能够投影到视觉数据中的目标检测框内的第一雷达观测目标；计算各第一雷达观测目标对应的像素坐标与目标检测框的像素距离；将雷达数据中的雷达观测目标和视觉数据中的视觉观测目标与跟踪目标进行关联；筛选出已关联视觉观测目标，未关联雷达观测目标的第一跟踪目标；计算各第一雷达观测目标到本车的相对距离；确定相对距离以及像素距离同时最小的雷达观测目标为对应的第一跟踪目标的关联目标。踪目标的关联目标。踪目标的关联目标。

【技术实现步骤摘要】
跨模态跨层级目标关联方法、装置、电子设备及介质


[0001]本申请涉及传感器数据融合
，具体涉及多源异构传感器目标匹配领域，尤其涉及一种跨模态跨层级目标关联方法、一种跨模态跨层级目标关联装置、一种电子设备以及一种计算机可读存储介质。

技术介绍

[0002]目标数据关联技术是多传感器目标跟踪与信息融合系统中的关键技术之一，其目的主要是实现帧与帧之间多个目标的匹配，其中包含新目标的出生，旧目标的死亡，以及历史帧与当前帧目标ID的匹配。
[0003]目前数据关联算法较为常见的有最近邻算法，概率数据关联算法，联合概率数据关联算法等方法。其中基于目标属性信息的目标关联方法是最为成熟的关联方法。但基于目标属性信息的关联方法对异构传感器输出目标属性相近性要求很高，如果这个条件不能满足，则基于目标属性信息的关联方法将无法实现对异构传感器输出同一目标属性偏差大的关联。对于一个智能驾驶汽车系统，由于其部署了视觉，长矩毫米波雷达，短矩毫米波雷达，超声波雷达等不同类型的传感器，且这些传感器受到外部环境干扰情况，传感器的工作原理等都不尽相同，这就很难保证不同类型传感器观测得到的同一目标的属性相近性。
[0004]传统方法中，为了实现多源异构传感器目标匹配需要进行复杂的运算，整体效率和准确率较低，影响目标跟踪的准确性和及时性。

技术实现思路

[0005]本申请的目的之一在于提供一种跨模态跨层级目标关联方法，以解决现有技术中目标关联整体效率和准确率较低的问题；目的之二在于提供一种跨模态跨层级目标关联装置，目的之三在于提供一种电子设备，目的之四在于提供一种计算机可读存储介质。
[0006]为了实现上述目的，本申请采用的技术方案如下：
[0007]一种跨模态跨层级目标关联方法，所述方法包括：
[0008]采集目标场景内的视觉数据和雷达数据；
[0009]对视觉数据和雷达数据进行预处理；
[0010]将预处理后的雷达数据中的雷达观测目标的位置坐标转换为在图像坐标系中对应的像素坐标；
[0011]根据雷达观测目标对应的像素坐标获取能够投影到视觉数据中的目标检测框内的第一雷达观测目标；
[0012]计算各第一雷达观测目标对应的像素坐标与视觉数据中的目标检测框的像素距离；
[0013]将预处理后的雷达数据中的雷达观测目标和预处理后的视觉数据中的视觉观测目标与跟踪目标进行关联；
[0014]筛选出已关联视觉观测目标，未关联雷达观测目标的第一跟踪目标；
[0015]计算各第一雷达观测目标到本车的相对距离；
[0016]确定相对距离以及像素距离同时最小的雷达观测目标为对应的第一跟踪目标的关联目标。
[0017]根据上述技术手段，通过对视觉数据和雷达数据进行预处理剔除干扰数据，以使后续目标关联数据准确度更高，效率更高；通过将雷达观测目标投影到视觉数据中的目标检测框内，在后续对未关联的第一跟踪目标进行处理时，能够快速确定对应的关联目标，进一步提升关联效率。
[0018]在本申请实施例中，对视觉数据和雷达数据进行预处理，包括：
[0019]过滤视觉数据中位于视觉数据采集设备的视场范围外的目标和目标编码为0的目标；
[0020]过滤雷达数据中位于雷达数据采集设备的视场范围外的目标，和离地高度大于预设高度、障碍物概率小于预设阈值的静止目标。
[0021]目标编码为0的目标属于不符合跟踪目标条件，不属于跟踪目标的观测目标，通过上述技术手段，可以剔除实际采集数据中与数据采集设备的标准视场范围不相符的部分数据，同时，对视觉数据的处理可以剔除不需要跟踪的目标，对雷达数据的处理可以剔除对智能驾驶不会造成影响的目标；有效防止后续处理中匝道的护栏目标或者隧道内的雷达观测目标投影到目标检测框内，造成目标的误关联，同时提升后续关联效率。
[0022]在本申请实施例中，将预处理后的雷达数据中的雷达观测目标的位置坐标转换为在图像坐标系中对应的像素坐标，包括：
[0023]根据针孔相机模型，将位于雷达坐标系中的雷达观测目标的位置坐标转换到相机坐标系中；
[0024]根据相机成像原理，将转换到相机坐标系中的雷达观测目标的位置坐标转换到图像坐标系中，得到雷达观测目标的位置坐标在图像坐标系中对应的像素坐标。
[0025]通过上述技术手段将采集的不同坐标系中的数据投影到同一坐标系中，有利于提升后续目标关联的处理效率。
[0026]在本申请实施例中，根据雷达观测目标对应的像素坐标获取能够投影到视觉数据中的目标检测框内的第一雷达观测目标，包括：
[0027]根据视觉数据中的目标检测框以及预设范围参数确定雷达观测目标对应的投影范围；
[0028]若所述雷达观测目标对应的像素坐标在投影范围内，则所述雷达观测目标属于第一雷达观测目标。
[0029]通过上述技术手段，确定得到与视觉数据中的目标检测框所对应的第一雷达观测目标，筛除会影响后续关联效果的雷达观测目标，提升目标关联准确率。
[0030]在本申请实施例中，所述预设范围参数包括横轴预设范围参数X和纵轴预设范围参数Y；
[0031]根据下式判断所述雷达观测目标对应的像素坐标是否在投影范围内：
[0032][0033]其中，u
r
是雷达观测目标对应的横轴像素坐标；v
r
是雷达观测目标对应的纵轴像素坐标；u
lt
是目标检测框左上顶点横轴像素坐标；v
lt
是目标检测框左上顶点纵轴像素坐标；u
rb
是目标检测框右下顶点横轴像素坐标；v
rb
是目标检测框右下顶点纵轴像素坐标。
[0034]通过上述技术手段，根据视觉数据采集设备以及雷达数据采集设备进行投影转换的固有参数，实现对投影范围外的雷达观测目标的剔除，减少后续关联处理的数据量，提升效率和准确度。
[0035]在本申请实施例中，将预处理后的雷达数据中的雷达观测目标和预处理后的视觉数据中的视觉观测目标与跟踪目标进行关联，包括：
[0036]计算视觉数据中各视觉观测目标的纵横向距离与跟踪目标的纵横向距离之间的第一马氏距离；
[0037]计算视觉数据中各视觉观测目标的纵横向速度与跟踪目标的纵横向速度之间的第二马氏距离；
[0038]计算雷达数据中的雷达观测目标的纵横向距离与跟踪目标的纵横向距离之间的第三马氏距离；
[0039]计算雷达数据中的雷达观测目标的纵横向速度与跟踪目标的纵横向速度之间的第四马氏距离；
[0040]基于椭圆关联门，使用第一马氏距离和第二马氏距离之间的关联关系以及第三马氏距离和第四马氏距离之间的关联关系，分别进行视觉观测目标与跟踪目标以及雷达观测目标与跟踪目标的关联。
[0041]通过上述技术手段，基于视觉观测目标和雷达观测目标的属性参数计算马氏距离，从而实现雷达观测目标和视觉观测目标与跟踪目标的关联。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态跨层级目标关联方法，其特征在于，所述方法包括：采集目标场景内的视觉数据和雷达数据；对视觉数据和雷达数据进行预处理；将预处理后的雷达数据中的雷达观测目标的位置坐标转换为在图像坐标系中对应的像素坐标；根据雷达观测目标对应的像素坐标获取能够投影到视觉数据中的目标检测框内的第一雷达观测目标；计算各第一雷达观测目标对应的像素坐标与视觉数据中的目标检测框的像素距离；将预处理后的雷达数据中的雷达观测目标和预处理后的视觉数据中的视觉观测目标与跟踪目标进行关联；筛选出已关联视觉观测目标且未关联雷达观测目标的第一跟踪目标；计算各第一雷达观测目标到本车的相对距离；确定相对距离以及像素距离同时最小的雷达观测目标为对应的第一跟踪目标的关联目标。2.根据权利要求1所述的跨模态跨层级目标关联方法，其特征在于，对视觉数据和雷达数据进行预处理，包括：过滤视觉数据中位于视觉数据采集设备的视场范围外的目标和目标编码为0的目标；过滤雷达数据中位于雷达数据采集设备的视场范围外的目标，和离地高度大于预设高度、障碍物概率小于预设阈值的静止目标。3.根据权利要求1所述的跨模态跨层级目标关联方法，其特征在于，将预处理后的雷达数据中的雷达观测目标的位置坐标转换为在图像坐标系中对应的像素坐标，包括：根据针孔相机模型，将位于雷达坐标系中的雷达观测目标的位置坐标转换到相机坐标系中；根据相机成像原理，将转换到相机坐标系中的雷达观测目标的位置坐标转换到图像坐标系中，得到雷达观测目标的位置坐标在图像坐标系中对应的像素坐标。4.根据权利要求1所述的跨模态跨层级目标关联方法，其特征在于，根据雷达观测目标对应的像素坐标获取能够投影到视觉数据中的目标检测框内的第一雷达观测目标，包括：根据视觉数据中的目标检测框以及预设范围参数确定雷达观测目标对应的投影范围；若所述雷达观测目标对应的像素坐标在投影范围内，则所述雷达观测目标属于第一雷达观测目标。5.根据权利要求4所述的跨模态跨层级目标关联方法，其特征在于，所述预设范围参数包括横轴预设范围参数X和纵轴预设范围参数Y；根据下式判断所述雷达观测目标对应的像素坐标是否在投影范围内：
其中，u
r
是雷达观测目标对应的横轴像素坐标；v
r
是雷达观测目标对应的纵轴像素坐标；u
lt
是目标检测框左上顶点横轴像素坐标；v
lt
是目标检测框左上顶点纵轴像素坐标；u
rb
是目标检测框右下顶点横轴像素坐标；v
rb
是目标检测框右下顶点纵轴像素坐标。6.根据权利要求1所述的跨模态跨层级目标关联方法，其特征在于，将预处理后的雷达数据中的雷达观测目标和预处理后的视觉数据中的视觉观测目标与跟踪目标进行关联，包括：计算视觉数据中各视觉观测目标的纵横向距离与跟踪目标的纵横向距离之间的第一马氏距离；计算视觉数据中各视觉观测目标的纵横向速度与跟踪目标的纵横向速度之间的第二马氏距离；计算雷达数据中的雷达观测目标的纵横向距离与跟踪目标的纵横向距离之间的第三马氏距离；计算雷达数据中的雷达观测目标的纵横向速度与跟踪目标的纵横向速度之间的第四马氏...

【专利技术属性】
技术研发人员：熊新立，谢槟阳，陈剑斌，谭余，万凯林，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：