一种雷达数据和相机数据融合方法及系统技术方案

本发明专利技术公开一种雷达数据和相机数据融合方法及系统，涉及路口智能车辆管理领域，包括：通过将目标点对应的雷达坐标和相机坐标转换到透视变换后的坐标系，然后采用密集目标和稀疏目标分离的匹配算法在透视变换后的坐标系下对雷达数据与相机数据进行融合，由于透视变换后的坐标系为经过相机畸变校正后的平面，可以减少数据匹配的误差，同时密集目标算法与雷达的能量相关，可以提高雷达数据与相机数据匹配的正确率，并且稀疏目标匹配算法可以进一步减小相机抖动误差的影响，进而进一步提升雷达数据与相机数据匹配的正确率。数据与相机数据匹配的正确率。数据与相机数据匹配的正确率。

【技术实现步骤摘要】
一种雷达数据和相机数据融合方法及系统


[0001]本专利技术涉及路口智能车辆管理领域，特别涉及一种雷达数据和相机数据融合方法及系统。

技术介绍

[0002]随着城市汽车数量的不断增加，路况也越发复杂，尤其是在各种路口区域，车辆、非机动车、行人等汇聚在一起，因此通常通过雷达结合相机的方式对多个路口的车辆目标进行跟踪与检测。为了能够更好地将雷达采集的目标点的数据与相机采集到的目标点的数据相结合，通常会对各个路口跟踪的同一目标的数据进行融合。
[0003]目前在进行同一目标的雷达数据和相机数据进行融合时，通常是在像素坐标系中通过雷达坐标筛选出感兴趣区域，再采用R
‑
CNN算法对车辆进行检测识别；然而由于在对感兴趣的像素区域采用R
‑
CNN算法进行检测时，如果目标比较密集会出现目标误检测，同时由于该神经网络算法运算量大、实时性低，因此对设备的硬件条件要求较高、实现难度较大。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种雷达数据和相机数据融合方法及系统，可以解决现有的雷达数据和相机数据进行融合时的实现难度较大、硬件成本较高的问题。
[0005]为实现上述目的，一方面，本专利技术提供一种雷达数据和相机数据融合方法，所述方法包括：
[0006]将目标点对应的雷达坐标和相机坐标转换到透视变换后的坐标系；
[0007]根据透视变换后的坐标系中各个目标点对应的相机坐标，获取预置相机坐标框内重叠的相机目标串；
[0008]根据所述重叠的相机目标串对应的区域，从所述透视变换后的坐标系中各个目标点对应的雷达坐标中获取位于所述区域的雷达目标点；
[0009]对所述重叠的相机目标串和位于所述区域的雷达目标点进行预置密集目标数据关联；
[0010]对密集目标数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框内数据关联；
[0011]对密集预置稀疏目标的相机框内数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框外数据关联。
[0012]进一步地，所述将目标点对应的雷达坐标转换到透视变换后的坐标系的步骤包括：
[0013]根据公式Xr＝(XR+edgeW)/MPPW和Yr＝H
‑
(YR
‑
edgeH)/MPPH将目标点对应的雷达坐标转换到透视变换后的坐标系，其中，XR、YR为雷达目标点在 XY真实坐标系下的坐标，Xr、Yr为雷达目标点在透视变换后的坐标系的坐标，H是透视变换图像高度，edgeH是相机坐标系纵向距离，edgeW是相机坐标系横向距离，MPPH为相机坐标系中x方向上每个像素所代
表的真实距离，MPPW为相机坐标系中y方向上每个像素所代表的真实距离。
[0014]进一步地，所述将目标点对应的相机坐标转换到透视变换后的坐标系的步骤包括：
[0015]根据公式c＝[YC Xc 1]、cut＝c
·
fa、将目标点对应的相机坐标转换到透视变换后的坐标系，其中，XC、YC为相机目标点在原始坐标系下的坐标，Xc、Yc为相机目标点在透视变换后的坐标系下的坐标，fa为透视变换矩阵，c是原始坐标向量，cut是俯视变换向。
[0016]进一步地，所述根据透视变换后的坐标系中各个目标点对应的相机坐标，获取预置相机坐标框内重叠的相机目标串的步骤包括：
[0017]将所有相机目标点按斜距升序排序；
[0018]若在预置门限内存在除第一相机目标点外新的相机目标点，则将此点和中心点划分成同一类别，所述预置门限为以升序排序中第一个相机目标点为中心点划分成的长方形门限；
[0019]判断所述预置门限内是否存在其他新的相机目标点；
[0020]若存在，则将所述其他新的相机目标点作为中心点；
[0021]若不存在，将所有同类别点划分为预置相机坐标框内重叠的相机目标串。
[0022]进一步地，所述对所述重叠的相机目标串和位于所述区域的雷达目标点进行预置密集目标数据关联的步骤包括：
[0023]将所述重叠的相机目标串中每个相机框进行第一预置幅度放大，并对相机目标点按斜距升序排序，得到新的相机框数据；
[0024]从所述新的相机框数据中最后一个相机框开始向前循环，若存在多个雷达目标点位于所述新的相机框内，则获取雷达目标点在透视变换后的坐标系的坐标最大的雷达目标点作为匹配点。
[0025]进一步地，所述对密集目标数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框内数据关联的步骤包括：
[0026]将密集目标数据关联未成功的相机目标点的每个相机框进行第二预置幅度放大，得到新的相机框数据，所述第二预置幅度大于所述第一预置幅度；
[0027]从所述新的相机框中对密集目标数据关联未成功的相机目标点的相机框进行遍历，若存在多个雷达目标点在所述新的相机框内，则取雷达目标点在透视变换后的坐标系的坐标最大的雷达目标点作为匹配点。
[0028]进一步地，所述对密集预置稀疏目标的相机框内数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框外数据关联的步骤包括：
[0029]根据预置数据关联算法对密集预置稀疏目标的相机框内数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框外数据关联。
[0030]另一方面，本专利技术提供一种雷达数据和相机数据融合系统，所述系统包括：转换单元，用于将目标点对应的雷达坐标和相机坐标转换到透视变换后的坐标系；
[0031]获取单元，用于根据透视变换后的坐标系中各个目标点对应的相机坐标，获取预置相机坐标框内重叠的相机目标串；
[0032]所述获取单元，还用于根据所述重叠的相机目标串对应的区域，从所述透视变换后的坐标系中各个目标点对应的雷达坐标中获取位于所述区域的雷达目标点；
[0033]关联单元，用于对所述重叠的相机目标串和位于所述区域的雷达目标点进行预置密集目标数据关联；
[0034]所述关联单元，还用于对密集目标数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框内数据关联；
[0035]所述关联单元，还用于对密集预置稀疏目标的相机框内数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框外数据关联。
[0036]进一步地，所述转换单元，具体用于根据公式Xr＝(XR+edgeW)/MPPW 和Yr＝H
‑
(YR
‑
edgeH)/MPPH将目标点对应的雷达坐标转换到透视变换后的坐标系，其中，XR、YR为雷达目标点在XY真实坐标系下的坐标，Xr、Yr为雷达目标点在透视变换后的坐标系的坐标，H是透视变换图像高度，edgeH 是相机坐标系纵向距离，edgeW是相机坐标系横向距离，MPPH为相机坐标系中x方向上每个像素所代表的真实距离，MPPW为相机坐标系中y方向上每个像素所代表的真实距离。
[0037]进一步地，所述转换单元，具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种雷达数据和相机数据融合方法，其特征在于，所述方法包括：将目标点对应的雷达坐标和相机坐标转换到透视变换后的坐标系；根据透视变换后的坐标系中各个目标点对应的相机坐标，获取预置相机坐标框内重叠的相机目标串；根据所述重叠的相机目标串对应的区域，从所述透视变换后的坐标系中各个目标点对应的雷达坐标中获取位于所述区域的雷达目标点；对所述重叠的相机目标串和位于所述区域的雷达目标点进行预置密集目标数据关联；对密集目标数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框内数据关联；对密集预置稀疏目标的相机框内数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框外数据关联。2.根据权利要求1所述的一种雷达数据和相机数据融合方法，其特征在于，所述将目标点对应的雷达坐标转换到透视变换后的坐标系的步骤包括：根据公式Xr＝(XR+edgeW)/MPPW和Yr＝H
‑
(YR
‑
edgeH)/MPPH将目标点对应的雷达坐标转换到透视变换后的坐标系，其中，XR、YR为雷达目标点在XY真实坐标系下的坐标，Xr、Yr为雷达目标点在透视变换后的坐标系的坐标，H是透视变换图像高度，edgeH是相机坐标系纵向距离，edgeW是相机坐标系横向距离，MPPH为相机坐标系中x方向上每个像素所代表的真实距离，MPPW为相机坐标系中y方向上每个像素所代表的真实距离。3.根据权利要求1所述的一种雷达数据和相机数据融合方法，其特征在于，所述将目标点对应的相机坐标转换到透视变换后的坐标系的步骤包括：根据公式c＝[YC Xc 1]、cut＝c
·
fa、将目标点对应的相机坐标转换到透视变换后的坐标系，其中，XC、YC为相机目标点在原始坐标系下的坐标，Xc、Yc为相机目标点在透视变换后的坐标系下的坐标，fa为透视变换矩阵，c是原始坐标向量，cut是俯视变换向。4.根据权利要求1所述的一种雷达数据和相机数据融合方法，其特征在于，所述根据透视变换后的坐标系中各个目标点对应的相机坐标，获取预置相机坐标框内重叠的相机目标串的步骤包括：将所有相机目标点按斜距升序排序；若在预置门限内存在除第一相机目标点外新的相机目标点，则将此点和中心点划分成同一类别，所述预置门限为以升序排序中第一个相机目标点为中心点划分成的长方形门限；判断所述预置门限内是否存在其他新的相机目标点；若存在，则将所述其他新的相机目标点作为中心点；若不存在，将所有同类别点划分为预置相机坐标框内重叠的相机目标串。5.根据权利要求4所述的一种雷达数据和相机数据融合方法，其特征在于，所述对所述重叠的相机目标串和位于所述区域的雷达目标点进行预置密集目标数据关联的步骤包括：将所述重叠的相机目标串中每个相机框进行第一预置幅度放大，并对相机目标点按斜距升序排序，得到新的相机框数据；
从所述新的相机框数据中最后一个相机框开始向前循环，若存在多个雷达目标点位于所述新的相机框内，则获取雷达目标点在透视变换后的坐标系的坐标最大的雷达目标点作为匹配点。6.根据权利要求5所述的一种雷达数据和相机数据融合方法，其特征在于，所述对密集目标数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框内数据关联的步骤包括：将密集目标数据关联未成功的相机目标点的每个相机框进行第二预置幅度放大，得到新的相机框数据，所述第二预置幅度大于所述第一预置幅度；从所述新的相机框中对密集目标数据关联未成功的相机目标点的相机框进行遍历，若存在多个雷达目标点在所述新的相机框内，则取雷达目标点在透视变换后的坐标系的坐标最大的雷达目标点作为匹配点。7.根据权利要求6所述的一种雷达数据和相机数据融合方法，其特征在于，所述对密集预置稀疏目标的相机框内数据关联未成功的相机目标点和雷达目标点进行预置稀疏目标的相机框外数据关联的步骤...

【专利技术属性】
技术研发人员：闫军，陈芸，王伟，
申请(专利权)人：超级视线科技有限公司，
类型：发明
国别省市：