【技术实现步骤摘要】
本申请涉及毫米波雷达和视觉测量，特别是涉及全息路口场景下雷达与视觉信息融合的方法。
技术介绍
1、随着城市化的推进，交通因素对城市进一步发展迈进的影响越来越大，对城市道路的精细化管理愈发迫切。基于雷视融合的全息路口，将城市道路上的行人、机动车、非机动车等要素进行数字化还原，为城市道路的精细化管理提供一体化解决措施，进一步提升城市交通治理效能。
2、在雷视融合中，主要涉及传感器标定对齐和传感器融合。传感器标定对齐将多个传感器的数据进行转换，使得它们的数据在同一时空坐标系下，同时也确定不同使用条件下的误差关系，主要涉及空间对齐与时间对齐；传感器融合将雷达输出的位置、速度、航向角、经纬度等信息与通过机器视觉得到的车牌、颜色、车型等信息结合，以提供全时空、多维度、全要素的感知。
3、现有技术往往利用相机标定技术计算摄像机的内部参数，建立相机坐标模型；根据相机与雷达的位置关系，建立世界坐标系下的相机与雷达之间的坐标对应关系；之后根据坐标对应关系实现雷达信息与视觉信息的融合，实现雷达探测的3d世界坐标系转换成相机视觉图像中对应的2d图像坐标。
4、在全息路口场景实践中，相机往往是事先已经安装完毕、且相机内部参数获取不便。现有技术往往依赖相机内部参数，且需要获取同一时刻的雷达、视觉信息。
技术实现思路
1、为了解决上述技术缺陷之一，本申请实施例中提供了一种全息路口场景下雷达与视觉信息融合的方法，解决了现有技术往往依赖相机内部参数，且需要获取同一时刻的雷达、视觉
2、根据本申请实施例的第一个方面，提供了一种全息路口场景下雷达与视觉信息融合的方法，包括以下步骤：
3、s1、对需要的路口进行航拍，以获得航拍俯视图，航拍俯视图清晰、无畸变，覆盖所需路段；
4、s2、视觉标定：获得航拍俯视图与相机图像的特征点并建立对应，使用薄板样条变换得到变换方程，用于实时的将机器视觉得到的在相机像素坐标系下的目标映射到俯视坐标系下；
5、s3、雷达标定：将雷达坐标系中的点与俯视图坐标系中的点进行匹配，之后通过仿射变换得到变换矩阵；
6、s4、通过步骤s1、s2、s3将来自雷达的目标与来自机器视觉的目标映射到俯视坐标系下；
7、s5、在俯视坐标系下设置雷视融合区，保证来自雷达的目标与来自机器视觉的目标近似重合；
8、s6、点集融合：使用匈牙利匹配算法对在雷视融合区中的雷达的目标与来自机器视觉的目标进行匹配，建立对应关系。
9、作为本申请的进一步改进，所述步骤s2中，包括以下步骤：
10、s21、俯视坐标系中的特征点与相机像素坐标系中的特征点对应，得到特征点对；
11、s22.根据步骤s21中的特征点对计算薄板样条变换得到变换方程。
12、作为本申请的进一步改进，所述步骤s3中，包括以下步骤：
13、s31、安装雷达设备时在路口设置角反射器，通过角反射器得到俯视图坐标系中的点集在雷达坐标系下的坐标值，得到点集对；
14、s32、根据步骤s31中的点集对，计算其仿射变换矩阵，得到雷达坐标系到俯视坐标系的变换矩阵，用于实时的将雷达得到的在雷达坐标系下的目标映射到俯视坐标系下。
15、作为本申请的进一步改进，所述步骤s3中，假设俯视图坐标系中的目标点在雷达坐标系下的坐标分别为：(114.419858,23.12206)、(114.419902,23.122015)、(114.419877,23.121952)、(114.419828,23.122006)、(114.419834,23.121971)、(114.419842,23.121926)、(114.419693,23.121966)、(114.419701,23.121939)，
16、在俯视图坐标系中对应坐标为：(2359,2456)、(2404,2525)、(2356,2601)、(2309,2520)、(2309,2569)、(2308,2629)、(2133,2542)、(2137,2582)，
17、最终的变换矩阵为：
18、
19、作为本申请的进一步改进，所述俯视图坐标系为航拍俯视图的图像坐标系，左上角为原点，向下为y轴，向右为x轴，单位为像素。
20、作为本申请的进一步改进，所述雷达坐标系，其中o点为雷达安装位置，根据雷达安装位置，左下角为雷达安装位置，即向上为y轴，向左为x轴。
21、作为本申请的进一步改进，所述相机像素坐标系为相机输出的图像，在该坐标系中，原点为图像的左上角，x轴向右延伸，y轴向下延伸，每个像素都有一个唯一的像素坐标。
22、采用本申请实施例中提供的全息路口场景下雷达与视觉信息融合的方法，采用俯视坐标系作统一坐标系统，避免获取相机内部参数；
23、分别标定空间与时间，将雷达信息与视觉信息投影到俯视坐标系下；
24、空间标定中，雷达信息投影采用仿射变换，视觉信息投影采用薄板变换；
25、划分雷视融合区，减轻时间空间标定过程中不准确性对最终效果的影响，时间对齐可以有冗余，避免获取同一时刻的图像和雷达数据。
本文档来自技高网...【技术保护点】
1.一种全息路口场景下雷达与视觉信息融合的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述步骤S2中，包括以下步骤：
3.根据权利要求1所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述步骤S3中，包括以下步骤：
4.根据权利要求3所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述步骤S3中，假设俯视图坐标系中的目标点在雷达坐标系下的坐标分别为：(114.419858,23.12206)、(114.419902,23.122015)、(114.419877,23.121952)、(114.419828,23.122006)、(114.419834,23.121971)、(114.419842,23.121926)、(114.419693,23.121966)、(114.419701,23.121939)，
5.根据权利要求1所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述俯视图坐标系为航拍俯视图的图像坐标系，左上角为原点，向下为Y
6.根据权利要求1所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述雷达坐标系，其中O点为雷达安装位置，根据雷达安装位置，左下角为雷达安装位置，即向上为Y轴，向左为X轴。
7.根据权利要求1所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述相机像素坐标系为相机输出的图像，在该坐标系中，原点为图像的左上角，X轴向右延伸，Y轴向下延伸，每个像素都有一个唯一的像素坐标。
...【技术特征摘要】
1.一种全息路口场景下雷达与视觉信息融合的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述步骤s2中，包括以下步骤：
3.根据权利要求1所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述步骤s3中，包括以下步骤：
4.根据权利要求3所述的全息路口场景下雷达与视觉信息融合的方法，其特征在于，所述步骤s3中，假设俯视图坐标系中的目标点在雷达坐标系下的坐标分别为：(114.419858,23.12206)、(114.419902,23.122015)、(114.419877,23.121952)、(114.419828,23.122006)、(114.419834,23.121971)、(114.4198...
【专利技术属性】
技术研发人员：聂大惟，赵勇，
申请(专利权)人：北京格灵深瞳信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。