一种基于毫米波雷达与摄像机传感器融合标定方法及系统技术方案

本发明专利技术公开了一种基于毫米波雷达与摄像机传感器融合标定方法及系统，包括标定摄像机传感器获取镜头畸变系数，利用角反装置采集融合标定数据，畸变矫正所述融合标定数据中的图像数据，手动提取所述角反装置中心图像坐标，将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系，利用对应所述角反坐标点计算单应性矩阵，计算重投影误差优化结果，利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据。通过本发明专利技术触发毫米波雷达和摄像机传感器同步采集数据，计算矩阵，优化结果，简化了标定流程、减小了标定误差，使融合效果更加精确。

【技术实现步骤摘要】
一种基于毫米波雷达与摄像机传感器融合标定方法及系统
本专利技术涉及传感器融合
，尤其涉及一种基于毫米波雷达与摄像机传感器融合标定方法及系统。
技术介绍
传感器数据融合把分布在不同位置的多个同类或不同类传感器所提供的局部数据资源加以综合，采用计算机技术对其进行分析，消除多传感器信息之间可能存在的冗余和矛盾，加以互补，降低其不确实性，获得被测对象的一致性解释与描述，从而提高系统决策、规划、反应的快速性和正确性，使系统获得更充分的信息。在毫米波雷达与摄像机传感器之间的融合标定技术中，分为空间和时间两部分。在空间上，常用的方法是进行多个坐标系转换，包括图像坐标系、摄像机坐标系、毫米波雷达坐标系、世界坐标系，然后根据某些关联点来计算多个坐标系之间的转换关系，从而实现两传感器空间上的融合；在时间上，由于两传感器采集频率不同，无法实现同步采集，可以根据其数据所携带的时间戳，进行相似时间上的数据匹配，实现时间上的融合。在空间融合上需要实现多个坐标系之间转换，流程复杂，标定难度高，并且多个转换关系之间误差会被累积；在时间融合上，利用时间戳基本可以实现时间匹配，但是还是难免会出现几毫秒的误差，目标在高速情况下，这个误差也不容小视。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术提供了一种基于毫米波雷达与摄像机传感器融合标定方法及系统，减小标定误差，使融合效果更加精确。为解决上述技术问题，本专利技术提供如下技术方案：标定摄像机传感器，获取镜头畸变系数；利用角反装置，采集融合标定数据；畸变矫正所述融合标定数据中的图像数据；手动提取所述角反装置中心图像坐标；将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系；利用对应所述角反坐标点，计算单应性矩阵；计算重投影误差，优化结果；利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据；将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：所述畸变包括二阶径向畸变和二阶切向畸变，获取所述畸变系数包括，利用棋盘格标定板，采集13张不同位姿下的标定图像；在matlab标定工具箱内读入所述标定图像；标定所述摄像机，获取所述畸变系数；保存得到的所述摄像机内参矩阵M和二阶径向畸变系数k1、k2和二阶切向畸变系数p1、p2。作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：将所述角反装置放置到空间中的不同位置；随机放置在所述毫米波雷达探测范围和所述摄像机传感器测量范围的重合区域；所述角反装置的每个位置同时采集10组所述毫米波雷达数据和所述图像数据。作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：按顺序存放采集到的不同位置的角反图像；依次读取所述角反图像；使用opencv中initUndistortRectifyMap()函数，输入所述摄像机内参矩阵M和所述畸变系数矩阵[k1,k2,p1,p2]；畸变矫正所述图像。作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：检测到所述角反装置的中心位置；记录所述图像坐标；提取所述角反中心图像坐标(u_i,v_i)。作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：所述毫米波雷达数据默认为极坐标系中，转换到所述笛卡尔坐标系包括，获取所述毫米波雷达数据；采集所述毫米波雷达数据极坐标系下坐标(p,θ)；利用公式转换到所述笛卡尔坐标系下坐标(x,y)；其中，定义χ＝ρ*sin(θ)y＝ρ*cos(θ)作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：将所述角反中心图像坐标(u_i,v_i)和所述笛卡尔坐标系下坐标(x_i,y_i)分别构建矩阵；利用所述opencv中initUndistortRectifyMap()函数，输入对应组点；计算并输出所述角反图像坐标和所述毫米波雷达坐标之间的所述单应性矩阵H。作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：利用所述单应性矩阵H计算所述笛卡尔坐标系下坐标(x_i,y_i)对应在所述图像坐标系下的坐标(u_i1,v_i1)；计算所述每个角反组点的重投影误差d_i；定义，手动去除所述重投影误差较大的点；重新计算所述单应性矩阵H，优化结果。作为本专利技术所述的一种基于毫米波雷达与摄像机传感器的融合标定系统的一种优选方案，其中：所述采集模块包括图像识别单元和数据处理单元，所述角反装置通过所述毫米波雷达与所述摄像机传感器获取图像信息，并传输到所述图像识别单元，同时触发所述数据处理单元接收信息，对所述信息处理坐标值和标定数据；所述转换模块与所述采集模块相连，其包括接收单元和坐标变换单元，所述接收单元获取所述图像坐标值后，传递指令到所述坐标变换单元将极坐标系下的坐标变换成笛卡尔坐标系下的坐标；所述计算模块连接贯穿于所述采集模块和转换模块，所述采集模块采集所述标定数据时，所述计算模块内的运算器同时启动并计算所述标定系数和坐标值，解算转换坐标公式，通过破解所述矩阵方程、去除误差，优化数据结果，触发所述采集模块同时采集所述毫米波雷达和所述摄像机传感器采集数据。本专利技术的有益效果：通过毫米波雷达和摄像机传感器同步采集数据，计算矩阵，优化结果，简化了标定流程、减小了标定误差，使融合效果更加精确。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术提供的一种基于毫米波雷达与摄像机传感器融合标定方法的流程示意图；图2为本专利技术提供的一种基于毫米波雷达与摄像机传感器融合标定方法的采集标定数据示意图；图3为本专利技术提供的一种基于毫米波雷达与摄像机传感器融合标定系统的系统模块示意图；图4为本专利技术提供的一种基于毫米波雷达与摄像机传感器融合标定系统的模块结构又一种示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的保护的范围。在下面的描述中阐述了很多本文档来自技高网...

【技术保护点】
1.一种基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：包括空间融合和时间融合，所述空间融合包括，/n标定摄像机传感器，获取镜头畸变系数；/n利用角反装置，采集融合标定数据；/n畸变矫正所述融合标定数据中的图像数据；/n手动提取所述角反装置中心图像坐标；/n将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系，；/n利用对应所述角反坐标点，计算单应性矩阵；/n计算重投影误差，优化结果；/n所述时间融合包括，/n利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据；/n将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。/n

【技术特征摘要】
1.一种基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：包括空间融合和时间融合，所述空间融合包括，
标定摄像机传感器，获取镜头畸变系数；
利用角反装置，采集融合标定数据；
畸变矫正所述融合标定数据中的图像数据；
手动提取所述角反装置中心图像坐标；
将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系，；
利用对应所述角反坐标点，计算单应性矩阵；
计算重投影误差，优化结果；
所述时间融合包括，
利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据；
将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。


2.如权利要求1所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：所述畸变包括二阶径向畸变和二阶切向畸变，获取所述畸变系数包括，
利用棋盘格标定板，采集13张不同位姿下的标定图像；
在matlab标定工具箱内读入所述标定图像；
标定所述摄像机，获取所述畸变系数；
保存得到的所述摄像机内参矩阵M和二阶径向畸变系数k1、k2和二阶切向畸变系数p1、p2。


3.如权利要求1或2所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：所述采集融合标定数据包括，
将所述角反装置放置到空间中的不同位置；
随机放置在所述毫米波雷达探测范围和所述摄像机传感器测量范围的重合区域；
所述角反装置的每个位置同时采集10组所述毫米波雷达数据和所述图像数据。


4.如权利要求1所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：所述畸变矫正包括，
按顺序存放采集到的不同位置的角反图像；
依次读取所述角反图像；
使用opencv中initUndistortRectifyMap()函数，输入所述摄像机内参矩阵M和所述畸变系数矩阵[k1，k2，p1，p2]；
畸变矫正所述图像。


5.如权利要求1或4所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：提取所述图像数据包括，
检测到所述角反装置的中心位置；
记录所述图像坐标；
提取所述角反中心图像坐标(u_i，v_i)。


6.如权利要求3所述的基于毫米波雷达与摄像机传感器的融合标定方法...

【专利技术属性】
技术研发人员：路晓冬，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32