一种面向毫米波雷达与视频图像的数据融合方法及系统技术方案

本发明专利技术提供一种面向毫米波雷达与视频图像的数据融合方法及系统，其方法包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在雷达坐标系中x轴与y轴上的坐标值；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍在木棍图像中的坐标值作为该白色木棍在图像坐标系中y轴与z轴上的坐标值；步骤S5，根据预定距离、白色木棍在雷达坐标系中以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。

【技术实现步骤摘要】
一种面向毫米波雷达与视频图像的数据融合方法及系统
本专利技术属于数字图像处理及多传感器数据融合领域，涉及一种毫米波雷达和图像数据融合的配准方法设计，具体涉及一种基于木棍检测的面向毫米波雷达与视频图像的数据融合方法及系统。
技术介绍
近年来，随着自动驾驶技术的发展，多传感器检测技术慢慢走入人们的视野，通过多传感器对路况进行检测，可以在主动安全方面发挥重要作用。例如毫米波雷达以及车载摄像头，其中毫米波雷达受环境影响的因素较少，可以测量出前方范围内目标的径向距离和速度；摄像头可以基于传统机器学习或深度学习的目标检测，检测出前方目标的位置，为自动驾驶车辆的动作决策提供重要参考。如何将这些多传感器之间的数据进行融合，从而更好地为自动驾驶技术提供帮助，也是目前车辆主动安全的热门研究方向。传统的毫米波雷达和图像识别数据融合方法包括时间融合和空间融合。在空间融合上，大多采用坐标系转换的方法，即，将世界坐标系、雷达坐标系、摄像头坐标系进行坐标转换，图1示出了各个坐标系在自动驾驶车辆上的分布，具体为：雷达坐标系XrOrYr，图像坐标系XcOcYc以及世界坐标系XwOwYw。这种坐标系转换方法可以使得摄像头坐标系、雷达坐标系中测定的物体具体位置在世界坐标系中进行对应，从而得到实际世界物体在图像画面中的位置，进而完成后续的目标配准和目标识别等操作。然而，在进行图像坐标系的对应时，对于理想的针孔模型不能十分准确地描述摄像头真实的成像几何关系，尤其在摄像头使用广角镜头时，实际成像在远离图像中心处会出现较大的畸变。即，通过真实镜头在成像平面上实际成的像和通过针孔模型在成像平面上理想成的像不同，距离投影中心越远，畸变越严重。传统的方法是采用张正友标定法等标定方法，从数学理论的角度进行配准，在图像数据源头就进行校正。但是，即使通过上述方法在理论层面完成了标定，在实际运用中，特别是与雷达的配合中测距，仍存在一定的误差。且上述方法的步骤繁多，需要很多个阶段的配准，导致每个阶段的误差积累放大，最终的融合效果在准确度上依然不尽如人意。
技术实现思路
为解决上述问题，提供一种雷达和图像各自最终识别结果为基准的、具有高准确率的面向毫米波雷达与视频图像的数据融合方法及系统，本专利技术采用了如下技术方案：本专利技术提供了一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，白色木棍垂直于水平面；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍的木棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；步骤S5，根据预定距离、白色木棍在雷达坐标系中的坐标以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，图像坐标系以及雷达坐标系基于y轴的映射为：将木棍图像中各个白色木棍之间的像素距离与雷达坐标系中毫米波雷达测得的各个白色木棍之间的角度进行对应。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，图像坐标系以及雷达坐标系基于y轴的映射为：将木棍图像中各个白色木棍之间的像素距离与雷达坐标系中毫米波雷达测得的各个白色木棍之间在y轴上的距离进行对应。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，步骤S4包括以下子步骤：步骤S4-1，对木棍图像采用预定边缘检测算法得到木棍边缘点的边缘点位置；步骤S4-2，基于最小二乘法对木棍边缘点进行直线拟合从而使得边缘点位置沿对应于白色木棍边缘的直线排布；步骤S4-3，根据各个直线所对应的边缘点位置计算各个直线之间的直线距离，并将该直线距离最短的两根直线判定为同一白色木棍的左右边缘；步骤S4-4，根据每个白色木棍的左右边缘所对应的边缘点位置，基于预定中心点计算方法确定木棍中心点。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，预定中心点计算方法为：取左右边缘两端的4个木棍边缘点的边缘点位置，并将计算4个木棍边缘点的中心点坐标作为白色木棍的中心点。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，预定中心点计算方法为：根据边缘点位置计算左右边缘的中心线，并将该中心线的中点作为白色木棍的木棍中心点。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，步骤S4中木棍中心点的确定方法为：预先在白色木棍的中心点标记具有预定色彩的标记点并存储预定色彩的RGB值，根据该RGB值识别出木棍图像中的各个标记点从而得到木棍中心点。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，白色木棍的长度为50-150cm，宽度为2-10cm，预定距离为20-40cm。本专利技术提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，毫米波雷达以及摄像头均安装在无人驾驶车辆的正前方中央并在对应于z轴的竖直方向上保持对齐。本专利技术还提供了一种面向毫米波雷达与视频图像的数据融合系统，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括：检测场景，含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的若干个白色木棍；毫米波雷达，用于对检测场景进行检测，得到每个白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；摄像头，用于对检测场景进行拍摄得到木棍图像；中心点确定部，对木棍图像进行数字图像处理得到每个白色木棍的木棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；坐标融合部，根据预定距离、白色木棍在雷达坐标系中的坐标以及在图像坐标系中的坐标值，将图像坐标系以及雷达坐标系基于y轴进行映射从而完成图像坐标系以及雷达坐标系的融合。专利技术作用与效果根据本专利技术的面向毫米波雷达与视频图像的数据融合方法及系统，由于通过毫米波雷达与摄像头对若干等距平行设置的白色木棍进行检测，雷达测出的是雷达坐标系中白色木棍的位置，摄像头得到的是图像坐标系中白色木棍的图像，通过数字图像处理识别出木棍中心点在图像坐标系中的位置。接下来，采用数据配准的方法，建立配准矩阵，形成从雷达坐标系与图像坐标系的映射关系，因此，通过这样的映射关系，不仅可以省去传统雷达与图像数据融合中的关键步骤“坐标系切换”，而且在主动安全相关项目-ADAS时可以直接从摄像头图像上换算实际距离，而不用受摄像本文档来自技高网...

【技术保护点】
1.一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：/n步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，所述白色木棍垂直于水平面；/n步骤S2，通过所述毫米波雷达对所述检测场景进行检测，得到n个所述白色木棍在对应于所述水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；/n步骤S3，通过所述摄像头对所述检测场景进行拍摄得到木棍图像；/n步骤S4，对所述木棍图像进行数字图像处理得到n个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；/n步骤S5，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标值以及在所述图像坐标系中的坐标值，将所述雷达坐标系以及所述图像坐标系基于所述y轴进行映射从而完成所述雷达坐标系以及所述图像坐标系的融合。/n

【技术特征摘要】
1.一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：
步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，所述白色木棍垂直于水平面；
步骤S2，通过所述毫米波雷达对所述检测场景进行检测，得到n个所述白色木棍在对应于所述水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；
步骤S3，通过所述摄像头对所述检测场景进行拍摄得到木棍图像；
步骤S4，对所述木棍图像进行数字图像处理得到n个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；
步骤S5，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标值以及在所述图像坐标系中的坐标值，将所述雷达坐标系以及所述图像坐标系基于所述y轴进行映射从而完成所述雷达坐标系以及所述图像坐标系的融合。


2.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：
将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的各个所述白色木棍之间的角度进行对应。


3.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：
将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的各个所述白色木棍之间在y轴上的距离进行对应。


4.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述步骤S4包括以下子步骤：
步骤S4-1，对所述木棍图像采用预定边缘检测算法得到所述木棍边缘点的边缘点位置；
步骤S4-2，基于最小二乘法对所述木棍边缘点进行直线拟合从而使得所述边缘点位置沿对应于所述白色木棍边缘的直线排布；
步骤S4-3，根据各个所述直线所对应的边缘点位置计算各个所述直线之间的直线距离，并将该直线距离最短的两根直线判定为同一所述白色木棍的左右边缘；
步骤S4-4，根据每个所述白色木棍的左右边缘所对应的所述边缘点位置，基于预定中心点计算方法确定所述木棍...

【专利技术属性】
技术研发人员：徐杰，梁晨晨，刘天弼，冯瑞，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31