基于3D视觉技术的货车全景倒车影像系统及使用方法技术方案

本发明专利技术公开了一种基于3D视觉技术的货车全景倒车影像系统及使用方法。该系统包括图像采集模块、控制器和用户终端，其中图像采集模块包括两个TOF相机和一个双目相机，TOF相机分别安装在货车车头部左右两侧，双目相机装在货车尾部；用户终端包括显示器和扬声器。方法为：图像采集模块采集货车周围的环境深度信息，控制器通过以太网读取采集到的数据进行拼接等处理，绘制实时地图，同时计算货车与障碍物间的距离，给出相应距离段的预警信号，然后将地图信息和预警信号通过串口传输到用户终端；显示器根据控制器传输的地图数据，显示货车周围实时环境，扬声器接收控制器发出的预警信号，发出语音提醒。本发明专利技术提高了货车泊车的效率和安全性。

Panoramic reversing image system of freight car based on 3D vision technology and its application method

【技术实现步骤摘要】
基于3D视觉技术的货车全景倒车影像系统及使用方法
本专利技术涉及泊车辅助
，特别是一种基于3D视觉技术的货车全景倒车影像系统及使用方法。
技术介绍
货车受限于其体积和长度，在倒车时会存在很大盲区，并且货车司机对车尾的情况难以判断，因此，货车泊车时往往需要人工引导，效率低下。而且人工引导的方法也无法让司机及时掌握货车四周的环境信息，当引导人身处盲区时也有几率会发生安全事故，所以人工引导的方式存在较高的安全性隐患。3D视觉技术是通过3D摄像头采集视野内空间每个点位的三维座标信息，通过算法复原智能获取三维立体成像，该方法不易受到外界环境、复杂光线的影响，技术更加稳定，能够解决以往二维体验和安全性较差的问题。然而，目前尚未有将3D视觉技术应用于货车倒车、泊车的相关报道，货车泊车时依然存在盲区大，后方视野不清晰，需要人工引导的问题。
技术实现思路
本专利技术的目的在于提供一种能够辅助货车司机知晓货车周围环境、避免人工引导、提高货车泊车的效率和安全性的基于3D视觉技术的货车全景倒车影像系统及使用方法。实现本专利技术目的的技术解决方案为：一种基于3D视觉技术的货车全景倒车影像系统，包括图像采集模块、控制器和用户终端；所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；所述控制器从图像采集模块接收数据进行处理，绘制实时环境地图，输出地图信息和预警信号；所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。进一步地，所述图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机型号为SickVisionary-T，分别安装在货车车头部左右两侧，扫描车身侧面的环境；所述双目相机型号为SickVisionary-B，安装在货车尾部，扫描货车尾部的环境。进一步地，所述的控制器采用工控机，与用户终端一同集成在驾驶室内部。进一步地，所述用户终端包括显示器和扬声器，所述显示器用于显示图像信息，所述扬声器用于根据预警信号发出语音提示。一种基于3D视觉技术的货车全景倒车影像系统的使用方法，包括以下步骤：步骤1、货车挂倒挡后，控制器向图像采集模块发送开始扫描的指令信号，图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机分别安装在货车车头部左右两侧，双目相机装在货车尾部；步骤2、图像采集模块接收到指令信号，开始对周围环境进行扫描，将扫描的数据通过以太网传输给控制器；步骤3、控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接；步骤4、控制器将拼接完的3D深度图投影至水平面上，绘制出货车轮廓和周围环境地图发送到用户终端进行显示；步骤5、计算距离最近的障碍物距离，给出相应距离段的预警信号，当货车周围1.5米内没有障碍物时，没有预警信号；当货车周围0.5米至1.5米内有障碍物时，给定频率为1Hz的蜂鸣预警信号；当货车周围0.5米内有障碍物时，给定频率为5Hz的蜂鸣预警信号；步骤6、泊车完成后，控制器向图像采集模块发送停止扫描的指令信号。进一步地，步骤3所述的控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接，具体如下：步骤3.1、以货车中心为世界坐标系，根据图像采集模块中各相机安装的位置对各个相机的参考坐标系进行标定；步骤3.2、根据标定后的相机坐标系和世界坐标系的转换关系，将各个相机的数据转换至世界坐标系下，实现粗配准；步骤3.3、根据粗配准的结果，以双目相机的数据为基准，使用SIFT算子在两个TOF相机数据重合的区域提取特征，根据特征的匹配对，将两个TOF相机的数据和双目相机的数据进行配准融合，得到完整的3D深度图。本专利技术与现有技术相比，其显著优点在于：(1)通过3D相机获取货车周围的深度信息，使司机能够及时掌握车身周围环境，提高了泊车效率；(2)避免了货车泊车时额外人工的参与，提高了泊车安全性。附图说明图1是本专利技术基于3D视觉技术的货车全景倒车影像系统的结构框图。图2是本专利技术相机安装位置的示意图。图3是本专利技术基于3D视觉技术的货车全景倒车影像系统的使用方法流程图。图4是本专利技术中显示器的地图显示界面的示意图。具体实施方式本专利技术基于3D视觉技术的货车全景倒车影像系统，包括图像采集模块、控制器和用户终端；所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；所述控制器从图像采集模块接收数据进行处理，绘制实时环境地图，输出地图信息和预警信号；所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。进一步地，所述图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机型号为SickVisionary-T，分别安装在货车车头部左右两侧，扫描车身侧面的环境；所述双目相机型号为SickVisionary-B，安装在货车尾部，扫描货车尾部的环境。进一步地，所述的控制器采用工控机，与用户终端一同集成在驾驶室内部。进一步地，所述用户终端包括显示器和扬声器，所述显示器用于显示图像信息，所述扬声器用于根据预警信号发出语音提示。一种基于3D视觉技术的货车全景倒车影像系统的使用方法，包括以下步骤：步骤1、货车挂倒挡后，控制器向图像采集模块发送开始扫描的指令信号，图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机分别安装在货车车头部左右两侧，双目相机装在货车尾部；步骤2、图像采集模块接收到指令信号，开始对周围环境进行扫描，将扫描的数据通过以太网传输给控制器；步骤3、控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接；步骤4、控制器将拼接完的3D深度图投影至水平面上，绘制出货车轮廓和周围环境地图发送到用户终端进行显示；步骤5、计算距离最近的障碍物距离，给出相应距离段的预警信号，当货车周围1.5米内没有障碍物时，没有预警信号；当货车周围0.5米至1.5米内有障碍物时，给定频率为1Hz的蜂鸣预警信号；当货车周围0.5米内有障碍物时，给定频率为5Hz的蜂鸣预警信号；步骤6、泊车完成后，控制器向图像采集模块发送停止扫描的指令信号。进一步地，步骤3所述的控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接，具体如下：步骤3.1、以货车中心为世界坐标系，根据图像采集模块中各相机安装的位置对各个相机的参考坐标系进行标定；步骤3.2、根据标定后的相机坐标系和世界坐标系的转换关系，将各个相机的数据转换至世界坐标系下，实现粗配准；步骤3.3、根据粗配准的结果，以双目相机的数据为基准，使本文档来自技高网...

【技术保护点】
1.一种基于3D视觉技术的货车全景倒车影像系统，其特征在于，包括图像采集模块、控制器和用户终端；/n所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；/n所述控制器从图像采集模块接收数据进行处理，绘制实时环境地图，输出地图信息和预警信号；/n所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。/n

【技术特征摘要】
1.一种基于3D视觉技术的货车全景倒车影像系统，其特征在于，包括图像采集模块、控制器和用户终端；
所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；
所述控制器从图像采集模块接收数据进行处理，绘制实时环境地图，输出地图信息和预警信号；
所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。


2.根据权利要求1所述的基于3D视觉技术的货车全景倒车影像系统，其特征在于，所述图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机型号为SickVisionary-T，分别安装在货车车头部左右两侧，扫描车身侧面的环境；所述双目相机型号为SickVisionary-B，安装在货车尾部，扫描货车尾部的环境。


3.根据权利要求1所述的基于3D视觉技术的货车全景倒车影像系统，其特征在于，所述的控制器采用工控机，与用户终端一同集成在驾驶室内部。


4.根据权利要求1所述的基于3D视觉技术的货车全景倒车影像系统，其特征在于，所述用户终端包括显示器和扬声器，所述显示器用于显示图像信息，所述扬声器用于根据预警信号发出语音提示。


5.一种基于3D视觉技术的货车全景倒车影像系统的使用方法，其特征在于，包括以下步骤：
步骤1、货车挂倒挡后，控制器向图像采集模块发送开始扫描的指令信号，图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机分别安装在货车车头部左右两侧，双目相机装...

【专利技术属性】
技术研发人员：单梁，王志强，邱博，单浩然，樊宇浩，李军，张永，黄成，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32