一种多传感器融合的玻璃识别系统技术方案

本发明专利技术设计一种多传感器融合的玻璃检测与定位系统(0)，所述系统包括负责图像采集RGB摄像头Kinect V1、摄像头云台、声纳、激光雷达Rplidar A2、搭载高性能GPU的本地服务器、以及用于图像采集模块与服务器沟通的路由器设备。本发明专利技术提供的系统采用局域网通信，提供本系统的通过图像处理所得到关于玻璃的检测与定位信息给所需系统，比如机器人、交通系统等，并且具有识别速度快、精度高的特点。

【技术实现步骤摘要】
一种多传感器融合的玻璃识别系统
本专利技术属于多传感器融合领域，更具体地，涉及一种结合激光雷达、声呐、RGB摄像机的玻璃识别系统。
技术介绍
随着科学技术的迅速发展，障碍物检测的应用领域越来越广泛。单一传感器已难以提供有关环境的充分、准确和及时的信息。近年来多种传感器信息融合技术已经引起了人们的广泛注意，多种传感器信息融合系统可以有效地解决单传感器的模糊点，更精确地观察和解释环境。障碍物检测和识别的可靠性与精度比在任何单一传感器所获得的信息都有很大的提高。因此越来越多地应用于各种智能系统中。同时，目前常规的障碍物检测方法是通过上述单一非接触式检测技术，如激光雷达、超声波等探测器来监测障碍物的位置和形状，然后采用一定的策略进行处理。这一类型检测方法对于反射对比度较高、体积及色泽明显的障碍物识别准确率较高，但是对于反射对比度较低、体积小、色彩与周围环境接近或在弱光条件下的目标较难识别。所以，针对存在有玻璃的环境中，能够不被玻璃的反射率低、色彩与环境接近影响，提出一种多传感器融合的的玻璃检测技术方案。
技术实现思路
本专利技术的目的在于弥补现有的传统障碍物检测方法对于反射对比度较低、体积小、色彩与周围环境接近或在弱光条件下的目标较难识别的缺点和不足，提出了一种多传感器融合的玻璃识别系统。本专利技术提出的一种多传感器融合的玻璃识别系统，使用KinectV1作为图像的采集和预处理端，利用GPU服务器在计算机视觉方面的高性能、低能耗计算的特点减少视觉处理的时间，提高系统的实时性；利用激光雷达RplidarA2进行一般的障碍物检测，弥补传统二维图像中缺少深度维度的缺陷；利用声呐可针对玻璃获取玻璃的距离信息，深度相机用来截取当前的RGB图像并定位出玻璃所在的位置；利用多路由器组网，可实现采集终端和处理终端的良好的沟通，保证网络质量和网络覆盖率。通过上述的配合及数据融合，得以保证本系统实现玻璃的识别，为系统提供高精度、实时性的建议。为实现上述专利技术目的，本专利技术采用以下技术方案：一种多传感器融合的玻璃识别系统，包括设备壳体，所述壳体内设有电源转换装置、CPU主控板、散热装置、通讯接口，KinectV1、RplidarA2、声呐传感器；所述壳体上设有摄像头云台；所述通讯装置包括路由器组网策略，用于图像处理和分析的服务器，用于CPU主控板和GPU服务器数据交换的和执行的策略；所述CPU主控板与双目摄像头电性连接。CPU主控板采用G40(i54210U)笔记本电脑，转向云台使用高精度、大扭矩舵机组合成高精度二维运动部件；GPU服务器采用Y7000(i78750H)笔记本，采用GTX1050Ti显卡。本专利技术利用无线局域网传输性能高、覆盖率广等特点，实现图像采集端的与图像处理和分析端的实时通讯，同时GPU服务器能够高效的运行深度学习、计算机视觉的算法，使得系统实时性和准确性大大提高，利用摄像头识别的玻璃信息、声纳获取玻璃的位置信息，弥补了激光雷达透过玻璃无法识别的特性。通过上述组件的配合，开发出了精度较高、实时性较好的可识别玻璃的系统。各部件的作用过程如下：首先利用CPU主控板控制KinectV1摄像头获取当前的图像信息并通过局域网上传到GPU服务器；GPU服务器利用深度学习算法对所获得的图片进行分析处理，得到图片中的玻璃区域并将划定的区域结果通过局域网返回给CPU主控板；CPU主控板将该玻璃区域定位信息与声纳信息进行数据融合，得到玻璃所处的三维空间位置，并将位置信息转化为雷达信息，将该雷达信息与实际RplidarA2获取的信息进行融合，将最终的雷达数据发送给宿主系统；CPU主控板接受宿主系统提供的信息，供其规划路径、绘制地图及其他功能的使用。与现有技术相比，本专利技术具有以下特点：本专利技术提供的一种多传感器融合的玻璃识别系统在笔记本硬件平台上搭建视觉系统，同时利用GPU服务器在计算机视觉和深度学习方面的运算高性能特点，可减少图像的处理时间，实时性得到了大大的提高；利用摄像头识别的玻璃信息、声纳获取玻璃的位置信息，弥补了激光雷达透过玻璃无法识别的特性。附图说明图1为多传感器融合的玻璃识别系统的硬件连接图图2为多传感器融合的玻璃识别系统工作流程示意图具体实施方式多传感器融合的玻璃识别系统，系统主控(1)采用G40作为主控CPU，并融合多种数据。图像采集传感器(2)为KinectV1摄像头，且数据接口为USB2.0接口。摄像头云台(3)用于左右上下转动双目摄像头，且左右转动为电控形式，且舵机精度不得低于0.24°舵机装懂角度不得低于120°。GPU服务器(4)用于处理系统采集的图像信息，并将玻璃识别结果返回给(1)做数据融合。声纳(5)用于采集周围的距离信息，并将信息返回给(1)做数据融合。激光雷达(6)用于采集雷达信息，并将信息返回给(1)做数据融合及提出建议。路由器(7)如果在小型户外场景采用单节点路由器，如果在大型复杂场景，可多路由器组网，覆盖整个系统区域。本文档来自技高网...

【技术保护点】
1.一种多传感器融合的玻璃识别系统，其特征在于。包括系统主控CPU(1)，(1)控制(2)用于采集图像的的RGB摄像头，用于左右调节双目摄像头的云台(3)，用于处理寄生系统采集到的图像信息并通过深度学习识别玻璃的GPU服务器(4)，并将玻璃信息传给(1)，用于采集周围的距离信息的声纳(5)，用于采集雷达信息的激光雷达(6)，并将信息返回给(1)，(1)经数据融合算法后得到玻璃的位置信息，用于(1)和其他系统传输和交换玻璃位置数据及其他控制信息的无线路由器(7)。/n

【技术特征摘要】
1.一种多传感器融合的玻璃识别系统，其特征在于。包括系统主控CPU(1)，(1)控制(2)用于采集图像的的RGB摄像头，用于左右调节双目摄像头的云台(3)，用于处理寄生系统采集到的图像信息并通过深度学习识别玻璃的GPU服务器(4)，并将玻璃信息传给(1)，用于采集周围的距离信息的声纳(5)，用于采集雷达信息的激光雷达(6)，并将信息返回给(1)，(1)经数据融合算法后得到玻璃的位置信息，用于(1)和其他系统传输和交换玻璃位置数据及其他控制信息的无线路由器(7)。


2.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述系统主控(1)采用G40笔记本作为主控CPU。


3.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述图像采集传感器(2)为RGB摄像头KinectV1，且数据接口为USB2.0接口。


4.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述摄像头云台(3)用于左右上...

【专利技术属性】
技术研发人员：鲜晓东，赵德悦，田丽蓉，曹红伟，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50