基于深度学习与双目摄像的自动驾驶目标检测系统及方法技术方案

本发明专利技术提出一种基于深度学习与双目摄像的自动驾驶目标检测系统及方法，主要解决现有自动驾驶中目标检测精确度差以及定位物体准确性差，无法应对复杂路况的问题，其实现方案是：通过双目摄像机采集图像并附带点云信息，经数据线传输至图像处理模块进行实时检测，图像处理模块为利用深度神经网络训练数据后构建的检测模块，由其对采集到的图像进行处理实现定位、识别及分类，最后通过结果输出模块将分类结果拼接为视频并输出，完成自动驾驶中道路状况的检测。本发明专利技术提高了目标识别精准度，解决了自动驾驶在复杂路况中无法适应的问题，可用于自动驾驶与行车主动安全系统。

Automatic driving target detection system and method based on deep learning and binocular camera

【技术实现步骤摘要】
基于深度学习与双目摄像的自动驾驶目标检测系统及方法
本专利技术属于人工智能
，更进一步涉及目标识别与检测领域，具体为一种基于深度学习与双目摄像的自动驾驶目标检测系统及方法，可应用于自动驾驶与行车主动安全系统。
技术介绍
人工智能技术是当前全世界范围内最新颖且具有潜力的研究领域，其中，人工智能有很多应用场景，包括自然语言处理、计算机视觉、语音识别等。自从2017年谷歌公司的alaphaGo人工智能在围棋领域战胜了世界冠军李世石后，人工智能一时成为街头巷尾被谈及的话题。随着近些年人工智能技术的快速发展，已经有越来越多的相关应用走进人们的生活，诸如火车站的面部识别系统、手机应用中包含的语音识别系统以及翻译软件的智能翻译系统，无不包含着人工智能的身影。世界各国都已经或正在部署自己的人工智能战略方案，希望能够在下一轮科技热潮中不落人后，我国也早已出台相关政策鼓励该领域技术产业的发展。由此可见，人工智能正在改变着人们的生活，也将在不久的未来为人类生活提供更多的便利。提及人工智能的诸多应用，自动驾驶应该是不得不提及的一个。通过人工智能技术，我们可以做到例如障碍物识别、车道检测、路标监测、信号灯监测等多方面信息的快速获取，从而为自动驾驶系统提供非常丰富的信息，帮助自动驾驶系统做出决策，达到保证车辆安全平稳的运行的目的。如今，汽车行业的发展进入了一个相对瓶颈的阶段，机械方面已无太多进步空间，且随着人们环保意识的加强，传统汽车工业在未来将会受到越来越多的限制。当前而言，有两个前景较好的方向，其中一个是新能源汽车，例如氢能源汽车、电能汽车，另一个，就是自动驾驶技术。目前，世界各大车企都在进行这方面的研究，如宝马与奔驰公司合作进行的自动驾驶系统研发，另外也有许多科技企业在这方面发力，诸如谷歌、百度等公司，自动驾驶技术正处于蓬勃发展的阶段。传统自动驾驶大多采用雷达(包括超声波雷达、激光雷达等)以及GPS进行道路信息的收集，该方式具有一定局限性，如遇雷达信号不易分辨前方物体的状况，其仅可以根据回波信号强度粗略判断物体大小，效果较差，另外，对于道路指示信息(如：交通标识、信号灯等)的分辨传统雷达也是有心无力，在复杂路况中无法准确获取道路信息；GPS可以帮助自动驾驶系统大致确定行进路线，但其精度一般在几米范围，无法做到精确识别车道信息；但借助深度学习技术则可以较好地解决这些问题，凸显出人工智能技术在该领域的优势。针对当前技术与方法存在的这些问题，也有一些人尝试了使用深度学习的方法进行基于图像的检测，例如授权公号为CN109190633A，名称为“一种基于深度学习的智能物体识别系统及控制方法”的专利中公开了一种采用深度学习技术的物体识别系统。它采用了图像采集模块与红外偏振光成像模块来进行图像的采集工作，然后使用深度学习技术的CNN神经网络对图像进行学习训练，从而完成检测与识别，但仍存在以下不足：(1)该系统采用的为普通摄像头，仅具有单镜头，因此图像采集的范围较窄，无法较为全面地观察路面情况，视角盲区较大，而且没有比对对象，若摄像头出现故障，可能会导致系统失效；(2)该系统采用CNN网络对摄像头采集到的图像进行检测，该网络仅可以用来识别图像中的物体分类，无法确定物体所处图像中位置并对物体进行标注，因此无法应用于自动驾驶中，且该网络出现时间较长，在目标检测中效果并不理想，尤其是针对较为复杂的场景，检测结果较差，无法准确分辨复杂场景中的各个物体，对于自动驾驶经常需要面对的复杂路况而言，无法胜任。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的问题，提出了一种基于深度学习与双目摄像的自动驾驶目标检测系统及方法，用于提高自动驾驶中目标检测的精确度及物体位置获取的准确度，从而更好的应对复杂路况。实现本专利技术的思路是：通过双目摄像机采集图像并附带点云信息，经数据线传输至图像处理模块进行实时检测，图像处理模块为利用深度神经网络训练数据后构建的检测模块，由其对采集到的图像进行处理，从而实现定位、识别及分类，得到分类结果；最后通过结果输出模块将分类结果拼接为视频并输出，完成自动驾驶中道路状况图像的检测。根据上述思路，本专利技术检测系统，包括：图像采集模块、图像处理模块以及结果输出模块，其中，图像采集模块固定在试验车辆的前挡风玻璃后方，图像处理模块与结果输出模块位于图像处理计算机中。图像采集模块采用双目摄像机进行图像采集，且该双目摄像机具备点云图像功能，可配合点云图像测算距离；图像采集模块通过数据线连接图像处理计算机，用于将采集到的图像传输给图像处理计算机中的图像处理模块；图像处理模块为一种能够自动导入图像数据的检测模块，且该模块利用深度神经网络训练后的数据构建得到，用于对图像进行目标检测并对其中目标进行框定与分类；图像处理模块与结果输出模块通过图像处理计算机的内部程序实现数据传输；结果输出模块用于对图像处理模块处理完成后的图像进行拼接，实现静态图片到运动视频的转换，并输出目标检测结果。本专利技术基于深度学习与双目摄像的自动驾驶目标检测方法，包括如下步骤：(1)图像采集模块通过双目摄像机实时拍摄车辆运行前方的道路图像，包括道路前方行人、车辆和障碍物，并将这些路面信息拍摄为图片存储；同时，摄像机通过自身的点云图像功能获取拍摄画面的点云信息并存储；(2)实时拍摄到的路面信息和点云信息经过数据连接线传输到图像处理计算机中，其中点云信息被长期保存于图像处理计算机中，等待需要距离信息时使用；路面信息暂存于该计算机中；(3)图像处理模块自动导入在图像处理计算机中暂存的路面信息，即摄像机实时拍摄的车辆运行前方的道路图像；(4)图像处理模块对道路图像进行扫描，检测图像是否存在目标，在包含目标的区域生成矩形框，并对于生成的矩形框内的目标根据训练结果进行种类判别，选取相应的类别名称标注在矩形框左上角，对不包含目标的区域不做处理；最终得到目标被矩形框框出、目标类别显示在矩形框左上角的处理结果图，即目标检测结果；(5)图像处理模块处理完大量图像之后，将得到的目标检测结果传入结果输出模块，该模块将图像按照时间顺序组合成视频并输出，即得到当前车辆运行前方的实时目标检测场景；同时，使用目标检测结果与步骤(2)中长期保存于图像处理计算机中的点云信息进行对比，得到目标的距离信息并保存。本专利技术与现有技术相比，具有如下优点：第一，本专利技术采用双目摄像头拍摄车辆运行前方图像，可以减小视觉死角范围，获得更为宽广的视野，通过比对双目的图像从而更加精准地判断前方路况，同时，配合点云图像测量图中各个物体与车辆距离，使系统能够获得更加全面的前方物体信息；第二，本专利技术利用多种深度学习网络对数据集进行训练，能够针对不同的场景做出相应优化，并且能够针对不同场景进行更新，只需要使用新的权重参数即可获得新的检测效果，随后综合对比各权重检测效果，选择当前效果最佳的权重，从而得到最佳检测效果；第三，本专利技术针对自动驾驶会遇到的场景制作了大量数据集，与仅采用网络数据集相比针对性更强，网络能够学习到更多关于道路方面本文档来自技高网...

【技术保护点】
1.一种基于深度学习与双目摄像的自动驾驶目标检测系统，包括图像采集模块、图像处理模块以及结果输出模块，其中，图像采集模块固定在试验车辆的前挡风玻璃后方，图像处理模块与结果输出模块位于图像处理计算机中，其特征在于：/n所述图像采集模块采用双目摄像机进行图像采集，且该双目摄像机具备点云图像功能，可配合点云图像测算距离；图像采集模块通过数据线连接图像处理计算机，用于将采集到的图像传输给图像处理计算机中的图像处理模块；/n所述图像处理模块为一种能够自动导入图像数据的检测模块，且该模块利用深度神经网络训练后的数据构建得到，用于对图像进行目标检测并对其中目标进行框定与分类；图像处理模块与结果输出模块通过图像处理计算机的内部程序实现数据传输；/n所述结果输出模块用于对图像处理模块处理完成后的图像进行拼接，实现静态图片到运动视频的转换，并输出目标检测结果。/n

【技术特征摘要】
1.一种基于深度学习与双目摄像的自动驾驶目标检测系统，包括图像采集模块、图像处理模块以及结果输出模块，其中，图像采集模块固定在试验车辆的前挡风玻璃后方，图像处理模块与结果输出模块位于图像处理计算机中，其特征在于：
所述图像采集模块采用双目摄像机进行图像采集，且该双目摄像机具备点云图像功能，可配合点云图像测算距离；图像采集模块通过数据线连接图像处理计算机，用于将采集到的图像传输给图像处理计算机中的图像处理模块；
所述图像处理模块为一种能够自动导入图像数据的检测模块，且该模块利用深度神经网络训练后的数据构建得到，用于对图像进行目标检测并对其中目标进行框定与分类；图像处理模块与结果输出模块通过图像处理计算机的内部程序实现数据传输；
所述结果输出模块用于对图像处理模块处理完成后的图像进行拼接，实现静态图片到运动视频的转换，并输出目标检测结果。


2.根据权利要求1所述的系统，其特征在于：所述图像处理模块的具体构建步骤如下：
(2a)通过互联网收集至少20000张道路情况图片、在实际场景中制作至少15000张自动驾驶场景图片，这些图片共同组成自动驾驶场景数据集，由该数据集构成数据模块；
(2b)在数据训练计算机中，将数据模块中的数据集输入数据训练网络中，由数据训练网络中的深度神经网络通过GPU对数据集进行目标检测训练，训练过程包括：a.提取目标特征信息，b.确定目标位置、标定锚框，c.分类；得到分类结果，即目标检测训练结果，将该结果保存为权重数据；
(2c)利用(2b)得到的权重数据，在数据训练计算机中构建目标检测模块，实现当手动向目标检测模块中输入图像时，目标检测模块可以对该输入图像进行目标检测，并对其中目标进行框定与分类；
(2d)通过存储设备将目标检测模块移植到图像处理计算机中，并为目标检测模块增加自动导入图像数据的功能，得到图像处理模块。


3.根据权利要求2所述的系统，其特征在于：步骤(2b)所述的深度神经网络为多种神经网络的组合，能够针对相同数据获得不同的学习特征结果。


4.根据权利要求2所述的系统，其特征在于：步骤(2d)所述的为目标检测模块增加自动导入图像数据的功能通过计算机语言编写程序实现，编程语言可使用Pytho...

【专利技术属性】
技术研发人员：李勇，王海璐，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61