预测式驾驶辅助模拟系统技术方案

本发明专利技术公开了一种预测式驾驶辅助模拟系统。利用本发明专利技术能够对实时路况图像进行精确获取和多点并行化处理。本发明专利技术通过下述技术方案予以实现：路况模拟模块利用车辆上的光学摄像头采集实时路况数据；实时采集显示前端通过配置程序控制摄像头，采集模拟路况后选取每种颜色的高四位作为输出图像数据，将高五位转换为灰度图像存入FPGA内存中；图像处理及预测模块对存入FPGA中的灰度图像进行常规路况物体匹配，输出常规驾驶提示信号，将动目标与背景分离，再利用嵌入软核中多核并行的方式，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，输出叠加后的图像；控制模拟终端输出语音提示信息并控制舵机来转换方向或控制电机来控制速度。

【技术实现步骤摘要】
预测式驾驶辅助模拟系统
本专利技术涉及一种带有预测功能的驾驶辅助模拟系统。
技术介绍
近年来，在汽车保有量大幅增加的同时，交通事故的发生也不容忽视，而人为因素是交通事故的主要原因，如疲劳驾驶、操作失误等都带来一系列严重的后果。同时由于驾驶培训的参差不齐，驾驶员注意力的局限性，引申出众多问题，如拥挤的交通、多发的交通意外、违规的操作，还造就了一批基数庞大的人群——拥有驾照却不敢独立行车的新手司机，其中女司机尤其居多。多数由于缺乏驾驶经验，造成失误多、胆怯，需要驾驶经验丰富的老司机长期陪同指导，或者彻底挥别驾驶生涯。因此辅助驾驶、安全提示、行车安全预测预警技术的研究迫在眉睫，拥有巨大的市场需求。自动驾驶发展火热，特斯拉、奔驰等公司已经在国外推出了自动驾驶汽车，市场关注度高。目前的无人驾驶汽车还在研发及测试阶段，但近十年来，在没有形成全面的物联网控制的无人驾驶环境前，出于安全性和习惯性考虑，大众对其的接受能力相对较低。特别是针对中国市场，还有几大难题需要解决：算法如何适应复杂多变的行车环境？出现事故权责如何认定？自动驾驶技术安全、准确率方面是否万无一失？汽车厂商不开放汽车控制权如何进行开发？昂贵的造价是否能适应中国市场？这些问题都预示着自动驾驶在中国的普及起码还有十年到二十年的缓冲期，如何在自动驾驶还未普及的这段时间，以辅助驾驶为切入点，开发出适应现状，服务新手人群，具有自身产品特色、价格适中、面向普通大众、且适合验证算法的系统，从而快速抢占市场为后续发展布局需要深入研究。目前行车安全市场上的相似系统仅具备简单提示功能，如偏离车道、变道等，不能有效快速地对随机动目标进行侦获，且仅针对已发生的事实现场处理，反应时间紧张。同时由于车辆控制权的影响，仅能够语音提示。为了增加反应时间、能够有效模拟车辆控制，现有技术出现了处理来自数码摄像机、激光器、雷达和其它感应器等来源的数据信息，以便执行诸如路线起程提示、瞌睡感应或停车辅助之类任务的车用视觉控制系统或盲点检测系统。某些车用视觉控制系统处理过的信息显示支持功能，例如停车辅助会显示在显示屏上或通过声音警告信号广播出来。但目前的驾驶员辅助系统(ADAS)，能够在复杂的车辆操控过程中为驾驶员提供辅助和补充，并未最终实现无人驾驶。由于驾驶过程中会面临非常复杂的交通状况，需要对汽车进行动力控制,还要保持对汽车周围环境的关注。如何开发一种能够进行未来自动驾驶算法验证的驾驶辅助系统ADAS仍然是研究的重点。预测式ADAS也只能部分控制车辆的移动预防事故发生。驾驶辅助系统ADAS是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。国内外目前已有的一些驾驶辅助系统基于事实图像进行判断，对移动威胁判决主要体现在与本身的距离方面，容易受光线、天气影响。由于目前驾驶控制类在国内尚未完全开放，即使想进行自动驾驶、辅助驾驶类开发，汽车厂商不开放汽车控制权成为最大的难题。真实车辆及驾驶场景的打造也决定了其昂贵的成本。国外如特斯拉、奔驰等公司都是直接着手自动驾驶，但人们对于新事物往往有一种畏惧心理。很多初学者因为畏惧情绪，导致不敢独立驾车。
技术实现思路
本专利技术的目的是针对现有市场存在的不足之处，提供一种能够减少驾驶控制参与，降低危险的发生，增加处理时间，实时性强,处理速度快，模拟效果真实的预测式驾驶辅助模拟系统，以模拟的方式降低车企介入难度和研发试验成本。为了解决上述技术问题，本专利技术采用如下技术方案：一种预测式驾驶辅助模拟系统，包括：路况模拟模块、实时采集显示前端、图像处理及预测模块和控制模拟终端，其特征在于：路况模拟模块利用安装在实际车辆上的光学摄像头采集并存储实时路况的数据；实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，采集路况模拟模块正在播放的模拟路况数据，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出图像数据，将高五位转换为灰度图像存入带有现场可编程门阵列FPGA芯片的开发板内存中进行下一步处理；图像处理及预测模块在FPGA中对存入的灰度图像进行预处理并进行常规路况物体匹配，根据匹配结果输出常规驾驶提示信号进行常规路况物体匹配，同时选取多帧图像进行差分处理，利用目标大小、多目标间距离和运动速度设置阈值，将动目标与背景分离，再利用嵌入的nios软核中多核并行的方式，同时对多个威胁目标的行为进行行为库匹配，根据匹配结果输出对应的提示信号并存储目标状态，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，并在VGA上输出叠加后的图像，对满足同一种预测过程保持门限时间的要求，然后根据匹配结果输出对应的预测提示信号；控制模拟终端根据之前各类提示信号的优先顺序，输出对应的语音提示音，并控制模型车电压变化方波的占空比，从而控制舵机来转换方向或控制电机来控制速度，达到模拟驾驶的作用。本专利技术相比于现有技术具有如下有益效果：减少了驾驶控制参与，降低了危险的发生。本专利技术采用的路况模拟模块利用安装在实际车辆上的光学摄像头采集并存储实时路况的数据，实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，对正在播放进行采集的路况图像，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出，将高五位转换为灰度图像存入带有FPGA芯片的开发板内存中进行下一步处理，然后依据预测的警戒等级划分进行报警提示，增加用户反应时间，提示用户提前注意，降低危险的发生。引入的预测功能，能够增加处理时间，降低危险的发生。增加的趋势预测功能可以在事实发生前提前预测，对威胁物未来的行进方向、曲线、速度进行预测，利用模板匹配及帧差技术，提示当前危险，利用预测算法，提高对未来风险的预判能力，利用语音和机械控制模拟驾驶辅助过程。能够减少驾驶者在车辆控制中的参与，发挥引导驾驶、自动提示并控制的作用，能够有效减少司机的工作负担并且提高了操控的方便性和驾驶的安全性。实时性强,处理速度快。本专利技术采用的图像处理及预测模块在FPGA中对存入的灰度图像进行预处理并进行常规路况物体匹配，根据匹配结果输出常规驾驶提示信号。同时选取多帧图像进行差分处理，将动目标与背景分离，利用目标大小、多目标间距离和运动速度设置阈值，再利用多核并行的方式同时对多个威胁目标的行为进行行为库匹配，根据匹配结果输出对应的提示信号并存储目标状态，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，将OpenCL引入FPGA嵌入的内核中进行多核并行加速：利用FPGA本身编程语言的并行特性，以及在FPGA嵌入NIOS软核的方式，采用多核并行处理的方式，将OpenCL标准引入FPGA中，具有较强的实时性。通过开发实现多种并行方式协同工作，能够大幅提高性能，加快处理速度。模拟效果真实。本专利技术采用的控制模拟终端根据前各类提示信息的优先顺序，控制模型车电压变化方波的占空比，以模拟系统的方式控制舵机来转换方向或控制电机来控制速度，降低了系统成本和试验成本，且模拟效果接近真实，更加安全。通过利用路况模拟模块进行实时路况模拟，在室内即可进行算法验算和调本文档来自技高网...

【技术保护点】
1.一种预测式驾驶辅助模拟系统，包括：路况模拟模块、实时采集显示前端、图像处理及预测模块和控制模拟终端，其特征在于：路况模拟模块利用安装在实际车辆上的光学摄像头采集并存储实时路况的数据；实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，采集路况模拟模块正在播放的模拟路况数据，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出图像数据，将高五位转换为灰度图像存入带有现场可编程门阵列FPGA芯片的开发板内存中进行下一步处理；图像处理及预测模块在FPGA中对存入的灰度图像进行预处理并进行常规路况物体匹配，根据匹配结果输出常规驾驶提示信号，同时选取多帧图像进行差分处理，利用目标大小、多目标间距离和运动速度设置阈值，将动目标与背景分离，再利用嵌入的nios软核中多核并行的方式，同时对多个威胁目标的行为进行行为库匹配，根据匹配结果输出对应的提示信号并存储目标状态，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，并在VGA上输出叠加后的图像，对满足同一种预测过程保持门限时间的要求，然后根据匹配结果输出对应的预测提示信号；控制模拟终端根据之前各类提示信号的优先顺序，输出对应的语音提示音，并控制模型车电压变化方波的占空比，从而控制舵机来转换方向或控制电机来控制速度，达到模拟驾驶的作用。...

【技术特征摘要】
1.一种预测式驾驶辅助模拟系统，包括：路况模拟模块、实时采集显示前端、图像处理及预测模块和控制模拟终端，其特征在于：路况模拟模块利用安装在实际车辆上的光学摄像头采集并存储实时路况的数据；实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，采集路况模拟模块正在播放的模拟路况数据，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出图像数据，将高五位转换为灰度图像存入带有现场可编程门阵列FPGA芯片的开发板内存中进行下一步处理；图像处理及预测模块在FPGA中对存入的灰度图像进行预处理并进行常规路况物体匹配，根据匹配结果输出常规驾驶提示信号，同时选取多帧图像进行差分处理，利用目标大小、多目标间距离和运动速度设置阈值，将动目标与背景分离，再利用嵌入的nios软核中多核并行的方式，同时对多个威胁目标的行为进行行为库匹配，根据匹配结果输出对应的提示信号并存储目标状态，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，并在VGA上输出叠加后的图像，对满足同一种预测过程保持门限时间的要求，然后根据匹配结果输出对应的预测提示信号；控制模拟终端根据之前各类提示信号的优先顺序，输出对应的语音提示音，并控制模型车电压变化方波的占空比，从而控制舵机来转换方向或控制电机来控制速度，达到模拟驾驶的作用。2.如权利要求所述的预测式驾驶辅助模拟系统，其特征在于：路况模拟模块硬件包括，连接光学摄像头的单片机控制板，以及播放用的VGA显示屏，单片机控制板携带有单片机芯片、存储模块和VGA接口，在单片机芯片中，根据摄像头控制协议编写摄像头配置模块。3.如权利要求1所述的预测式驾驶辅助模拟系统，其特征在于：实时采集显示前端包含了连接摄像头配置模块的输入COMS摄像头、携带有2个内存模块、时钟控制电路模块和数据交互接口的FPGA控制板，摄像头配置模块是在FPGA芯片中根据COMS摄像头控制协议文件编写的软件程序模块。4.如权利要求1所述的预测式驾驶辅助模拟系统，其特征在于：图像处理及预测模块包含携带有行为库存储模块、多个内存模块、VGA输出接口、提示信号输出接口和时钟控制模块以及FPGA芯片的FPGA开发板，FPGA芯片中包含软件编写的常规行进匹配算法模块、威胁目标提取算法模块和Nios软核，Nios软核中包含软件编写的满足OpenCL标准的多核处理控制程序和行为预测算法模块。5.如权利要求4所述的预测式驾驶辅助模拟系统，其特征在于：Nios软核利用多核处理控制程序来多路并行调用行为预测算法模块；行为预测算法模块根据提取出的威胁目标的多个连续位置进行曲线拟合，生成的预测轨迹曲线与原始图像像素叠加通过VGA输出图像数据，同时根据预测轨迹曲线与外部行为库中的行为模式进行匹配，匹配成功后输出对应的提示信号。6.如权利要求4所述的预测式驾驶辅助模拟系统，其特征在于：常规行进匹配算法模块将获取的图像与事先存储的物体或行进标志图像进行相似度匹配，匹配上后与行为库进行行为匹配，输出对应的指示信号。7.如权利要求所述的预测式驾驶辅助模拟系统，其特征在于：威胁目标提取算法模块将多帧图像做差并二值化处理后，提取出与常规环境有巨大区别的目标区域，对目标区域采用滑动滤波的方式去除杂点，...

【专利技术属性】
技术研发人员：张萌，高宗伟，张希会，陈文洁，刘勇，
申请(专利权)人：西南电子技术研究所中国电子科技集团公司第十研究所，
类型：发明
国别省市：四川,51