一种驾驶培训智能教练系统技术方案

本发明专利技术公开了一种驾驶培训智能教练系统。包括在驾驶模拟器上安装的四个摄像头、操作传感器、数据采集卡、计算机，四个摄像头和操作传感器均经数据采集卡和计算机连接；计算机接收摄像头获取的图像和操作传感器采集的电信号，实时识别驾驶者的驾驶操作并提醒，对车辆的运动情况进行动力学仿真，实时根据所采集的操作传感器数据得出驾驶建议进行提醒，通过扬声器发出语音信号告知驾驶者。本发明专利技术用于拓展驾驶模拟器的功能，使计算机能像驾驶教练一样给驾驶学员作出指导，提高驾驶学员在使用驾驶模拟器进行训练时的学习效果。

【技术实现步骤摘要】
一种驾驶培训智能教练系统
本专利技术属于人工智能领域，具体涉及一种驾驶培训智能教练系统。
技术介绍
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大。随着我国的汽车普及程度越来越高，驾驶汽车逐渐成为现代人必需的生活技能。目前，我国国内驾驶培训行业存在很多问题，比如：较低的培训质量、破旧的训练场地与教练车、较少的培训时间、不规范的教练员队伍、高昂的培训费用。新手驾驶者的不当驾驶操作有时还会造成道路拥堵、燃油浪费等问题。汽车驾驶模拟系统的发展与应用，有利于解决上述问题。但是，现在驾校中使用的驾驶模拟系统，无法对驾校学员的驾驶操作作出识别与反馈，也无法像教练一样实时给出驾驶建议，即不具备驾校教练的功能，这也使得驾驶模拟系统难以更多地替换实际的车辆，其优越性难以进一步发挥。
技术实现思路
由于驾校中使用的汽车驾驶模拟器存在上述不足，本专利技术提出了一种驾驶培训智能教练系统，用于拓展驾驶模拟器的功能。为实现上述目的，本专利技术所采取的实现方案如下：本专利技术包括驾驶模拟器，还包含以下组成部分：包括在驾驶模拟器上安装的四个摄像头、操作传感器、数据采集卡、计算机，四个摄像头和操作传感器均经数据采集卡和计算机连接，四个摄像头具体包括：第一摄像头，位于驾驶模拟器的驾驶台面上部并且朝向驾驶者人脸正面侧，获取驾驶者的头部图像；第二摄像头，位于驾驶模拟器的座椅顶端的右侧或者左侧并且朝向方向盘和操作杆，获取方向盘和操作杆的图像；第三摄像头，位于方向盘下方并且朝向离合器踏板、刹车踏板和油门踏板，获取离合器踏板、刹车踏板和油门踏板的图像；第四摄像头，位于驾驶模拟器的右侧方或者左侧方并且朝向方向盘、操作杆、离合器踏板、刹车踏板和油门踏板，获取方向盘、操作杆、离合器踏板、刹车踏板、油门踏板的图像。在驾驶模拟器中，包括座椅和驾驶台面，座椅侧方布置有操作杆，驾驶台面前部布置有方向盘，驾驶台面底部设有离合器踏板、刹车踏板、油门踏板。所述的第二摄像头拍摄的图像中包含有方向盘和操作杆以及放置在方向盘和操作杆上的双手；第三摄像头拍摄的图像中包含有离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚；第四摄像头拍摄的图像中包含有方向盘和操作杆、放置在方向盘和操作杆上的双手，离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚；在计算机中通过第二摄像头拍摄图像中的双手区域第四摄像头拍摄图像中的双手区域相结合实现驾驶者的双手立体三维成像；在计算机中通过第三摄像头拍摄图像中的双脚区域和第四摄像头拍摄图像中的双脚区域相结合实现驾驶者的双手立体三维成像。所述数据采集卡与驾驶模拟器上的操作传感器相连接，获取操作传感器采集的电信号发送给计算机。所述的操作传感器包括安装在方向盘的角位移传感器，离合器踏板、刹车踏板和油门踏板的位置传感器以及驻车制动器、换挡杆和操作开关的开关量传感器，操作开关包括左转向灯、右转向灯、应急灯、喇叭、点火开关、安全带、车门、雨刷、远光灯、近光灯和远近光交替。所述驾驶培训智能教练系统采用以下方式对驾驶者在模拟器上的操作进行控制和提醒：计算机接收摄像头获取的图像和操作传感器采集的电信号，实时识别驾驶者的驾驶操作并提醒，对车辆的运动情况进行动力学仿真，实时根据所采集的操作传感器数据得出驾驶建议进行提醒，通过扬声器发出语音信号告知驾驶者。所述实时识别驾驶者的驾驶操作并提醒，包含以下过程：(1)计算机对摄像头采集的图像信息进行处理，分割出图像中的人脸、手或者脚，进而得到驾驶者脸部的朝向、双手的位置和脚的位置；(2)依据已构建常见驾驶陋习图像模板库判断驾驶者的驾驶操作是否为驾驶陋习；(3)根据判断结果，通过扬声器发出预先储存的语音信号，提醒驾驶者更正驾驶陋习。常见驾驶陋习图像模板库是由摄像头在各自的布置位置拍摄驾驶者在常见驾驶陋习的操作下的图像组成。常见驾驶陋习具体包括：驾驶时左顾右盼、单手打方向盘、“9点、3点握法”之外的方向盘握法、换挡后右手一直放在操作杆上、左脚长时间放在离合器踏板上、用脚心踩脚踏板等。判定规则包括：(1)若系统检测到双手操作方向盘的方式不正确的时间超过3秒，判定手未正确握方向盘，播放提前录制好的“请正确操作方向盘”语音予以提醒，这里的操作方向盘的不正确方式包括：单手打方向盘(不包括右手换挡)、“9点、3点握法”之外的方向盘握法；(2)若系统检测到驾驶者换挡时右手在换挡杆区域停留的时间超过4秒，认为右手在换挡杆停留的时间过长，播放提前录制好的“手不要长时间放在换挡杆上”语音予以提醒；(3)系统每隔3秒对正脸进行检测，检测不到正脸时，则认为学员没有面向前方，播放“请面向前方”语音予以提醒。(4)若系统检测到驾驶者在正常行驶时左脚放在油门上停留的时间超过10秒，认为左脚长时间放在离合器踏板上，播放提前录制好的“左脚不要长时间放在离合器踏板上”语音予以提醒；(5)若系统检测到驾驶者用脚心踩脚踏板，则认为驾驶者踩踏板的方式不正确，播放提前录制好的“请用脚前掌踩踏板”语音予以提醒。所述对车辆的运动情况进行动力学仿真，实时根据所采集的操作传感器数据得出驾驶建议进行提醒，包含以下过程：(1)计算机内预先搭建与驾驶模拟器中驾驶场景同步相同的虚拟场景，并建立与驾驶模拟器中虚拟车辆的运动同步的车辆动力学仿真模型；(2)驾驶者选择驾驶模拟器上的场景进行模拟训练时，计算机上搭建的虚拟场景和车辆动力学仿真模型分别与驾驶模拟器中的驾驶场景和虚拟车辆保持同步；(3)计算机根据虚拟场景中车辆的起始位置与目标位置，通过路径优化拟定一条车辆行驶的预期轨迹，在预期轨迹上设定驾驶拐点和等间隔设定特征点；直线路段的预期轨迹可以直接确定，路径优化主要针对转弯路段，方法具体是：以求得的预期轨迹同转弯前后直线段构成的图形的面积最小为优化目标建立优化命题，约束条件为需满足汽车的动力学特性，利用欧拉离散把优化命题转化为离散型数学规划问题，利用梯度下降法进行求解。(4)用数据采集卡实时间隔采集操作传感器的电信号，计算机将数据采集卡接收的电信号输入到车辆动力学仿真模型，计算当前时刻车辆的位置、方向和速度的情况；(5)当虚拟场景中车辆到达某一特征点附近时，根据当前时刻下方向盘角位移、刹车和油门踏板的位置，结合当前车辆的行进速度、方向和位置计算估计当前时刻到下一时刻的行进轨迹及下一时刻的目标位置；虚拟场景中车辆到达某一特征点附近是建立距离阈值进行判断。方向盘角位移是安装在方向盘的角位移传感器所采集到的信号数据。所述的根据方向盘角位移变化结合当前车辆的行进速度、方向和位置处理估计当前时刻到下一时刻的行进轨迹及下一时刻的估计目标位置，具体是：将当前时刻下方向盘的角位移信息与车辆的行进方向和速度输入到车辆动力学仿真模型，计算在当前时刻的方向盘角位移和车辆行进速度、方向下，车辆行驶的距离达到轨迹特征点的间隔的距离时，车辆的位置为车辆行驶的目标位置。(6)将行进轨迹与预期轨迹之间的夹角和轨迹角度阈值进行比较判断，行进轨迹与预期轨迹之间的夹角为当前车辆位置和下一时刻本文档来自技高网...

【技术保护点】
一种驾驶培训智能教练系统，包括驾驶模拟器，其特征在于：包含以下组成部分：包括在驾驶模拟器上安装的四个摄像头(C1、C2、C3、C4)、操作传感器、数据采集卡、计算机，四个摄像头(C1、C2、C3、C4)和操作传感器均经数据采集卡和计算机连接，四个摄像头具体包括：第一摄像头(C1)，位于驾驶模拟器的驾驶台面上部并且朝向驾驶者人脸正面侧，获取驾驶者的头部图像；第二摄像头(C2)，位于驾驶模拟器的座椅顶端的右侧或者左侧并且朝向方向盘和操作杆，获取方向盘和操作杆的图像；第三摄像头(C3)，位于方向盘下方并且朝向离合器踏板、刹车踏板和油门踏板，获取离合器踏板、刹车踏板和油门踏板的图像；第四摄像头(C4)，位于驾驶模拟器的右侧方或者左侧方并且朝向方向盘、操作杆、离合器踏板、刹车踏板和油门踏板，获取方向盘、操作杆、离合器踏板、刹车踏板、油门踏板的图像。

【技术特征摘要】
1.一种驾驶培训智能教练系统，包括驾驶模拟器，其特征在于：包含以下组成部分：包括在驾驶模拟器上安装的四个摄像头(C1、C2、C3、C4)、操作传感器、数据采集卡、计算机，四个摄像头(C1、C2、C3、C4)和操作传感器均经数据采集卡和计算机连接，四个摄像头具体包括：第一摄像头(C1)，位于驾驶模拟器的驾驶台面上部并且朝向驾驶者人脸正面侧，获取驾驶者的头部图像；第二摄像头(C2)，位于驾驶模拟器的座椅顶端的右侧或者左侧并且朝向方向盘和操作杆，获取方向盘和操作杆的图像；第三摄像头(C3)，位于方向盘下方并且朝向离合器踏板、刹车踏板和油门踏板，获取离合器踏板、刹车踏板和油门踏板的图像；第四摄像头(C4)，位于驾驶模拟器的右侧方或者左侧方并且朝向方向盘、操作杆、离合器踏板、刹车踏板和油门踏板，获取方向盘、操作杆、离合器踏板、刹车踏板、油门踏板的图像。2.根据权利要求1所述的一种驾驶培训智能教练系统，其特征在于：所述的第二摄像头(C2)拍摄的图像中包含有方向盘和操作杆以及放置在方向盘和操作杆上的双手；第三摄像头(C3)拍摄的图像中包含有离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚；第四摄像头(C4)拍摄的图像中包含有方向盘和操作杆、放置在方向盘和操作杆上的双手，离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚；在计算机中通过第二摄像头(C2)拍摄图像中的双手区域第四摄像头(C4)拍摄图像中的双手区域相结合实现驾驶者的双手立体三维成像；在计算机中通过第三摄像头(C3)拍摄图像中的双脚区域和第四摄像头(C4)拍摄图像中的双脚区域相结合实现驾驶者的双手立体三维成像。3.根据权利要求1所述的一种驾驶培训智能教练系统，其特征在于：所述的操作传感器包括安装在方向盘的角位移传感器，离合器踏板、刹车踏板和油门踏板的位置传感器以及驻车制动器、换挡杆和操作开关的开关量传感器，操作开关包括左转向灯、右转向灯、应急灯、喇叭、点火开关、安全带、车门、雨刷、远光灯、近光灯和远近光交替。4.根据权利要求1所述的一种驾驶培训智能教练系统，其特征在于：所述驾驶培训智能教练系统采用以下方式对驾驶者在模拟器上的操作进行控制和提醒：计算机接收摄像头获取的图像和操作传感器采集的电信号，实时识别驾驶者的驾驶操作并提醒，对车辆的运动情况进行动力学仿真，实时根据所采集的操作传感器数据得出驾驶建议进行提醒，通过扬声器发出语音信号告知驾驶者。5.根据权利要求4所述的一种...

【专利技术属性】
技术研发人员：宋春跃，杨雨安，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33