【技术实现步骤摘要】
利用眼动追踪和手势识别技术的自动驾驶辅助系统及方法
本专利技术涉及辅助驾驶领域，具体涉及一种利用眼动追踪和手势识别技术的自动驾驶辅助系统。
技术介绍
自动驾驶汽车(Autonomousvehicles)，又称无人驾驶汽车，是一种通过电脑系统和人工智能技术对汽车进行自动控制的智能汽车。自动驾驶技术自20世纪出现萌芽，经历了几十年的孕育与成熟，于21世纪初已出现了实用化的趋势。自动驾驶技术的实现需要多种技术的协同合作，具体包括人工智能(语音识别、计算机视觉等技术分支)、雷达通讯、监控系统以及全球卫星定位系统等。自动驾驶的定义并不是简单的不需要人的驾驶，而是根据自动化的程度由低到高分为多个等级，对技术的要求也由低到高逐渐增加。根据2018年国际自动机工程师学会(SAE)最新修订的SAEJ3016(TM)《标准道路机动车驾驶自动化系统分类与定义》提到的动态驾驶的定义，驾驶中有三个主要的参与者：用户、驾驶自动化系统以及其他车辆系统和组件，并且按照动态驾驶任务的执行者和任务内容，自动假设可分为L0～L5六个级别。其中L0级别为无...
【技术保护点】
1.一种利用眼动追踪和手势识别技术的自动驾驶辅助系统，其特征在于，包括：/n平视显示器，将控制车辆的操作可视化为虚拟按钮的形式，将所述虚拟按钮显示给驾驶员，驾驶员用目光注视和/或手势指示所述平视显示器要做的动作；/n车载摄像头，包括第一车载摄像头和第二车载摄像头，所述第一车载摄像头用于捕捉驾驶员的面部及手部图像，并将捕捉到的图像发送到数据处理中心；所述第二车载摄像用于观察车前挡风窗的视野范围；/n数据处理中心，接收所述车载摄像头捕捉的图像，通过眼神追踪算法和手势识别算法分别对驾驶员的视线和手势进行眼动追踪、手势识别，得到驾驶员目光注视和/或手势指向的方向，从而确定驾驶员要做...
【技术特征摘要】
1.一种利用眼动追踪和手势识别技术的自动驾驶辅助系统，其特征在于，包括：
平视显示器，将控制车辆的操作可视化为虚拟按钮的形式，将所述虚拟按钮显示给驾驶员，驾驶员用目光注视和/或手势指示所述平视显示器要做的动作；
车载摄像头，包括第一车载摄像头和第二车载摄像头，所述第一车载摄像头用于捕捉驾驶员的面部及手部图像，并将捕捉到的图像发送到数据处理中心；所述第二车载摄像用于观察车前挡风窗的视野范围；
数据处理中心，接收所述车载摄像头捕捉的图像，通过眼神追踪算法和手势识别算法分别对驾驶员的视线和手势进行眼动追踪、手势识别，得到驾驶员目光注视和/或手势指向的方向，从而确定驾驶员要做动作对应的虚拟按钮，根据该虚拟按钮对车辆进行相应的操作。
2.根据权利要求1所述的利用眼动追踪和手势识别技术的自动驾驶辅助系统，其特征在于，通过所述第一车载摄像头、所述第二车载摄像头之间的转换关系，得到所述第一车载摄像头的坐标在所述第二车载摄像头内的映射。
3.根据权利要求2所述的利用眼动追踪和手势识别技术的自动驾驶辅助系统，其特征在于，在所述数据处理中心控制下，通过对所述第一车载摄像头、所述第二车载摄像头进行标定，得到所述第一车载摄像头、所述第二车载摄像头的坐标空间的转换矩阵，由所述数据处理中心计算得到的第一车载摄像头空间下的目光注视和手势指示的方向坐标，然后利用所述转换矩阵得到所述第二车载摄像头空间内的对应坐标，再将第二车载摄像头坐标空间内对应的三维坐标映射到前挡风窗对应的二维平面内，最终得到驾驶员注视或指向的虚拟按钮，对车辆进行该虚拟按钮对应的操作。
4.根据权利要求1所述的利用眼动追踪和手势识别技术的自动驾驶辅助系统，其特征在于，所述平视显示器的显示方式为投屏式或非投屏式。
5.根据权利要求4所述的利用眼动追踪和手势识别技术的自动驾驶辅助系统，其特征在于，所述平视显示器采用投屏式显示，则投影仪将所述虚拟按钮构成的桌面投影到车前窗上，在车前窗显示驾驶员能对车辆进行的基本...
【专利技术属性】
技术研发人员：翟广涛，杨小康，邓燚，朱文瀚，贾隽，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。