本发明专利技术公开了面向自动驾驶的人机协同感知方法及系统，该方法包括：通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，提取脸部特征，获取特征角点；建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，并保存至注视点缓存数据库；基于注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态，构建拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整。本发明专利技术通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。具有较好的经济性。具有较好的经济性。
【技术实现步骤摘要】
面向自动驾驶的人机协同感知方法及系统
[0001]本专利技术涉及智能驾驶的
，特别涉及一种面向自动驾驶的人机协同感知方法及系统。
技术介绍
[0002]智能辅助驾驶乃至自动驾驶技术是未来汽车发展的必然趋势。在该
，当前感知系统成为阻碍自动驾驶技术发展的瓶颈。
[0003]目前，由于单传感器方案在应对复杂环境时存在的信息单一、不确定性高、可靠性低等先天不足，难以满足感知系统鲁棒性、准确性、稳定性的苛刻要求。相反，多传感器信息融合方案能够形成对不确定性信息的有效互补，已经成为当下感知主流的解决方案。激光雷达、毫米波雷达、摄像头、超声波雷达彼此之间或者多个同类型的多传感器组合感知方案就是为了获取车辆相对全面的车身环境信息，但是此类多传感器组合方案无法避开的弊端就是单位时间处理数据量大、硬件资源需求高，往往难以满意系统的实时性要求、系统不经济。
技术实现思路
[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种面向自动驾驶的人机协同感知方法，能够有效降低单位时间处理数据量，提升系统处理速度。
[0005]本专利技术还提出一种具有上述面向自动驾驶的人机协同感知方法的面向自动驾驶的人机协同感知系统。
[0006]根据本专利技术的第一方面实施例的面向自动驾驶的人机协同感知方法，包括以下步骤：S100，通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像，提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；S200，基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；S300，基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；S400，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。
[0007]根据本专利技术实施例的面向自动驾驶的人机协同感知方法，至少具有如下有益效果：通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。
[0008]根据本专利技术的一些实施例，所述步骤S100包括：S110，通过所述双目红外CCD拍摄驾驶员头部影像，获得同一时间不同角度的驾驶员面部图像，进行全景合成拼接、灰度处
理、二值化处理后，得到所述驾驶员面部合成图像；S120，通过人脸肤色模型，对所述驾驶员面部合成图像进行区分，得出待检区域，并基于人脸模型匹配所述待检区域，得到人脸检测图像，存入历史人脸数据库中；S130，从所述人脸检测图像中提取所述特征角点，识别出两只眼睛的内外眼角、两个嘴角及两个人眼中心点，并根据两内眼角和两嘴角建立人脸平面；S140，基于所述双目红外CCD在世界坐标系的位置和方向，求解所述特征角点的三维空间坐标，进行坐标转换得到所述特征角点的世界坐标，并根据所述特征角点的世界坐标建立所述眼球坐标系。
[0009]根据本专利技术的一些实施例，所述步骤S140还包括：S141，从所述历史人脸数据库中读取所述人脸检测图像，通过视频流分析驾驶员面部特征变化及视觉注意力变化，对驾驶员精神状态进行检测，获取精神状态评分；S142，若所述精神状态评分小于设定阈值，则继续通过所述双目红外CCD拍摄驾驶员头部影像获取所述人脸检测图像，重新计算所述精神状态评分；S143，否则，求解所述特征角点的三维空间坐标，并建立所述眼球坐标系。
[0010]根据本专利技术的一些实施例，所述步骤S200包括：S210，对所述驾驶员面部合成图像进行眼球区域识别，截取眼球区域图像，将所述眼球区域图像进行阈值分析，分别获取瞳孔阈值图像和普尔钦斑阈值图像，识别瞳孔和普尔钦斑，并计算出瞳孔中心和普尔钦斑点中心坐标，确立瞳孔-普尔钦斑位置关系映射函数；S220，根据所述瞳孔-普尔钦斑位置关系映射函数得出所述驾驶员三维视线；S230，通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系；S240，对所述驾驶员三维视线与环境感知摄像头成像求交，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库。
[0011]根据本专利技术的一些实施例，所述步骤S220还包括：S221，通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三轴平动数据进行记录，得到头部运动数据；S222，基于环境模型进行数据融合，通过所述头部运动数据补偿视线追踪数据，推算并输出所述驾驶员三维视线。
[0012]根据本专利技术的一些实施例，所述眼动状态包括：注视、跳视以及平滑尾随跟踪。
[0013]根据本专利技术的一些实施例，所述步骤S400还包括：S410，获取当前驾驶员眼动特征，并与预设驾驶员眼动特征数据库的数据眼动特征进行比对，获取通过环境感知摄像头获取的感知图像的像素特征分类；S420，根据所述像素特征分类，对所述感知图像进行处理。
[0014]根据本专利技术的第二方面实施例的面向自动驾驶的人机协同感知系统，包括：面部图像采集模块，用于通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像；角点定位模块，用于从所述驾驶员面部合成图像中提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；注视点获取模块，用于基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；拓维感知标记模块，用于基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；感知融合模块，根据所述拓维环境感知图像数据库，对自动驾驶过
程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。
[0015]根据本专利技术实施例的面向自动驾驶的人机协同感知系统，至少具有如下有益效果：通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。
[0016]根据本专利技术的一些实施例，还包括：头部运动补偿模块，用于通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向自动驾驶的人机协同感知方法，其特征在于，包括以下步骤：S100，通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像，提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；S200，基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；S300，基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；S400，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。2.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S100包括：S110，通过所述双目红外CCD拍摄驾驶员头部影像，获得同一时间不同角度的驾驶员面部图像，进行全景合成拼接、灰度处理、二值化处理后，得到所述驾驶员面部合成图像；S120，通过人脸肤色模型，对所述驾驶员面部合成图像进行区分，得出待检区域，并基于人脸模型匹配所述待检区域，得到人脸检测图像，存入历史人脸数据库中；S130，从所述人脸检测图像中提取所述特征角点，识别出两只眼睛的内外眼角、两个嘴角及两个人眼中心点，并根据两内眼角和两嘴角建立人脸平面；S140，基于所述双目红外CCD在世界坐标系的位置和方向，求解所述特征角点的三维空间坐标，进行坐标转换得到所述特征角点的世界坐标，并根据所述特征角点的世界坐标建立所述眼球坐标系。3.根据权利要求2所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S140还包括：S141，从所述历史人脸数据库中读取所述人脸检测图像，通过视频流分析驾驶员面部特征变化及视觉注意力变化，对驾驶员精神状态进行检测，获取精神状态评分；S142，若所述精神状态评分小于设定阈值，则继续通过所述双目红外CCD拍摄驾驶员头部影像获取所述人脸检测图像，重新计算所述精神状态评分；S143，否则，求解所述特征角点的三维空间坐标，并建立所述眼球坐标系。4.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S200包括：S210，对所述驾驶员面部合成图像进行眼球区域识别，截取眼球区域图像，将所述眼球区域图像进行阈值分析，分别获取瞳孔阈值图像和普尔钦斑阈值图像，识别瞳孔和普尔钦斑，并计算出瞳孔中心和普尔钦斑点中心坐标，确立瞳孔-普尔钦斑位置关系映射函数；S220，根据所述瞳孔-普尔钦斑位置关系映射函数得出所述驾驶员三维视线；S230，通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，...
【专利技术属性】
技术研发人员：池成，徐刚，沈剑豪，邓远志，林国勇，周阳，李文杰，
申请(专利权)人：深圳技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。