一种融合脑电波和生理信号的多感知智能人机交互方法技术

本发明专利技术公开的属于人工智能与物联网技术领域，具体为一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；本发明专利技术针对识别司机行为精度低和实时性差等问题，使用了多模态感知的方法以提高准确性和速度，通过利用物联网智能硬件平台加装Wifi通信模块使此系统部署极为简便。台加装Wifi通信模块使此系统部署极为简便。台加装Wifi通信模块使此系统部署极为简便。

【技术实现步骤摘要】
一种融合脑电波和生理信号的多感知智能人机交互方法


[0001]本专利技术涉及人工智能与物联网
，具体为一种融合脑电波和生理信号的多感知智能人机交互方法。

技术介绍

[0002]基于车辆行驶数据的智能监控和安全保障，最常使用的技术有：传感器来测量车辆的内部状态，如方向盘角度、加速度、角速度，使用移动智能手机内置传感器来监测驾驶行为。由于以上技术需要较高的成本并且部署困难，很难成为市场上驾驶的主流；基于视频图像的智能监控和安全保障的经典方法是计算PERCLOSE(眼睑闭合的百分比)作为检测疲劳的标准。然而该方法的检测对关照敏感，需要在弱光条件下进行，具有较低的精度和鲁棒性；基于可穿戴设备的智能监控和安全保障，对于驾驶员的复杂状态，如驾驶时的注意力不集中，利用生理信号检测是研究最多的监测方法。该方法通常分为接触法和非接触法，前者包括呼吸、脑电图、心电图等生物特征的提取。在数字信号处理的方法中，有使用运筹学理论来评估驾驶员的状态，还有通过手腕运动检测疲劳的疲劳报警手镯，但是可穿戴设备的智能监控和安全保障方法有着实际应用难、数据粒度粗、没有觅踪功能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：包括以下步骤：步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；其中，所述传感器包括用于采集脑电波信息的脑电波仪器、PPG传感模块，所述PPG传感模块包括心率传感器与血氧浓度传感器，且PPG传感模块放置与方向盘套中，所述物联网终端包括5G通信模块、加速传感器、酒精传感器、语音模块与WIFI通信模块，所述5G通信模块用于与云服务器交互，所述语音模块用于与驾驶者实时语音交互，所述应用移动端用于云服务器进行数据交互获取驾驶者数据。2.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述摄像机基于图像检测能够检测驾驶者的异常状态，异常状态包括疲劳驾驶、抽烟、玩手机、未系安全带、未握住方向盘、未目视前方，所述脑电波仪器基于脑波能够检测驾驶者的专注程度、驾驶者情绪。3.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述PPG传感模块能够检测驾驶者的心率与血氧浓度，所述WIFI通信模块用于将摄像机、传感器采集到的驾驶者数据上传至云服务器。4.根据权利要求2所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述摄像机的图像检测利用OpenCV和Dlib函数库进行人脸识别，检测疲劳状态，首先使用OpenCV自带函数对图像进行降噪等预处理，使用Dlib导入预训练的人脸68点位模型，经过与训练模型后，获得人脸矩形框坐标和68点位坐标，此时可以利用人脸矩形框是否存在判定司机是否目视前方或者偏头，在坐标中找到人眼关键点位，根计算眼睑闭合率，设定阈值，计算上述所述眨眼频率PERLCOSE，当眨眼频率过低时，触发疲劳状态，播报音频。5.根据权利要求2所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述脑波仪器利用集成学习对司机情绪进行分类，并使用语音反馈，能够改善司机驾驶时的心理状态，降低事故发生率，其中包括三个子模块,分别为脑电信号预处理模块、情绪分类模块和反馈模块，其中预处理和分类方法采用和中相似的方法，分类模型也为此原作者提供的预训练的模型。6.根据权利要求5所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述脑电信号预处理模块用于预处理数据、...

【专利技术属性】
技术研发人员：杨巨成，魏峰，吴宗亮，温刚，孙笑，王嫄，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：