一种融合脑电波和生理信号的多感知智能人机交互方法技术

本发明专利技术公开的属于人工智能与物联网技术领域，具体为一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；本发明专利技术针对识别司机行为精度低和实时性差等问题，使用了多模态感知的方法以提高准确性和速度，通过利用物联网智能硬件平台加装Wifi通信模块使此系统部署极为简便。台加装Wifi通信模块使此系统部署极为简便。台加装Wifi通信模块使此系统部署极为简便。

【技术实现步骤摘要】
一种融合脑电波和生理信号的多感知智能人机交互方法


[0001]本专利技术涉及人工智能与物联网
，具体为一种融合脑电波和生理信号的多感知智能人机交互方法。

技术介绍

[0002]基于车辆行驶数据的智能监控和安全保障，最常使用的技术有：传感器来测量车辆的内部状态，如方向盘角度、加速度、角速度，使用移动智能手机内置传感器来监测驾驶行为。由于以上技术需要较高的成本并且部署困难，很难成为市场上驾驶的主流；基于视频图像的智能监控和安全保障的经典方法是计算PERCLOSE(眼睑闭合的百分比)作为检测疲劳的标准。然而该方法的检测对关照敏感，需要在弱光条件下进行，具有较低的精度和鲁棒性；基于可穿戴设备的智能监控和安全保障，对于驾驶员的复杂状态，如驾驶时的注意力不集中，利用生理信号检测是研究最多的监测方法。该方法通常分为接触法和非接触法，前者包括呼吸、脑电图、心电图等生物特征的提取。在数字信号处理的方法中，有使用运筹学理论来评估驾驶员的状态，还有通过手腕运动检测疲劳的疲劳报警手镯，但是可穿戴设备的智能监控和安全保障方法有着实际应用难、数据粒度粗、没有觅踪功能且警示用户的体验不佳等问题。
[0003]一种新的高级驾驶辅助和监测系统(ADMAS)结构，检测异常情绪、警示和保护司机行车安全。该系统可以提前预测并纠正司机不良情绪；基于深度学习的异常情绪检测，可以预测驾驶员在执行某些动作前几秒的行为；基于脑电波的情绪检测，可以采用“湿电极”和“干电极”两种方式。
[0004]采用“湿电极”检测精度高但佩戴装置复杂，采用“干电极”检测收集装置简便但精度不高并且会受到外界噪声的干扰。目前基于司机异常驾驶行为检测研究主要包括：基于车辆驾驶数据、基于穿戴设备和基于视频图像的检测。基于车辆驾驶数据，成本过高、实时性差；基于穿戴设备，便捷度低，体验效果差，没有觅踪和警示功能；基于视频图像的智能监控，鲁棒性差，识别精度低。综上所述，目前基于司机异常情绪、行为和生理信号的检测，国内外的研究都缺少一种有效、高效和识别精度高的监测，并及时预警、监管司机异常情绪、行为和生理信号的安全驾驶监测系统。

技术实现思路

[0005]本专利技术的目的在于提供一种融合脑电波和生理信号的多感知智能人机交互方法，以解决上述
技术介绍
中提出的成本过高、实时性差；基于穿戴设备，便捷度低，体验效果差，没有觅踪和警示功能；基于视频图像的智能监控，鲁棒性差，识别精度低的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：
[0007]步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；
[0008]步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；
[0009]其中，所述传感器包括用于采集脑电波信息的脑电波仪器、PPG传感模块，所述PPG传感模块包括心率传感器与血氧浓度传感器，且PPG传感模块放置与方向盘套中，所述物联网终端包括5G通信模块、加速传感器、酒精传感器、语音模块与WIFI通信模块，所述5G通信模块用于与云服务器交互，所述语音模块用于与驾驶者实时语音交互，所述应用移动端用于云服务器进行数据交互获取驾驶者数据。
[0010]优选的，所述摄像机基于图像检测能够检测驾驶者的异常状态，包括疲劳驾驶、抽烟、玩手机、未系安全带、未握住方向盘、未目视前方，所述脑电波仪器基于脑波能够检测驾驶者的专注程度、驾驶者情绪。
[0011]优选的，所述PPG传感模块能够检测驾驶者的心率与血氧浓度，所述WIFI通信模块用于将摄像机、传感器采集到的驾驶者数据上传至云服务器。
[0012]优选的，所述摄像机的图像检测利用OpenCV和Dlib函数库进行人脸识别，检测疲劳状态，首先使用OpenCV自带函数对图像进行降噪等预处理，使用Dlib导入预训练的人脸68点位模型，经过与训练模型后，获得人脸矩形框坐标和68点位坐标，此时可以利用人脸矩形框是否存在判定司机是否目视前方或者偏头，在坐标中找到人眼关键点位，根计算眼睑闭合率，设定阈值，计算上述所述眨眼频率PERLCOSE，当眨眼频率过低时，触发疲劳状态，播报音频。
[0013]优选的，所述脑波仪器利用集成学习对司机情绪进行分类，并使用语音反馈，能够改善司机驾驶时的心理状态，降低事故发生率，其中包括三个子模块,分别为脑电信号预处理模块、情绪分类模块和反馈模块，其中预处理和分类方法采用和中相似的方法，分类模型也为此原作者提供的预训练的模型。
[0014]优选的，所述脑电信号预处理模块用于预处理数据、提取脑电信号时序特征，获得的输出为数字信号：8个3字节无符号整数的序列，也就是8中频段的脑波信号，这些脑波信号分别为：低频阿尔法波，高频阿尔法波，低频贝塔波，高频贝塔波，低频伽马波，高频伽马波，德尔塔波，希塔波，8次采集为一小组，40次为一个批次，形成一个矩阵X∈R8×8×5，当清洗无用数据后，需要提取数值特征，使用均值、方差、峰度值、求和、标准差、中位数、偏度值、极小值、极大值多个特征，需要使用Tsfresh模块提取，当原数据提取特征之后变为一个特征矩阵F∈R
10
×5，输入之后的分类模型。
[0015]优选的，所述情绪分类模块对预处理的脑波信号分类，在得到5秒钟的脑波信号后，将它输入预训练模型，采用了多个机器学习模型，使用了集成学习的Voting方法，投票方式为hard voting，集成的模型有决策树、K近邻、AdaBoosting、梯度提升、连续型朴素贝叶斯模型，之后根据阈值预测值分为3类，分别对应：Positive，Neutral，Negative，所述反馈模块将情绪可听化反馈司机情绪，这个模块可以根据不同的情绪自适应播放音乐，反馈司机，从而调节情绪，首先播报语音告知司机其当前情绪，之后播放音乐，对过于兴奋或者负面的异常情绪进行干预。
[0016]优选的，所述应用移动端用于数据展示，可视化司机行为，从数据库获取司机今日驾驶数据和单次驾驶数据后，动态更新界面，其中日驾驶数据主要记录司机抽烟、安全带、
是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，并且根据脑波仪的数据计算专注率；单驾驶数据包括抽烟、安全带、是否目视前方、是否握紧方向盘、玩手机、疲劳等状态，实时心率、血氧浓度、眨眼频率，且根据脑波仪的数据计算专注率、情绪。
[0017]优选的，所述云服务器为阿里云弹性服务器，2GB内存，40GB硬盘，宽带1Mbps，服务器系统选择CentOS，数据库选择MySQL，首先使用本地客户端通过SSH协议登录，使用FTP协议传输文件，创建数据库名称“driver”，有三张表，分别用来存储司机登录数据、每日状态数据、单次驾驶状态数据，数据库需要包含三张表，分别包括用户登录信息、日数据和单次数据，其中在用户表中ID号为主键，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：包括以下步骤：步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；其中，所述传感器包括用于采集脑电波信息的脑电波仪器、PPG传感模块，所述PPG传感模块包括心率传感器与血氧浓度传感器，且PPG传感模块放置与方向盘套中，所述物联网终端包括5G通信模块、加速传感器、酒精传感器、语音模块与WIFI通信模块，所述5G通信模块用于与云服务器交互，所述语音模块用于与驾驶者实时语音交互，所述应用移动端用于云服务器进行数据交互获取驾驶者数据。2.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述摄像机基于图像检测能够检测驾驶者的异常状态，异常状态包括疲劳驾驶、抽烟、玩手机、未系安全带、未握住方向盘、未目视前方，所述脑电波仪器基于脑波能够检测驾驶者的专注程度、驾驶者情绪。3.根据权利要求1所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述PPG传感模块能够检测驾驶者的心率与血氧浓度，所述WIFI通信模块用于将摄像机、传感器采集到的驾驶者数据上传至云服务器。4.根据权利要求2所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述摄像机的图像检测利用OpenCV和Dlib函数库进行人脸识别，检测疲劳状态，首先使用OpenCV自带函数对图像进行降噪等预处理，使用Dlib导入预训练的人脸68点位模型，经过与训练模型后，获得人脸矩形框坐标和68点位坐标，此时可以利用人脸矩形框是否存在判定司机是否目视前方或者偏头，在坐标中找到人眼关键点位，根计算眼睑闭合率，设定阈值，计算上述所述眨眼频率PERLCOSE，当眨眼频率过低时，触发疲劳状态，播报音频。5.根据权利要求2所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述脑波仪器利用集成学习对司机情绪进行分类，并使用语音反馈，能够改善司机驾驶时的心理状态，降低事故发生率，其中包括三个子模块,分别为脑电信号预处理模块、情绪分类模块和反馈模块，其中预处理和分类方法采用和中相似的方法，分类模型也为此原作者提供的预训练的模型。6.根据权利要求5所述的一种融合脑电波和生理信号的多感知智能人机交互方法，其特征在于：所述脑电信号预处理模块用于预处理数据、...

【专利技术属性】
技术研发人员：杨巨成，魏峰，吴宗亮，温刚，孙笑，王嫄，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：