一种基于双模态分类模型融合的扫视信号识别方法及系统技术方案

本发明专利技术公开了一种基于双模态分类模型融合的扫视信号识别方法及系统，属于眼电图技术领域，方法包括：同步采集受试者不同扫视动作类别的EOG数据和视频数据；对EOG数据和视频数据分别进行预处理；对EOG数据和视频数据进行端点检测；选择EOG数据端点检测结果和视频数据端点检测结果中有效数据较长端点作为最终的端点检测结果；将两种模态下的有效眼动数据段分成训练集和测试集并进行特征参数提取；将两种模态下有效眼动数据特征参数送入SVM分类器中进行训练，得到两种分类模型；对两种分类模型进行融合；利用测试集中的数据对模型融合进行测试以对扫视信号进行识别。本发明专利技术中融合后的特征具有更多互补信息，提高了信号识别鲁棒性。

A method and system for recognition of saccade signals based on the fusion of dual mode classification model

The invention discloses a system and saccade signal fusion recognition method based on dual mode classification model, which belongs to the technical field, EOG method includes: synchronous acquisition of different subjects at action categories of EOG data and video data; EOG data and video data are preprocessed; endpoint detection of EOG data and video select the EOG data; data endpoint detection results and video data endpoint detection results in longer valid data endpoint as the final result of endpoint detection; effective eye movement data section two modes are divided into training set and test set and extract characteristic parameters; two kinds of mode parameters of eye movement data into effective training SVM classifier two, the classification model; the two classification model of fusion; fusion model test to use test data set The saccade signal is identified. The features of the fusion in the invention have more complementary information, which improves the robustness of signal recognition.

【技术实现步骤摘要】
一种基于双模态分类模型融合的扫视信号识别方法及系统
本专利技术涉及眼电图
，特别涉及一种基于双模态分类模型融合的扫视信号识别方法及系统。
技术介绍
人体行为识别(HumanActivityRecognition，HAR)是对个体行为、人与人之间以及人与对象之间的交互行为的识别和表示。目前已被广泛应用于运动分析、虚拟现实以及病人监护等重点研究领域。其中，眼动在日常行为活动中是比较普遍的活动，在人机交互、认知、药物效果以及心理学等方面都起着重要作用。在基于EOG的HAR系统中，扫视信号的识别对最终的人体行为识别结果起着重要作用。为了实现对扫视扫视信号的有效识别，目前提出的研究方案主要如下：Bulling等人开发的连续小波变换扫视(CWT-SD)算法，该算法将水平和垂直的眼电图信号作为EOG信号分量，去除噪声后作为计算连续小波系数的输入参数，然后应用特定的阈值将水平和垂直的眼电图信号分成扫视或非扫视。Larsson等人提出的一种在平滑追踪运动中检测扫视的新方法。通过将算法的结果与基于速度检测方法的现有结果进行比较来评估算法的性能。类似地，在视频方法中，Pauly等人提出了一种新颖的视本文档来自技高网...

【技术保护点】
一种基于双模态分类模型融合的扫视信号识别方法，其特征在于，包括：S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；S3、分别采用能量法对预处理后的EOG数据进行端点检测，采用阈值法对预处理后的视频数据进行端点检测，得到EOG数据的端点检测结果以及视频数据的端点检测结果；S4、选择EOG数据端点检测结果和视频数据端点检测结果中有效数据较长端点作为最终的端点检测结果应用到EOG数据和视频数据中，得到EOG和视频两种模态下的有效眼动数据段；S5、分别将两种模态下的有效眼动数据段分成训练集和测试集，对训练集和测试...

【技术特征摘要】
1.一种基于双模态分类模型融合的扫视信号识别方法，其特征在于，包括：S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；S3、分别采用能量法对预处理后的EOG数据进行端点检测，采用阈值法对预处理后的视频数据进行端点检测，得到EOG数据的端点检测结果以及视频数据的端点检测结果；S4、选择EOG数据端点检测结果和视频数据端点检测结果中有效数据较长端点作为最终的端点检测结果应用到EOG数据和视频数据中，得到EOG和视频两种模态下的有效眼动数据段；S5、分别将两种模态下的有效眼动数据段分成训练集和测试集，对训练集和测试集中的有效眼动数据进行特征提取，得到两种模态下有效眼动数据的特征参数；S6、将两种模态下有效眼动数据的特征参数分别送入SVM分类器中进行训练，分别得到基于EOG的分类模型以及基于视频的分类模型；S7、利用基于决策层面的模型融合方法将基于EOG的分类模型和基于视频的分类模型进行融合，将决策输出类别作为融合后的分类结果；S8、利用测试集中数据的两种模态下有效眼动数据的特征参数重新执行步骤S6～S7；S9、判断得到的测试结果是否满足预设值；S10、若是，则执行步骤S6～S7对当前采集的两种模态下有效眼动数据特征参数进行处理，进行扫视信号识别，若否，则重新执行步骤S1。2.如权利要求1所述的方法，其特征在于，所述的步骤S2，具体包括：对所述EOG数据进行带通滤波和去均值处理，得到预处理后的EOG数据；对所述眼动视频数据进行粒子滤波处理，计算瞳孔中心位置，获得瞳孔运动轨迹。3.如权利要求1所述的方法，其特征在于，所述的步骤S3中采用能量法对预处理后的EOG数据进行端点检测，具体包括：对预处理后的EOG数据进行分帧加窗处理，并设置经验能量门限值E0；计算当前滑动窗内的能量值E，判断能量值E是否大于能量门限值E0；若是，则将该点标记为可能起始点，并从起始点向后搜索，判断后续点对应的能量值是否大于能量门限值E0；若是，则EOG信号段样本点数加1；若否，则空白段样本点数加1；判断空白段样本点数是否小于空白段允许的最大样本点数；若是，则确定当前滑动窗还在EOG信号段；若否，则判断EOG信号段样本点数是否大于EOG信号段允许的最小样本点数；若是，则确定EOG信号有效起止段；若否，则重置EOG信号段和空白样本段的样本点数为0，重新确定EOG信号段起点。4.如权利要求2所述的方法，其特征在于，所述的步骤S3中采用阈值法对预处理后的视频数据进行端点检测，具体包括：利用最小二乘法对所述瞳孔运动轨迹进行处理，消除所述瞳孔运动轨迹的趋势；将视频图像中第一帧图片的水平和垂直坐标作为参考坐标(x0，y0)以判断扫视方向；根据视频数据在水平方向上的持续时间和设置的坐标阈值，将位于坐标阈值以上的信号置为0，得到处理后的水平和垂直方向信号信息；将所述瞳孔运动轨迹进行归一化处理后，得到处理后的水平和垂直方向信号信息；将处理后的水平方向信号信息和处理后垂直方向信号信息取绝对值后叠加求平均值，并根据平均值设置可调节阈值作为视频数据端点检测阈值；从第一帧图像开始，依次判断每帧图像的幅值是否大于可调节阈值；若否，则确定该真图像为非扫视信号，将非扫视段值置为0并用方波表示；若是，则确定该帧图像位于扫视信号内，将扫视段值置为1并用方波表...

【专利技术属性】
技术研发人员：吕钊，丁晓娟，张超，吴小培，张磊，高湘萍，郭晓静，卫兵，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34