基于眼动数据的脑电实验评估系统及方法技术方案

一种基于眼动数据的脑电实验评估系统及方法，通过眼动仪采集对象眼动数据，根据眼动数据中的注视点建立时间‑空间模型；然后使用动态时间规整算法快速技术计算序列之间相似程度并构建距离矩阵，再通过基于密度的聚类算法进行离群点检测，并根据聚类结果采用学习排序训练模型，经量化排序后得到对象的参与度；本发明专利技术能够客观量化评价对象参与实验认真程度，为实验以及模型形成反馈，以保证数据质量以及提高模型预测精确度。对对象参与实验的程度进行了量化的评估，构造了情绪识别实验的量化反馈。

EEG experiment evaluation system and method based on eye movement data

An EEG experiment evaluation system and method based on eye movement data, collected by eye tracker object eye movement data, according to the eye movement data of the gaze point establishment time space model; and then use the technology of fast dynamic time warping algorithm calculating the similarity degree between the sequence and construct distance matrix, then by detecting the outliers clustering algorithm based on density according to the clustering results, and by learning to rank the training model, the quantitative sequence obtained after the participation of the object; the invention can objective quantitative evaluation object in the experiment seriously, the formation of feedback for the experiment and model, to ensure data quality and improve the prediction accuracy. Quantitative evaluation of the degree of the participants' participation in experiments was conducted, and quantitative feedback of emotion recognition experiments was constructed.

【技术实现步骤摘要】
基于眼动数据的脑电实验评估系统及方法
本专利技术涉及的是一种信息处理领域的技术，具体是一种基于眼动数据的脑电实验评估系统及方法。
技术介绍
机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。机器学习从学习方式上，可以分成：1.监督学习；2.非监督学习；3.半监督学习；4.增强学习。当今监督学习在各领域均有相对较成熟的运用，但是，监督学习对样本标签的依赖限制了其进一步发展：标签不精确、样本基数过大导致给定标签代价过大等等均可能影响监督学习准确度。相反，半监督学习、非监督学习以及增强学习更加接近于人类的学习方式，通过观察来学习做成如何的动作，每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。因此，半监督学习、非监督学习以及增强学习在机器学习领域占据了很重要的一部分。反馈是实现半监督、非监督学习、增强学习十分重要的一环。因此，此方法的提出也是实现更好的非监督学习的重要的一步。现今多数实验均需要通过对象参与实验采集数据，因此，对象参与程度直接影响了数据的优劣程度。例如在情绪识别实验中，对象通过观看刺激素材，被诱发相应的情绪并采集脑电数据，根据脑电数据预测对象在观看各个刺激素材时的情绪。如果对象在观看刺激素材是，出现发呆、走神、或故意不认真观看素材的行为，将导致数据质量低下、模型预测精确度降低。在此方法提出之前，普遍采用填表反馈的方式，对象在结束一个片段的观看后，在反馈表格上填写对自己情绪的评价。这种反馈主观因素过大，也存在对象故意隐瞒、欺骗的可能性，因此，一个客观的基于真实数据来评估对象参与程度的方式十分的重要。动态时间规整算法(DTW)曾经是语音识别的一种主流方法。其将时间规整与距离规整测度结合起来，采用动态规划技术，比较两个大小不同的模式，解决语音识别中语速多变的难题。其基于动态规划，能有效减小搜索时间，但对于大量样本数据，O(n2)时间复杂度仍然会消耗大量运算时间。因此，本方法中采用了DTW的快速技术，由文献StanSalvador&PhilipChan,FastDTW:TowardAccurateDynamicTimeWarpinginLinearTimeandSpace.KDDWorkshoponMiningTemporalandSequentialData提出的FastDTW算法。由于眼动数据的长度不一，本方法将原用于语音识别的技术用在眼动数据匹配上，成为本方法重要的一个组成部分。眼动仪是近年新型的科技产品，佩戴之后，可以精确采集佩戴者关于眼睛运动的信息，包括：眨眼、注视点、注视时长、瞳孔大小。并可统计出：眨眼次数，注视次数，扫视、平均瞳孔大小、平均眨眼时长、眨眼频率、注视频率等。在文献YifeiLu,Wei-LongZheng,BinbinLi,andBao-LiangLu,CombiningEyeMovementsandEEGtoEnhanceEmotionRecognition,inProc.oftheInternationalJointConferenceonArtificialIntelligence(IJCAI'15)中，通过从眼动仪统计数据中提取特征，可以单独用作情绪识别或构造多模态。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种基于眼动数据的脑电实验评估系统及方法，客观量化评价对象参与实验认真程度，为实验以及模型形成反馈，以保证数据质量以及提高模型预测精确度。对对象参与实验的程度进行了量化的评估，构造了情绪识别实验的量化反馈。本专利技术是通过以下技术方案实现的：本专利技术涉及一种基于眼动数据的脑电实验评估系统，包括：眼动仪、距离矩阵生成模块、参与度检测模块以及情绪识别模块，其中：眼动仪与距离矩阵生成模块相连并传输眼动数据信息，距离矩阵生成模块与参与度检测模块相连并传输距离信息，参与度检测模块与情绪识别模块相连并传输参与度检测结果信息以及情绪识别结果信息。所述的眼动数据包括：注视坐标、注视时长、注视起始结束时间、扫视起始坐标、扫视路径、扫视时长、扫视起始结束时间、扫视角度。本专利技术涉及一种基于上述系统的基于眼动数据的脑电实验评估方法，通过眼动仪采集对象眼动数据，根据眼动数据中的注视点建立时间-空间模型；然后使用动态时间规整算法快速技术计算序列之间相似程度并构建距离矩阵，再通过基于密度的聚类算法进行离群点检测和量化排序，得到对象的参与度。所述的距离矩阵，通过以下方式得到：i)顺序提取对象观看刺激素材片段期间的所有注视点，即：{(x1,y1,t1),(x2,y2,t2),…,(xn,yn,tn)}，其中：xi,yi是第i个注视点坐标，ti是第i个注视点时长，n为片段注视点个数；ii)将持续时长小于某预定阈值δ的注视点视为无效注视点，从序列中删除无效注视点。将有效注视点依次展开，即重复坐标t/δ次，其中：t是该注视点的持续时间；iii)将步骤ii)中的注视点根据区域对序列编码；iv)使用动态时间规整算法两两比较序列相似度，得到一个具体数值表示两序列相似程度，越小表示相似度越高；所述的动态时间规整算法是指：FastDTW[StanSalvador&PhilipChan,FastDTW:TowardAccurateDynamicTimeWarpinginLinearTimeandSpace.KDDWorkshoponMiningTemporalandSequentialData,pp.70-80,2004]。v)将每两个序列相似度数值作为距离，构造距离矩阵其中：Dij＝Dji，Dij是第i个序列和第j个序列之间的距离，m为单个刺激素材样本总数，即对象人数；所述的离群点检测和量化排序，具体包括以下步骤：i)基于前一模块的距离数据，使用基于密度的聚类算法，检测出离群点和非离群点。ii)提取每个序列到聚类结果中非离群点的距离作为特征向量<v1,v2,…,vp>，其中vi为第i个特征值，p为特征总数，即非离群点个数；iii)针对每一个刺激素材片段，对需要反馈的实验的样本根据情绪识别结果精度排序，作为训练标签；iv)依次选取一个刺激素材片段作为测试集，使用剩余所有刺激素材片段作为训练集，使用SVMRank训练模型，预测测试样本排序。所述的离群点检测，将对象分成了两类：眼动数据被检测成离群点的对象的参与实验程度不高，脑电、眼动数据质量低下，因此可以科学的避免使用这一部分数据；眼动数据被检测成非离群点的对象，说明其认真地参与了实验，情绪理应得到很好的诱发，数据质量优秀，因此仅使用这一部分数据可以有效提高模型预测精确度。所述的量化排序，预测测试样本排序，量化每个对象的参与程度。量化的结果，用于改进实验，在对象多次实验过程中，给予对象反馈信息，提高对象参与程度。并可将结果融入进原实验，例如给予脑电的情绪识别，预测模型中，提高模型精度。技术效果与现有技术相比，本专利技术通过参与度检测，挑选并使用优质数据，有效的提高情绪识别预测准确度，其次本专利技术通过参与度检测，在被试实验过程中，给予被试反馈信息，提高被试参与程度；使用本专利技术方法进行实验评估，比使用隐马尔科夫模型(HMM)在实现难度上更加简单，有效。附图说明本文档来自技高网...

【技术保护点】
一种基于眼动数据的脑电实验评估系统，其特征在于，包括：眼动仪、距离矩阵生成模块、参与度检测模块以及情绪识别模块，其中：眼动仪与距离矩阵生成模块相连并传输眼动数据信息，距离矩阵生成模块与参与度检测模块相连并传输距离信息，参与度检测模块与情绪识别模块相连并传输参与度检测结果信息以及情绪识别结果信息；所述的眼动数据包括：注视坐标、注视时长、注视起始结束时间、扫视起始坐标、扫视路径、扫视时长、扫视起始结束时间、扫视角度。

【技术特征摘要】
1.一种基于眼动数据的脑电实验评估系统，其特征在于，包括：眼动仪、距离矩阵生成模块、参与度检测模块以及情绪识别模块，其中：眼动仪与距离矩阵生成模块相连并传输眼动数据信息，距离矩阵生成模块与参与度检测模块相连并传输距离信息，参与度检测模块与情绪识别模块相连并传输参与度检测结果信息以及情绪识别结果信息；所述的眼动数据包括：注视坐标、注视时长、注视起始结束时间、扫视起始坐标、扫视路径、扫视时长、扫视起始结束时间、扫视角度。2.一种基于上述系统的基于眼动数据的脑电实验评估方法，其特征在于，通过眼动仪采集对象眼动数据，根据眼动数据中的注视点建立时间-空间模型；然后使用动态时间规整算法快速技术计算序列之间相似程度并构建距离矩阵，再通过基于密度的聚类算法进行离群点检测和量化排序，得到对象的参与度。3.根据权利要求2所述的方法，其特征是，所述的距离矩阵，通过以下方式得到：i)顺序提取对象观看刺激素材片段期间的所有注视点，即：{(x1,y1,t1),(x2,y2,t2),…,(xn,yn,tn)}，其中：xi,yi是第i个注视点坐标，ti是第i个注视点时长，n为片段注视点个数；ii)将持续时长小于某预定阈值δ的注视点视为无效注视点，从序列中删除无效注视点。将有效注视...

【专利技术属性】
技术研发人员：吕宝粮，郑伟龙，石振锋，周畅，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31