一种基于EOG的人体行为识别系统及方法技术方案

本发明专利技术公开了一种基于EOG的人体行为识别系统及方法，首先建立一个基于Hjorth参数的EOG信号识别模型，用于实现对原始单元EOG信号的识别；同时，使用N‑gram方法统计背景任务下不同行为状态的上下文关系，并建立一个眼动信号‑行为状态关系模型；最后，通过置信度参数对两个模型输出的结果进行综合的分析与判断，以获取受试者最可能的行为状态。本发明专利技术的一种基于EOG的人体行为识别方法，具有识别正确率更高、扩展性更强、应用前景良好等优点。

【技术实现步骤摘要】

本专利技术属涉及一种人体行为识别系统及方法，具体地说，涉及一种基于EOG的人体行为识别系统及方法。
技术介绍
人体行为识别(Humanactivityrecognition,HAR)指对被观测个体的动作类型、行为模式等信息进行综合地分析与识别，并将识别结果通过自然语言等方式进行描述。研究表明，人在进行特定活动时所引发的眼动模式在很大程度上能够揭示其行为状态，如：阅读、写作、休息等，而这种眼动模式可以通过对眼球运动情况的跟踪来获取，因此基于眼动信息的人体行为识别算法的设计与实现已经成为新的研究热点。近年来，眼电图(Electro-oculogram,EOG)因价格低廉、容易获取、处理简单、易于携带等优点被证明是用于测量眼球运动最有效的工具之一。因此，使用EOG方法进行HAR系统设计具有重要的研究价值。EOG-HAR系统是指将EOG信号作为被观测对象，通过对其分析与识别，获取被观测对象的动作类型、行为模式等信息。在系统实现过程中，行为状态的检测和分析较为关键，为此研究者们做出大量研究，其中BullingA首次提出一种新的方法检测扫视、眨眼、凝视，并通过对重复的眼动模式序列进行编码，从而提取不同行为状态的特征。后来，ShreyasiDatta将小波变换和AAR模型以及Hjorth参数结合起来用于提取不同行为状态的特征，从而进行识别。上述检测方法虽然取得了一定的成功，但是他们仅仅是从基本EOG单元的识别与根据时序建立简单的码表的层面上进行人体行为的识别，难以保证信号的识别正确率。
技术实现思路
本专利技术的目的在于克服上述技术存在的缺陷，提供一种基于EOG的人体行为识别系统及方法，识别正确率更高、扩展性更强、应用前景良好。其具体技术方案为：一种基于EOG的人体行为识别系统，包括单元EOG信号识别模块、眼动信号-行为状态关系模块和信息融合模块；所述单元EOG信号识别模块通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断，该模块包括多导联EOG信号的采集、预处理及基于信号平均功率，平均频率，信号带宽参数的特征提取与识别单元；所述眼动信号-行为状态关系模块使用N-gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；所述信息融合模块指使用置信度参数对单元EOG信号识别模块和眼动信号-行为状态关系模块的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态。进一步，所述单元EOG信号识别模块中信号采集电极的安装位置为：(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处。进一步，所述单元EOG信号识别模块中对原始信号的预处理过程：采用的是截止频率为0.01-10Hz的32阶fir带通滤波器。进一步，所述单元EOG信号识别模块中使用信号平均功率、信号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：A(x)＝var(x)(1)上式中，x为输入EOG信号，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。将得到的三个特征参数数据集分为训练和测试两部分，训练部分送入支持向量机(SupportVectorMachine,SVM)模型中进行训练，测试部分送入训练好的SVM模型中进行识别，其中SVM模型采用了径向基函数(RadialBasisFunction，RBF)，惩罚因子设定为1。进一步，所述的眼动信号-行为状态关系模型建立的具体方法为：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就可以写为其中表示状态序列S1,S2,...,Sn-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：和分别表示状态序列(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数。本专利技术中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：通过公式(5)，能够求得当前每种行为状态出现的概率，即每种行为状态之间的转移概率。进一步，所述的信息融合模块中置信度参数的获取步骤如下：(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；(2)用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；(3)对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；(4)计算到两个模型的距离差dd＝dr-de。当dd>＝CM时，就认为识别结果正确；当dd<CM时，就认为识别结果错误，其中，CM为置信度门限，需要根据经验进行人为的设置。一种基于EOG的人体行为识别方法，包括如下步骤：步骤1：建立单元EOG信号识别模型，该模型主要分为以下三个部分：(1)信号采集：实验使用NeuroScan采集设备，使用6个生物电极采用双极导联方式进行数据采集，电极安放位置如本专利技术所要求，并在设计好的实验范式条件下采集大量的阅读、写作、休息数据。采集到的数据分成两部分，一部分作为训练数据，另一部分作为测试数据。(2)信号预处理：对上述所说的训练数据采用截止频率为0.01-10Hz的32阶fir带通滤波器进行滤波，并对测试数据做相同处理。(3)特征提取和识别：将上述预处理后的训练数据和测试数据使用信号平均功率、信号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：A(x)＝var(x)(1)上式中，x为输入的EOG信号，var(x)表示信号的方差，x’表示输入信号x的一阶导，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。将训练数据得到的特征参数送入SVM模型中进行训练，测试数据得到的特征参数送入训练好的SVM模型中进行识别，其中SVM模型采用了RBF核函数，惩罚因子设定为1。步骤2：使用N-gram方法建立眼动信号-行为状态关系模型，具体方法如下所述：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。我们用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就可以写为其中表示状态序列S1,S2,...,Sn-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：和分别表示状态序列(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数。在本专利技术中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：通过公式(5)，能够求得当前每种行为状态出现的概率，即状态转移概率。步骤3：通过本专利技术所述的方法得到的置信度参数会先本文档来自技高网...

【技术保护点】
一种基于EOG的人体行为识别系统，其特征在于，包括单元EOG信号识别模块、眼动信号‑行为状态关系模块和信息融合模块；所述单元EOG信号识别模块通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断，该模块包括多导联EOG信号的采集、预处理及基于信号平均功率、平均频率和信号带宽三个参数的特征提取与识别单元；所述眼动信号‑行为状态关系模块使用N‑gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；所述信息融合模块指使用置信度参数对单元EOG信号识别模块和眼动信号‑行为状态关系模块的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态。

【技术特征摘要】
1.一种基于EOG的人体行为识别系统，其特征在于，包括单元EOG信号识别模块、眼动信号-行为状态关系模块和信息融合模块；所述单元EOG信号识别模块通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断，该模块包括多导联EOG信号的采集、预处理及基于信号平均功率、平均频率和信号带宽三个参数的特征提取与识别单元；所述眼动信号-行为状态关系模块使用N-gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；所述信息融合模块指使用置信度参数对单元EOG信号识别模块和眼动信号-行为状态关系模块的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态。2.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述单元EOG信号识别模块中信号采集电极的安装位置为：(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处。3.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述单元EOG信号识别模块中对原始信号的预处理过程：采用的是截止频率为0.01-10Hz的32阶fir带通滤波器。4.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述单元EOG信号识别模块中使用了信号平均功率、平均频率和信号带宽作为眼动信号特征参数，具体定义如下：A(x)＝var(x)(1)M(x)=var(x′)/var(x)---(2)]]>C(x)=M(x′)M(x)---(3)]]>上式中，x为输入的EOG信号，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。5.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述的眼动信号-行为状态关系模型建立的具体方法为：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关；用S1,S2,...,Sn来表示这n个状态，那么状态Sn出现的概率就写为其中表示状态序列S1,S2,...,Sn-1，在有大量训练数据的前提下，根据最大似然准则，得到：P(Sn|S1n-1)=c(S1n)c(S1n-1)---(4)]]>和分别表示状态序列(S1,S2,...,Sn)和(S1,S2,...,Sn-1)在训练数据库中出现的次数；取n＝3来构建这个模型；当n＝3时，公式(4)就写成：P(S3|S12)=c(S13)c(S12)---(5).]]>6.根据权利要求1所述的基于EOG的人体行为识别系统，其特征在于，所述的信息融合模块中置信度参数的获取步骤如下：(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，...

【专利技术属性】
技术研发人员：吕钊，张超，陆雨，吴小培，周蚌艳，张磊，卫兵，高湘萍，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34