基于键盘输入感知的活动识别方法技术

本发明专利技术公开了一种基于键盘输入感知的活动识别方法，用于解决现有活动识别方法实用性差的技术问题。技术方案是首先对键盘输入时所产生的音频信号进行采样，再对采集到的音频进行滤波与利用双门限端点检测算法分割单键信号。基于单键信号的频域特征利用支持向量机算法将用户的输入序列文本从音频信号中恢复出来。然后结合文本序列与音频信号，分别提取音频信号特征与语义相关特征，利用基于特征差异的滑动窗口对文本序列进行分片，最后使用基于C4.5的AdaBoost算法以分片为单位对用户的不同人机行为活动进行识别。本发明专利技术使用滑动窗口对文本序列进行分片与基于C4.5的AdaBoost算法相结合进行活动识别，泛化能力强，实用性好。

Activity recognition method based on keyboard input perception

The invention discloses an activity recognition method based on keyboard input perception, which is used to solve the technical problems of the poor practicability of the existing activity identification methods. The technical scheme is that the audio signals generated by the keyboard input are sampled first, then the audio is filtered and the single key signal is segmented by using the double threshold endpoint detection algorithm. Based on the frequency domain feature of single key signal, the input sequence text is recovered from the audio signal by support vector machine (SVM) algorithm. Then the combination of text and audio signal sequence, were extracted from the audio signal feature and semantic feature, using the sliding window feature differences of text based on the sequence of slices, finally using AdaBoost algorithm based on C4.5 to slice into different units of human-computer behavior user activity recognition. The invention uses a sliding window to segment the text sequence and combines the C4.5 based AdaBoost algorithm for activity recognition, and has strong generalization ability and good practicability.

【技术实现步骤摘要】
基于键盘输入感知的活动识别方法
本专利技术涉及一种活动识别方法，特别涉及一种基于键盘输入感知的活动识别方法。
技术介绍
文献“WardJA,LukowiczP,TrosterG,etal.Activityrecognitionofassemblytasksusingbody-wornmicrophonesandaccelerometers[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2006,28(10):1553-1567”给出了一种基于麦克风与可穿戴加速度计设备的用户活动识别方法。该方法的应用场景在于工场中从事维护与组装的手动任务活动的分类，其中主要利用到了手部的移动特征和在手部移动过程中所产生的音频信号特征，首先利用两个在不同位置的麦克风检测到的不同音频信号分析，从连续数据流中分割出潜在的活动分片。然后在声道上进行线性判别分析和加速度计三轴数据上的隐马尔科夫模型对检测出的分片进行分类识别。文献中所述的方法主要应用于肢体移动幅度大且不同的活动识别，且当中所使用的不仅有两个麦克风，还有可穿戴的加速度计，其方法的适用范围较窄，方法泛化能力较弱，无法对一些更为细粒度的活动进行识别。
技术实现思路
为了克服现有活动识别方法实用性差的不足，本专利技术提供一种基于键盘输入感知的活动识别方法。该方法首先对键盘输入时所产生的音频信号进行采样，而后对采集到的音频进行滤波与利用双门限端点检测算法分割单键信号。其次，基于单键信号的频域特征利用支持向量机算法将用户的输入序列文本从音频信号中恢复出来。然后结合文本序列与音频信号，分别提取音频信号特征与语义相关特征，利用基于特征差异的滑动窗口对文本序列进行分片，最后使用基于C4.5的AdaBoost算法以分片为单位对用户的不同人机行为活动进行识别。本专利技术使用基于特征差异的滑动窗口对文本序列进行分片与基于C4.5的AdaBoost算法进行活动识别，使得活动识别方法有着很好的泛化能力，实用性好。本专利技术解决其技术问题所采用的技术方案：一种基于键盘输入感知的活动识别方法，其特点是包括以下步骤：步骤一、使键盘与手机保持一个相对不变的位置，而后打开手机麦克风，对键盘中的按键音频进行录制。步骤二、对采集到的音频信号进行滤波处理，减少噪音对后续算法的干扰。假设维纳滤波器的输入信号是s(t)，噪声为n(t)。输出信号为x(t)，通过滤波器g(t)使用下面的卷积运算得到x(t)＝g(t)*(s(t)+n(t))，其中为使输出信号x(t)与输入信号s(t)一致，必须使e2(t)＝s2(t)-2s(t)x(t)+x2(t)平方误差均值最小。步骤三、基于滤波后的音频信号，首先利用双门限算法将单个按键进行端点检测，然后将得到的0～8kHz范围频谱序列归一化，再按照每20Hz划分一个小区间，将每个区间内的点累加，得到400个特征值。通过支持向量机算法对已标记的训练集进行学习得到预测模型，进而将用户的输入序列文本从音频信号中恢复出来。步骤四、对于音频信号中的音频信号特征、输入速率及音频能量特征进行提取。下面将计算输入速率与音频能量两个特征，输入速率的计算公式如下：其中，m为分片集合S中的字符数量，t为分片时间长度。音频能量的计算公式如下：其中，代表分片集合S中的第i个字符的能量值。步骤五、对于键盘输入感知模型结果中的序列文本中的语义相关特征、语句偏好性及语义合理性进行提取。计算语句偏好性特征，其计算过程如下。定义Φi分别代表四种人机行为活动的指示集合，对于给定的序列分片S集合，为了度量S分别与Φi之间的距离使用Dice系数：其中，i取1，2，3，4分别代表不同人机行为活动。通过上式对于每个分片S集合得到其对于每种人机行为活动的偏好性或相似性D1D2D3D4。由m个词组成的分片S，其语义合理性：因此计算语义合理性的重点为得到P(wi)及P(wiwi-1)，利用GoogleBooks提供在线免费N-Gram查询服务得到相应单词的值。步骤六、对用户输入序列进行基于音频信号特征与语义相关特征差异进行时间分片处理。对于一长度为n的输入序列X＝w1w2w3....wn，其中wi表示输入序列中的第i个单词，定义fti＝(Di,P,v,E)表示分片Si＝wiwi+1wi+2的特征向量，则以长度为三个滑动窗口，依次向前滑动一个单词，得到输入序列X的对应于特征向量序列ft1ft2ft3....ftn-2。因此，对单词序列的分片问题转换为对特征向量序列的分片问题。基于上文中对特征提取中进行的分析得出，在同一段时间序列中的同一人机行为活动中特征向量有着相对较近的距离，因此对相邻的特征向量序列计算其相似度Tonimoto系数：由特征向量间的距离的大小得到序列分片结果。对于一个长度为n的分片序列，其对应的拥有n-2个特征向量，因此对于分片S，取其特征向量的平均值作该分片的特征向量。步骤七、利用提取到的特征对分片后的数据采用Adaboost算法进行人机行为活动的分类识别。通过基于C4.5的Adaboost集成学习算法，取10折交叉验证，训练用于基于键盘输入感知的人机行为活动识别模型计算预测的精度来描述模型的效果。本专利技术的有益效果是：该方法首先对键盘输入时所产生的音频信号进行采样，而后对采集到的音频进行滤波与利用双门限端点检测算法分割单键信号。其次，基于单键信号的频域特征利用支持向量机算法将用户的输入序列文本从音频信号中恢复出来。然后结合文本序列与音频信号，分别提取音频信号特征与语义相关特征，利用基于特征差异的滑动窗口对文本序列进行分片，最后使用基于C4.5的AdaBoost算法以分片为单位对用户的不同人机行为活动进行识别。本专利技术使用基于特征差异的滑动窗口对文本序列进行分片与基于C4.5的AdaBoost算法进行活动识别，使得活动识别方法有着很好的泛化能力，实用性好。下面结合附图和具体实施方式对本专利技术作详细说明。附图说明图1是本专利技术基于键盘输入感知的活动识别方法的流程图。具体实施方式参照图1。本专利技术基于键盘输入感知的活动识别方法具体步骤如下：步骤一、使键盘与手机保持一个相对不变的位置，而后打开手机麦克风，对键盘中的按键音频进行录制，并记下相应的真实值s(t)。步骤二、对采集到的音频信号进行维纳滤波处理，减少噪音对后续算法的干扰。对步骤一中采集到的音频信号s(t)采用维纳滤波器g(t)进行滤波，则过滤后的音频信号为x(t)＝g(t)*(s(t)+n(t))。步骤三、基于滤波后的音频信号，首先利用双门限端点检测算法将音频信号x(t)分割为单个按键信号，然后将单个按键信号进行频域变换，在得到的0-8KHz范围频谱序列归一化，再按照每20Hz划分一个小区间，将每个区间内的点累加起来，这样就得到了400个特征值。通过支持向量机算法对已标记的训练集进行学习得到预测模型，将用户的输入序列文本从音频信号中恢复出来。步骤四、对于音频信号输入速率计算公式如下的：其中m为分片集合S中的字符数量，t为分片时间长度。音频能量计算公式如下的：其中代表分片集合S中的第i个字符的能量值。步骤五、对于键盘输入感知模型结果中的序列文本中的语义相关特征：语句偏好性、语义合理性进行提取。定义Φi分表代表本文档来自技高网...

【技术保护点】
一种基于键盘输入感知的活动识别方法，其特征在于包括以下步骤：步骤一、使键盘与手机保持一个相对不变的位置，而后打开手机麦克风，对键盘中的按键音频进行录制；步骤二、对采集到的音频信号进行滤波处理，减少噪音对后续算法的干扰；假设维纳滤波器的输入信号是s(t)，噪声为n(t)；输出信号为x(t)，通过滤波器g(t)使用下面的卷积运算得到x(t)＝g(t)*(s(t)+n(t))，其中为使输出信号x(t)与输入信号s(t)一致，必须使e

【技术特征摘要】
1.一种基于键盘输入感知的活动识别方法，其特征在于包括以下步骤：步骤一、使键盘与手机保持一个相对不变的位置，而后打开手机麦克风，对键盘中的按键音频进行录制；步骤二、对采集到的音频信号进行滤波处理，减少噪音对后续算法的干扰；假设维纳滤波器的输入信号是s(t)，噪声为n(t)；输出信号为x(t)，通过滤波器g(t)使用下面的卷积运算得到x(t)＝g(t)*(s(t)+n(t))，其中为使输出信号x(t)与输入信号s(t)一致，必须使e2(t)＝s2(t)-2s(t)x(t)+x2(t)平方误差均值最小；步骤三、基于滤波后的音频信号，首先利用双门限算法将单个按键进行端点检测，然后将得到的0～8kHz范围频谱序列归一化，再按照每20Hz划分一个小区间，将每个区间内的点累加，得到400个特征值；通过支持向量机算法对已标记的训练集进行学习得到预测模型，进而将用户的输入序列文本从音频信号中恢复出来；步骤四、对于音频信号中的音频信号特征、输入速率及音频能量特征进行提取；下面将计算输入速率与音频能量两个特征，输入速率的计算公式如下：其中，m为分片集合S中的字符数量，t为分片时间长度；音频能量的计算公式如下：其中，代表分片集合S中的第i个字符的能量值；步骤五、对于键盘输入感知模型结果中的序列文本中的语义相关特征、语句偏好性及语义合理性进行提取；计算语句偏好性特征，其计算过程如下；定义Φi分别代表四种人机行为活动的指示集合，对于给定的序列分片S集合，为了度量S分别与Φi之间的距离使用Dice系数：其中，i取1，2，...

【专利技术属性】
技术研发人员：於志文，肖栋，郭斌，王柱，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61