一种基于统计学与声音定位的键盘按键检测方法技术

本发明专利技术公开了一种基于统计学与声音定位的键盘按键检测方法，所述方法包括：步骤1：调用麦克风获得装置的键盘敲击声音并进行录音；步骤2：基于步骤1获得的音频文件，识别出该音频中所有按键数；步骤3：检测键盘之间的相对位置，步骤4：利用步骤3计算出来的装置键盘布局以及获得的音频按键信号，获得装置键盘信息与按键信息，实现了测量系统设计合理，几何参数检测测量结果准确的技术效果。

【技术实现步骤摘要】
一种基于统计学与声音定位的键盘按键检测方法
本专利技术涉及信息安全研究领域，具体地，涉及一种基于统计学与声音定位的键盘按键检测方法。
技术介绍
智能手机在给大众生活带来便利的同时，也带来了一定的安全隐患。在日常生活中，键盘敲击产生的声音很容易被我们的手机麦克风所捕捉到。随着手机硬件的不断发展以及在我们日常生活中的普及，手机录音所得的击键音频所包含的有用信息远超最初,显著地改进了音频定位结果。现存在许多基于录音音频分析按键定位的方法，虽然这些方法能够成功识别键盘按键发生，但是由于定位识别的诸多限制因素，无法成功运用到攻击环境下。但是随着科技的不断发展，手机硬件也在不断的更新发展中，比如手机麦克风的音频采样率也得到了非常巨大的提升，另外一个明显的改变就是手机由当初的单个麦克风录音发展到如今的两个乃至更多的麦克风录音，一种基于单个手机的双麦克风定位方式，相比于已有的工作，实现的意义在于更贴近真实的攻击环境。但是这种窥探方式在真实的攻击环境下，仍然有较为明显的缺点：手机与被监测键盘的相对位置必须固定已知，这样才能通过分析按键音频信号来识别出每一个按键。
技术实现思路
本专利技术提供了一种基于统计学与声音定位的键盘按键检测方法，解决了现有的方法装置与被监测键盘的相对位置必须固定已知才能识别出每一个按键的技术问题，实现了在不知道装置与键盘的相对位置也能够获知键盘按键信息的技术效果。为了在手机与键盘相对位置不清楚的情况下，键盘按键检测的方法仍然能够正确识别所有按键，专利技术人对键盘按键窥探系统进行了专门的设计所采取的技术方案具体如下：本专利技术的基于统计学与声音定位的键盘按键检测的方法的主要步骤依次为：录音，按键区分，手机键盘相对位置检测，最终识别；所述录音阶段：1)手机通过调用两个麦克风监听键盘敲击，开始录音；所述按键区分阶段：1)由于每次按键发生时，音频波形会有较大的波动，所以对于这样一段若干个键的音频文件，我们从最初的采样点开始计算短时能量；2)当短时能量达到我们给定的阈值τ时，我们便判断第一次按键已经发生了，由于一次按键的时间为100ms左右，所以下一次按键开始检测的时间点为上一按键发生的采样点偏移100ms，由这个标准，我们可以识别出一段音频中所有按键数；所述手机键盘相对位置检测阶段：1)提取所有按键数的MFCC(梅尔倒谱系数)作为音频特征参数，以提取的按键的MFCC为数据输入，利用K-means方法对按键进行聚类；例如实验驶入为26个字母键，聚类数K取26，将提取的按键的MFCC分成26类；2)计算出聚类后的不同组的组内按键的TDoA平均值以及组内按键数占总按键数的百分比。3)由先验信息可知在不同的文本输入情况下，比如在英文的输入情况下，我们可以知道键盘各键的使用的频率序列，与各组按键频率对比，我们便可得知各组按键对应的具体为哪个键以及该键的TDoA值；4)经过权衡选取三个键作为候选键，利用这三个键在键盘内相互的距离差以及它们的TDoA值，就可以识别出手机与键盘的相对位置。所述最终识别阶段：1)利用已经计算出来的手机键盘布局以及监听得到的音频按键信号，可以窥探出所有按键。进一步的，调用2个麦克风获得装置的键盘敲击声音并进行录音。因为通过对两个麦克风录音所得的音频波形进行相关性分析可以得出按键位置到达两个麦克风的距离差。进一步的，选取e、t、l三个使用频率最高的键作为候选键，以装置的两个麦克风的连线为横坐标；以两个麦克风的连线中点为原点，垂直于横坐标作纵坐标，由此构建出基本坐标系；按键的TDoA在坐标系中为一条双曲线，可得6个方程：其中，dm:装置上两个麦克风的距离差；:字母e键到麦克风M1的距离；:字母e键到麦克风M2的距离；:字母e键到达两个麦克风距离的差值；xe:字母e键在坐标系中的横坐标值；ye:字母e键在坐标系中的纵坐标值；set:字母e键与字母t键在坐标系中的距离差；TDoA:声音到达手机的两个麦克风的时间差。由上述6个方程可解得三个候选键在坐标系的具体坐标，由已知的键盘布局可得键盘所有键在坐标系的具体坐标。进一步的，步骤4具体包括：基于获得的键盘上所有键的具体坐标，计算出所有键的TDoA值，由所求得的所有TDoA值对按键进行初始分类，然后利用按键的MFCC特征值作为k-means聚类方法的输入，进行组内聚类，识别出具体的按键。本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：1)本专利技术是目前第一个即使不知道手机与键盘相对位置的情况下仍然能够正确的识别键盘按键；2)利用按键的TDoA值以及语言学模型，计算出手机与键盘的相对位置；3)本专利技术仅使用运算花销很低的操作(例如计算按键TDoA值、k-means聚类等)来达到识别所有按键的目的。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定；图1是本申请中基于统计学与声音定位的键盘按键检测方法的流程示意图。具体实施方式本专利技术提供了一种基于统计学与声音定位的键盘按键检测方法，解决了现有的方法装置与被监测键盘的相对位置必须固定已知才能识别出每一个按键的技术问题，实现了在不知道装置与键盘的相对位置也能够获知键盘按键信息的技术效果。为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。请参考图1，本申请提供了本专利技术的键盘按键检测方法主要步骤依次为录音，按键区分，手机键盘相对位置检测，最终识别。其中，A.录音过程包括以下步骤：1)打开手机录音功能，调用麦克风M1与M2对键盘按键进行录音；B.按键区分过程包括以下步骤：1)由单次按键的音频波形图可知，按键发生具体时间点与按键短时能量相关，当短时能量达到0.05时，我们就判断已经开始有键盘按键被敲击，此时的时刻为ps，而我们以[ps-5ms，ps+100ms]时间段作为一次单独的按键所一共经历的时间。2)所以对于一段包含若干个键的音频文件，我们从最初的采样点开始计算短时能量，当能量到达0.05时，我们便判断第一次按键已经发生了，由于一次按键的时间为105ms，所以下一次按键开始检测的时间点为上一按键发生的采样点偏移100ms，由这个标准，我们可以识别出一段音频中所有按键数。C.手机键盘相对位置检测过程包括以下步骤：1)提取出音频中所有按键数的音频特征参数MFCC与TDoA值，比如敲击的按键为26个字母键，利用k-means聚类为26组，k-means方法的输入为所有按键的音频特征参数MFCC，每一组内的按键音频均代表同一字母的按键。2)计算组内按键的TDoA的平均值作为该按键的TDoA值，这样可以有效的减小误差。计算组内按键数占总按键数的百分比，得到一列由大到小的频率序列。3)由先验信息可知在不同的文本输入情况下，比如输入文本为英文的输入情况下，我们可以知道键盘各键的使用的频率序列，与上一步计算而得的各组按键频率对比，我们便可得知各组按键对应的具体为哪个本文档来自技高网...

【技术保护点】
一种基于统计学与声音定位的键盘按键检测方法，其特征在于，所述方法包括：步骤1：调用麦克风获得装置的键盘敲击声音并进行录音；步骤2：基于步骤1获得的音频文件，识别出该音频中所有按键数；步骤3：检测键盘之间的相对位置，包括：1)提取所有按键数的MFCC作为音频特征参数，以提取的按键的MFCC为数据输入，利用K‑means方法对按键进行聚类；2)计算出聚类后的不同组的组内按键的TDoA平均值以及组内按键数占总按键数的百分比；3)由先验信息获得在不同的文本输入情况下，得知各组按键对应的具体为哪个键以及该键的TDoA值；4)经过权衡选取三个键作为候选键，利用这三个键在键盘内相互的距离差以及它们的TDoA值，识别出装置与键盘的相对位置；步骤4：利用步骤3计算出来的装置键盘布局以及获得的音频按键信号，获得装置键盘信息与按键信息。

【技术特征摘要】
1.一种基于统计学与声音定位的键盘按键检测方法，其特征在于，所述方法包括：步骤1：调用麦克风获得装置的键盘敲击声音并进行录音；步骤2：基于步骤1获得的音频文件，识别出该音频中所有按键数；步骤3：检测键盘之间的相对位置，包括：1)提取所有按键数的MFCC作为音频特征参数，以提取的按键的MFCC为数据输入，利用K-means方法对按键进行聚类；2)计算出聚类后的不同组的组内按键的TDoA平均值以及组内按键数占总按键数的百分比；3)由先验信息获得在不同的文本输入情况下，得知各组按键对应的具体为哪个键以及该键的TDoA值；4)经过权衡选取三个键作为候选键，利用这三个键在键盘内相互的距离差以及它们的TDoA值，识别出装置与键盘的相对位置；步骤4：利用步骤3计算出来的装置键盘布局以及获得的音频按键信号，获得装置键盘信息与按键信息。2.根据权利要求1所述的基于统计学与声音定位的键盘按键检测方法，其特征在于，对步骤1获得的音频文件，从最初的采样点开始计算短时能量；基于短时能量与给定的阈值τ的对应关系，识别出该音频中所有按键数；。3.根据权利要求2所述的基于统计学与声音定位的键盘按键检测方法，其特征在于，当短时能量达到给定的阈值τ时，则判断第一次按键已经发生了，由于一次按键的时间为100ms左右，所以下一次按键开始检测的时间点为上一按键发生的采样点偏移100ms，基于上述短时能量与给定的阈值τ的对应关系，识别出该音频中所有按键数。4.根据权利要求1所述的基于统计学与声音定位的键盘按键检测方法，其特征在于，调用2个麦克风获得装置的键盘敲击声音并进行录音。5.根据权利要求4所述的基...

【专利技术属性】
技术研发人员：赵志为，闵革勇，方予懿，王梓，李维旺，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51