远距离用户触控屏上全键盘输入获取方法技术

一种远距离用户触控屏上全键盘输入获取方法，通过移动设备的两个麦克风采集用户触控屏上输入的近超声信息，基于声波衰减特性实现击键的初步定位，再利用多普勒效应追踪用户连续两次击键之间的手指移动对初步定位的击键范围进行优化并得到字符候选集，最后通过搜索获取用户输入。本发明专利技术通过成熟的声波信号处理技术及深度学习方法来对用户击键手指的位置进行定位和预测。

【技术实现步骤摘要】
远距离用户触控屏上全键盘输入获取方法
本专利技术涉及的是一种信息安全领域的技术，具体是一种基于智能终端的近超声远距离用户触控屏上全键盘输入获取方法。
技术介绍
现有大部分的击键窃听攻击主要关注于物理键盘上的输入窃取。相比于物理键盘，触控屏上的虚拟键盘尺寸要小的多，同时触控屏上的击键也几乎不会引起声音和震动，因此需要引入直接窃听空寂，即键盘输入端设备上的传感器数据需要给采集端提供有关于击键的边信道信息。近来有技术采用基于Wi-Fi信号的信道状态信息来窃取用户在触控屏的9宫格上输入的间接窃听攻击，但类似的技术由于应用场景受限于Wi-Fi基础设施的覆盖范围内，同时也只能窃取9宫格的输入而非全键盘。
技术实现思路
本专利技术针对现有各类传感器数据对用户击键攻击方法的不足，提出一种远距离用户触控屏上全键盘输入获取方法，利用近超声远距离捕获用户在触控屏上的输入，从而避免直接获取键盘输入端上的数据，解决了基于声波远距离窃听用户在触控屏上输入的问题，并通过成熟的声波信号处理技术及深度学习方法来对用户击键手指的位置进行定位和预测。本专利技术是通过以下技术方案实现的：本专利技术通过移动设备的两个麦克风采集用户触控屏上输入的近超声信息，基于声波衰减特性实现击键的初步定位，再利用多普勒效应追踪用户连续两次击键之间的手指移动对初步定位的击键范围进行优化并得到字符候选集，最后通过搜索获取用户输入。所述的近超声信息，其频率范围为18～20kHz。所述的近超声信息，经过预处理后得到两个麦克风接收到的每次击键对应的两个信号能量和由于移动设备麦克风接收到的声波信号通常包含了运动手指反射的信号、视距信号、静态物体反射的信号、以及其他运动物体反射的信号。为了提取有效的运动手指反射信号，需要移除其他三种信号的影响，同时为了移除视距信号、静态物体以及动态物体反射的信号，本专利技术优选利用信号梯度以及计算信号能量作为预处理。所述的信号能量，其采用但不限于FFT(快速傅里叶变换)能量。所述的近超声信息，优选经过匹配滤波器处理。所述的击键的初步定位是指：通过基于椭圆的方法获得手指击键位置与两个麦克风的声波传播距离和然后以两个麦克风的位置为圆心，和为半径分别作两个圆，该两个圆在键盘一侧的交点即为手指击键的位置。所述的基于椭圆的方法是指：构建一个以移动设备的扬声器与一个麦克风所在位置为焦点的椭圆，运动手指的位置就在该椭圆上，基于两个麦克风得到的对应两个椭圆在键盘输入端侧的交点即为手指所在的位置。所述的优化是指：通过多普勒效应追踪两次连续击键之间的手指移动的方向与手指移动距离构建得到移动扇形，根据每两次击键的移动扇形与每次击键的击键范围得到字符候选集。所述的搜索是指：采用基于二叉树的搜索方法从字符候选集中获得采集端的推测击键序列。本专利技术涉及一种实现上述方法的系统，包括：近超声采集模块、初步定位模块、移动扇形定位模块以及候选词搜索模块，其中：近超声采集模块与初步定位模块、移动扇形定位模块相连并分别传输信号能量、多普勒频移信息，初步定位模块与移动扇形定位模块相连并传输初步定位的击键范围信息，移动扇形定位模块与候选词搜索相连并传输精确的击键范围信息，候选词搜索模块输出最后推测的候选词。技术效果与现有技术相比，本专利技术利用声波技术来远距离地捕捉用户在触控屏上全键盘的击键输入，这种方法不需要直接访问被害者的设备，能够适应不同的复杂环境，同时也不需要其他额外设备的辅助。附图说明图1为本专利技术方法流程示意图；图2为基于声波信号衰减特性的击键定位方法示例示意图；图3为采集端-键盘输入端距离与击键范围的关系示意图；图4为在8个基本方向下的声波多普勒轮廓示意图；图5为移动扇形示例示意图；图6为击键定位精度提高方法示例示意图；图7为采集端-键盘输入端相对位置示例示意图；图8为当键盘输入端输入‘hello’时由击键和移动引起的时频信号示意图；图9为本专利技术的总体前w词推测精度示意图；图10为本专利技术在不同采集端-键盘输入端距离下的前w词推测精度示意图；图11为本专利技术在不同采集端-键盘输入端相对位置下的前w词推测精度示意图；图12为本专利技术在不利用上下文敏感推测方法时的推测词候选数目示意图；图13为本专利技术在采集端-键盘输入端距离为55cm时不利用上下文敏感推测方法时的推测词候选数目累积概率密度示意图；图14为本专利技术在不同采集端-键盘输入端距离下单一击键识别的F1分数示意图。具体实施方式如图1所示，为本实施例涉及的一种远距离用户触控屏上全键盘输入获取方法，其中：包含：步骤1、基于键盘输入端与采集端之间的投影关系确定两者相对位置，即确定：采集端与键盘输入端的相对位置以及键盘输入端击键时手指的相对位置，其中：①当采集端和键盘输入端中轴线是平行的，如图7所示。为了实现在此当下能够远距离推断出用户的输入将键盘输入端的移动设备映射到平行于键盘输入端且穿过采集端中轴线的平面上；通过这样的映射，采集端通过现有的基于视觉的方法测量采集端与键盘输入端中轴线的相对距离D2以及投影平面与通过两个中轴线平面的夹角α，基于该相对位置可以进一步推导出投影平面与键盘输入端之间的距离h。②键盘输入端每击键一次，采集端利用基于声波衰减特性的方法得到键盘输入端输入时手指与采集端的距离D1，基于D1和h，将击键手指的位置投影到键盘输入端的投影平面上，从而采集端识别出键盘输入端击键对应的具体键位。步骤2、捕获由键盘输入端击键反射回来的声波信号，并移除视距信号和其他静态及动态物体反射的信号，具体步骤包括：在实际的攻击场景中，采集端收到的声波信号中除了包含键盘输入端击键手指反射的信号，还有视距信号(即直接从移动设备的扬声器传播到麦克风的信号)、周围静动态物体反射回来的信号。为了准确地定位每个击键位置，有必要移除视距信号以及其他静动态物体反射的信号。本实施例利用频域信号的信号梯度来移除这些额外信号的影响。所述的频域信号的信号梯度是指两次连续时间的信号的差分，即：其中：s(f)(t)是t时刻的接收信号，是发射信号，和分别是移动物体和第i个静态物体反射的信号，n(t)是周围噪声。从上述公式可以看到，视距信号与其他静态物体的影响都被消除掉了。为了进一步消除其他动态物体反射的信号利用FFT能量来衡量声波信号的能量。基于信号梯度，反射信号的能量为其中：f0是发射信号的频率，Δf是击键手指引起的频带。通常手指击键的速度大致在0.05m/s，其远远小于其他动态物体移动的速度(0.85-3.4m/s)。因此，为了捕获有击键手指反射的声波信号将Δf设置为30Hz。步骤3、基于声波信号的多普勒效应从接收到的声波信号里提取每个击键窗口及移动窗口：如前所述分别利用声波衰减特性和多普勒效应定位击键位置和追踪手指的运动。因此，有必要先从接收声波信号中截取出击键和手指运动两种输入行为。通常，手指运动会引起明显的声波信号多普勒频移，其会在频域信号上引起非对称的模式。相反地，手指击键时在键盘输入端和采集端方向的映射距离非常小，以致于击键引起的多普勒效应非常小，其带来对称的模式。图8显示了键盘输入端输入hello时，采集端得到的声波信号分段示例。本实施例可以看到h、e、l、l、o的5次击键的模式明显是对称的，而中间的4次手指移动则是非对称的。所以，能够根据这个信号模式来截取出击键窗口本文档来自技高网...

【技术保护点】
1.一种远距离用户触控屏上全键盘输入获取方法，其特征在于，通过移动设备的两个麦克风采集用户触控屏上输入的近超声信息，基于声波衰减特性实现击键的初步定位，再利用多普勒效应追踪用户连续两次击键之间的手指移动对初步定位的击键范围进行优化并得到字符候选集，最后通过搜索获取用户输入。

【技术特征摘要】
1.一种远距离用户触控屏上全键盘输入获取方法，其特征在于，通过移动设备的两个麦克风采集用户触控屏上输入的近超声信息，基于声波衰减特性实现击键的初步定位，再利用多普勒效应追踪用户连续两次击键之间的手指移动对初步定位的击键范围进行优化并得到字符候选集，最后通过搜索获取用户输入。2.根据权利要求1所述的方法，其特征是，所述的近超声信息，经过预处理后得到两个麦克风接收到的每次击键对应的两个信号能量和所述的预处理包括：提取信号梯度以及计算信号能量。3.根据权利要求2所述的方法，其特征是，所述的提取信号梯度，即频域信号的信号梯度是指两次连续时间的信号的差分，即：其中：s(f)(t)是t时刻的接收信号，是发射信号，和分别是移动物体和第i个静态物体反射的信号，n(t)是周围噪声。4.根据权利要求2所述的方法，其特征是，所述的信号能量，即反射信号的能量为其中：f0是发射信号的频率，Δf是击键手指引起的频带。5.根据权利要求4所述的方法，其特征是，所述的击键手指引起的频带Δf设置为30Hz。6.根据权利要求1所述的方法，其特征是，所述的近超声信息，经过匹配滤波器处理：采集端预先模拟击键时获得的接收信号得到能量为It的模板信号，然后用该模板信号卷积上带有噪声的声波衰减定位原理公式，得其中：...

【专利技术属性】
技术研发人员：俞嘉地，卢立，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31