一种基于近超声波的智能手机图案密码推测方法技术

本发明专利技术公开了一种基于近超声波的智能手机图案密码推测方法，通过解锁检测、音频信息捕获、音频预处理及上传、信号分割、相对运动测量、线段推测、生成候选图案及相似度排序等七大步骤，通过利用不可察觉的近超声波信号进行侧信道攻击推断图案密码锁，研究和探索出基于近超声波的智能手机图案密码推测方法。不需要物理接触受害者，不容易遭受环境干扰的影响，更加实用。且不依赖于有标记数据的大量训练和机器学习，因此更容易自动化地进行大规模用户图案锁推断。不需要额外设备，不易被用户察觉。

【技术实现步骤摘要】
一种基于近超声波的智能手机图案密码推测方法
本专利技术属于声音侧信道攻击
，具体涉及一种基于近超声波的智能手机图案密码推测方法。
技术介绍
随着图案解锁逐渐成为身份验证的主要方法之一，人们只需要花短短的几秒钟在智能手机上画出密码图案就能解锁自己的智能手机。根据最新的一个调查，人脑特别适合记住图形信息，而且用户总是认为PIN的有限位数是不安全的。因此，图案解锁不仅易于使用，并且提供了一个安全的移动认证机制。由于图案锁的广泛使用，图案锁的安全问题近来引起了广泛关注。许多安全策略已经被提出，以确保用户在绘制图形时不能被其他应用程序访问屏幕，但是移动智能手机仍然可以访问某些共享的硬件资源，这就给一些侧信道攻击提供了信息。一些侧信道攻击被证明可以很准确地追踪到PIN码信息。然而，这些方法通常把整个解锁过程作为一个单独的样本进行特征提取，并依赖于有标记数据的大量训练和机器学习。同时这些工作大多基于PIN码的推测而非图案锁的推测，因为在屏幕上平滑地移动指尖，不会给智能手机带来与数字按键一样多的干扰，不利于获取相应的信息。近年来，研究人员开始关注图案锁和一些侧信道攻击来重建图案锁，例如油污攻击，无线信号攻击，视频攻击等，但是这些都要求攻击者身体接近受害者或操纵无线热点，而且攻击准确性对于环境的依赖性很强。
技术实现思路
本专利技术的目的就是针对现有技术的不足之处，提供了一种受环境噪音干扰小的基于近超声波的智能手机图案密码推测方法。为了实现上述目的，本专利技术所设计的基于近超声波的智能手机图案密码推测方法，其特殊之处在于，包括以下步骤：步骤1：解锁检测；步骤2：音频信息捕获：利用手机扬声器播放近超声波音频，并用麦克风接收该音频；步骤3：音频预处理：从音频信号中提取指尖滑动相关的信号段；步骤4：信号分割：将信号进行分段，得到指尖转弯时对应的信号转折点；步骤5：相对运动测量：确定起点和终点，并获取指尖的相对运动；步骤6：线段推测：计算当前运动特征向量与该点可能的运动特征向量指尖的相似度；步骤7：生成候选图案及相似度排序。进一步地，所述步骤1中解锁检测采用方向传感器和加速度计分别检测拿起手机和点击屏幕操作过程。进一步地，步骤2中所述播放的近超声波音频频率为20～22kHz。进一步地，所述步骤3中音频分割的具体过程包括：提取与指尖滑动相关的音频信号段；利用传统的相干检波器解调基带信号分离出指尖滑动音频信号，具体公式为如下：I(t)＝Fds(Flow(R(t)*Asin2πft))Q(t)＝Fds(Flow(R(t)*Acos2πft))其中R(t)表示记录的音频信号，Flow表示低通滤波器，Fds表示下采样，I(t)表示同向音频信号成分，Q(t)表示正交音频信号成分。进一步地，所述步骤4的具体过程如下：使用有效点识别方法将信号分成很多段，每一段对应一条线段，线段指尖的转折点即为指尖转弯点；并当前局部极值点和前一个有效极值点之间的时间间隔与阈值T比较，如果大于该阈值则认为是有效的极值点否则不认为其为极值点，以排除环境噪音干扰。进一步地，所述步骤5的具体过程包括：步骤5.1：多径干扰消除，用音频信号邻近的极大/小值的平均值作为噪音信号的估计值，然后利用线性插值算法估计指尖运动时噪声信号在其他点上的值。在减去噪音信号的估计值后，可以得到真正的对应每一条线段的I/Q信号；步骤5.2：重新鉴定起点和终点，计算I/Q轨迹中各点的累计旋转角度，每一个声音片段的相位改变等于I/Q轨迹中各点的累计旋转角度，以确定解锁过程的起点和终点；步骤5.3：计算指尖的相对运动，用下面公式来通过指尖运动的相位改变，计算指尖的相对运动：其中d(t)表示在时间t由移动指尖反射到麦克风的声波信号的路径长度，φd(t)表示在时间t指尖反射的声信号相位，λ表示对应音频信号的波长。进一步地，所述步骤6的具体过程为：步骤6.1：提取线性运动的特征，使用一个二维向量(d1,d2)来表示具体的路径变化，其中d1表示从起点到麦克风和扬声器连线与运动轨迹的交叉点的路径长度，d2表示从麦克风和扬声器连线与运动轨迹的交叉点到终点的路径长度；步骤6.2：基于相似度的线推断，对于每一段线性运动基于每一对麦克和扬声器建立一个特征向量的数据库，给定一个起始点，它可以与3×3的网格里的另外8个点相连，即有8种不同的运动特征向量，把当前的运动特征向量与数据库里的8个特征向量进行相应的比较得出最后的相似度，计算公式如下：其中(d1ij，d2ij)表示数据库里第j对麦克风和扬声器检测的第i条线运动的特征向量，(d1′j，d2′j)表示当前运动第j对麦克风和扬声器检测的第i条线运动的特征向量。然后利用下面这个公式来综合上面统计的这些特征向量的相似度得到最后的相似度：其中n表示有多少对麦克风和扬声器，当计算出来的最后值Si大于某个阈值，则认为该条线作为本次滑动的候选线段，对于当前的线性滑动可能有多条候选线段。进一步地，所述步骤7具体实现过程是：把3×3的网格标号为从1到9，根据相应的候选线来选择当前的图形线，用这种方法可以构造出相应的解锁图案生成树，对于该生成树，树的根节点为该图案锁的起始点，然后根据候选线的相似度数值来往生成树里面逐层加入；其中生成树的每一条线的权重为每一条候选线的相似度；根据图形生成树可以构造出最后相似度的滑动图像排序。更进一步地，选择相似度最高的5个图像作为最后的结果，进行相应的输入测试。本专利技术的优点在于：1、我们不需要物理接触受害者，另外也不容易遭受环境干扰的影响，因此我们的图案锁推断方法鲁棒性更高，更加实用。2、我们不依赖于有标记数据的大量训练和机器学习，因此更容易自动化地进行大规模用户图案锁推断。3、我们使用用户自身扬声器发出人耳听不见的高频声音信号，然后使用用户自身麦克风记录声音进行图案锁推断，不需要额外设备，不易被用户察觉。附图说明图1为本专利技术的原理流程图。图2为本专利技术的音频信号分割结果。图3为本专利技术的I/Q信号图。图4为本专利技术的解锁图案生成树结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步的详细描述：图案锁是一种要求使用者在3×3的图案格里，画出相应图形用于身份认证的解锁方式。在Android系统中，每个应用程序在工作之前都需要获取特定的权限例如麦克风、扬声器、加速度传感器等，因此对于一个需要此权限的网页或应用，我们只需要选择合适的攻击模式和有效载体，就能实现相应的基于近超声波的智能手机图案密码推测方法。那么在实际运用中的嵌入载体和攻击模式都需要进一步的考量和选择。人耳对声音信息的感知与声音信号的频率有关，大多数扬声器和麦克风的响应频率是从50Hz到22kHz，大多数人听不到频率高于20kHz的声音。因此，在20～22kHz的近超声波信号可以通过麦克风接收和录制，但不会被用户听到。而且对于高于20kHz的攻击声音信号，环境噪音都变得微不足道。因此为了使得用户听不见相应的音频信号，且避免实际环境中的噪音干扰，都要求对于用于侧信道攻击的音频频率进行相应的选择和考量。同时如何利用麦克风接收到的反射音频信号重建图案锁上的图形，也是需要加以考量的。本专利技术提供的方法能够用计算机软件技术实现流程，参见图1。本专利技术提供的一种基于近超声波的智能手机图案密码推测方法，包本文档来自技高网...

【技术保护点】
1.一种基于近超声波的智能手机图案密码推测方法，其特征在于，包括以下步骤：步骤1：解锁检测；步骤2：音频信息捕获：利用手机扬声器播放近超声波音频，并用麦克风接收该音频；步骤3：音频预处理：从音频信号中提取指尖滑动相关的信号段；步骤4：信号分割：将信号进行分段，得到指尖转弯时对应的信号转折点；步骤5：相对运动测量：确定起点和终点，并获取指尖的相对运动；步骤6：线段推测：计算当前运动特征向量与该点可能的运动特征向量指尖的相似度；步骤7：生成候选图案及相似度排序。

【技术特征摘要】
1.一种基于近超声波的智能手机图案密码推测方法，其特征在于，包括以下步骤：步骤1：解锁检测；步骤2：音频信息捕获：利用手机扬声器播放近超声波音频，并用麦克风接收该音频；步骤3：音频预处理：从音频信号中提取指尖滑动相关的信号段；步骤4：信号分割：将信号进行分段，得到指尖转弯时对应的信号转折点；步骤5：相对运动测量：确定起点和终点，并获取指尖的相对运动；步骤6：线段推测：计算当前运动特征向量与该点可能的运动特征向量指尖的相似度；步骤7：生成候选图案及相似度排序。2.根据权利要求1所述的基于近超声波的智能手机图案密码推测方法，其特征在于：所述步骤1中解锁检测采用方向传感器和加速度计分别检测拿起手机和点击屏幕操作过程。3.根据权利要求1所述的基于近超声波的智能手机图案密码推测方法，其特征在于：步骤2中所述播放的近超声波音频频率为20～22kHz。4.根据权利要求1所述的基于近超声波的智能手机图案密码推测方法，其特征在于：所述步骤3中音频分割的具体过程包括：提取与指尖滑动相关的音频信号段；利用传统的相干检波器解调基带信号分离出指尖滑动音频信号，具体公式为如下：I(t)＝Fds(Flow(R(t)*Asin2πft))Q(t)＝Fds(Flow(R(t)*Acos2πft))其中R(t)表示记录的音频信号，Flow表示低通滤波器，Fds表示下采样，I(t)表示同向音频信号成分，Q(t)表示正交音频信号成分。5.根据权利要求4所述的基于近超声波的智能手机图案密码推测方法，其特征在于：所述步骤4的具体过程如下：使用有效点识别方法将信号分成很多段，每一段对应一条线段，线段指尖的转折点即为指尖转弯点；并当前局部极值点和前一个有效极值点之间的时间间隔与阈值T比较，如果大于该阈值则认为是有效的极值点否则不认为其为极值点，以排除环境噪音干扰。6.根据权利要求5所述的基于近超声波的智能手机图案密码推测方法，其特征在于：所述步骤5的具体过程包括：步骤5.1：多径干扰消除，用音频信号邻近的极大/小值的平均值作为噪音信号的估计值，然后利用线性插值算法估计指尖运动时噪声信号在其他点上的值。在减去噪音信号的估计值后，可以得到真正的对应每一条线段的I/Q信号；步骤5.2：重新鉴定起...

【专利技术属性】
技术研发人员：王骞，周满，杨靖骁，徐炜烨，王志波，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42