基于声学信道的个人计算机使用行为监测方法及系统技术方案

本发明专利技术提供一种基于声学信道的个人计算机使用行为监测方法及系统，所述个人计算机使用行为监测方法包括以下步骤：步骤S1，采集用户操作键盘和鼠标时产生的音频信号；步骤S2，对采集到的音频信号进行数据预处理，提取出音频信号块；步骤S3，提取音频信号块的特征数据，并对特征数据进行模型训练；步骤S4、对模型训练的训练器进行测试，识别对应的事件；步骤S5、根据识别出的对应事件，分析用户的使用行为。本发明专利技术首先通过监督学习训练出的分类器，同时结合模型迁移的方法，实现了对监测事件的识别，进而能够基于事件识别为分析用户使用电脑的活动提供了很好的数据基础，达到监测用户的个人计算机使用行为的目的。

Personal computer usage behavior monitoring method and system based on acoustic channel

The invention provides a method and a system for monitoring the use behavior of a personal computer based on an acoustic channel. The method for monitoring the use behavior of a personal computer includes the following steps: first, collecting audio signals generated when a user operates a keyboard and a mouse; second, preprocessing and extracting the collected audio signals. Audio signal block; M, extract the characteristic data of audio signal block and train the model with the characteristic data; C4, test the trainer of model training to identify the corresponding events; 55, analyze the user's use behavior according to the identified corresponding events. First, the classifier trained by supervised learning and combined with the method of model migration, the invention realizes the identification of monitoring events, and then provides a good data base for analyzing the activities of users using computers based on event recognition, and achieves the purpose of monitoring users'personal computer use behavior.

【技术实现步骤摘要】
基于声学信道的个人计算机使用行为监测方法及系统
本专利技术涉及一种使用行为监测方法，尤其涉及一种基于声学信道的个人计算机使用行为监测方法，并涉及采用了该基于声学信道的个人计算机使用行为监测方法的个人计算机使用行为监测系统。
技术介绍
如今，随着计算机技术的快速发展，商用级电脑变得无处不在，无论是在政府机构、各类公司还是学校，它已经普及到了生活中的各个角落，尤其是商用级电脑的使用使人力工作的效率大大提高。另一方面，近几十年来，声学事件检测的研究也有了迅猛的发展，从语音背景分析到特殊的声学事件检测和检索。现有的研究通过识别离散事件的结果为提取高层次信息提供了依据，人们可以从检测声音信号中受益。最新的调查表明，一些嵌入式或非嵌入式的电子设备的发声造成的边信道攻击作为计算机安全的一部分已经成为近期的热点研究领域，但是这种现有的边信道攻击侧重于窃听用户输入或写入的内容。
技术实现思路
本专利技术所要解决的技术问题是需要提供一种基于声学信道的个人计算机使用行为监测方法，不用获取用户输入或写入的内容，进而能够分析目标用户的使用行为或使用习惯；并进一步提供采用了该基于声学信道的个人计算机使用行为监测方法的个人计算机使用行为监测系统。对此，本专利技术提供一种基于声学信道的个人计算机使用行为监测方法，包括以下步骤：步骤S1，采集用户操作键盘和鼠标时产生的音频信号；步骤S2，对采集到的音频信号进行数据预处理，提取出音频信号块；步骤S3，提取音频信号块的特征数据，并对特征数据进行模型训练；步骤S4、对模型训练的训练器进行测试，识别对应的事件；步骤S5、根据识别出的对应事件，分析用户的使用行为。本专利技术的进一步改进在于，所述步骤S2包括以下子步骤：步骤S201，对步骤S1采集的音频信号进行分帧；步骤S202，对分帧后的音频信号进行降噪滤波处理和/或带通滤波处理；步骤S203，对分帧和滤波后的每一个窗口计算其能量分布，并使用CFAR算法检测事件的起点，然后通过预设长度L对其进行盲切割以提取出事件的音频信号块，然后从反方向开始，使用CFAR算法检测事件的结束点。本专利技术的进一步改进在于，所述步骤203中，通过使用CFAR算法进行事件端点检测，CFAR算法为基于能量的自适应阈值算法，换言之CFAR算法可以根据外部干扰噪声水平动态的调整阈值。因此，本专利技术通过CFAR算法克服了固定阈值事件端点检测算法在时变的噪声环境下不能准确检测事件端点的缺点。本专利技术的进一步改进在于，所述步骤S203中，通过设置第一阈值参数T1和第二阈值参数T2实现对事件的提取，丢弃结束点距离开始点的距离小于第一阈值参数T1或结束点距离开始点的距离大于第二阈值参数T2的切割片段，以最终提取出事件的音频信号块。本专利技术的进一步改进在于，所述步骤S3包括以下子步骤：步骤S301，对步骤S2中所述音频信号块的音频信号进行傅里叶变换，实现对音频信号的频域特征分析；步骤S302，根据音频信号的频域特征进行子事件的声音特征提取；步骤S303，针对子事件的声音特征对分类器进行训练。本专利技术的进一步改进在于，所述步骤S301中，通过对音频信号的频域特征分析得到事件，并对事件进行分组实现第一层的分类器；所述事件包括敲击键盘、点击鼠标滑轮、单击鼠标左键、单击鼠标右键、向上滚轮以及向下滚轮，其中，敲击键盘和点击鼠标滑轮为G1组，单击鼠标左键和单击鼠标右键为G2组，向上滚轮和向下滚轮为G3组；所述步骤S302中，分别对G1组、G2组和G3组进行子事件的特征提取，进行模型训练。本专利技术的进一步改进在于，所述步骤S301中，每一个事件分别开始和结束两个子事件；所述步骤S302中，通过对每一个组内的两种事件的信号进行时频分析，进而提取和筛选出用于训练分类器的声音特征，所述声音特征包括梅尔频率倒谱系数、前k个高能量帧均值、频谱通量、频谱滚降和频谱矩心中的任意一种或几种，所述步骤S303中，根据所述声音特征对每一个子事件进行分类器的训练。本专利技术的进一步改进在于，所述步骤S4包括一下子步骤：步骤S401，把目标音频信号输入到所述步骤S303中训练的分类器，在时间序列上识别出各种发生的事件；步骤S402，通过模型迁移，将检测对象的信号数据中自信度较高的样本与系统中原有的训练样本进行替换，把替换后的数据导入至分类器中进行再次识别。本专利技术的进一步改进在于，所述步骤S5中，通过在时间序列上识别出的各种发生的事件，分析目标用户所进行的活动，确定其状态。本专利技术还提供一种基于声学信道的个人计算机使用行为监测系统，采用了如上所述的基于声学信道的个人计算机使用行为监测方法。与现有技术相比，本专利技术的有益效果在于：首先通过监督学习训练出的分类器，同时结合模型迁移的方法，实现了对监测事件，比如对敲击键盘、点击鼠标滑轮、单击鼠标左键、单击鼠标右键、向上滚轮以及向下滚轮等各种事件的识别，进而能够基于事件识别为分析用户使用电脑的活动提供了很好的数据基础，达到监测用户的个人计算机使用行为的目的，并且不用获取用户输入或写入的内容，避免用户个人信息和隐私的泄露。附图说明图1是本专利技术一种实施例的工作流程示意图；图2是本专利技术一种实施例的事件和声音特征提取之间的关系示意图；图3是本专利技术一种实施例的应用场景模拟示意图；图4是本专利技术一种实施例的包含事件的声音片段与端点检测的仿真示意图；图5是本专利技术一种实施例的分类器的分层结构示意图。具体实施方式下面结合附图，对本专利技术的较优的实施例作进一步的详细说明：如图1所示，本例提供一种基于声学信道的个人计算机使用行为监测方法，包括以下步骤：步骤S1，采集用户操作键盘和鼠标时产生的音频信号；步骤S2，对采集到的音频信号进行数据预处理，提取出音频信号块；步骤S3，提取音频信号块的特征数据，并对特征数据进行模型训练；步骤S4、对模型训练的训练器进行测试，识别对应的事件；步骤S5、根据识别出的对应事件，分析用户的使用行为。由于键盘和鼠标的工作机制，当用户使用键盘和鼠标与计算机进行交互时，会产生由按键或鼠标事件引起的声音信号的发射；由机械振动引起的声音，通过空气或其他介质传播时可以在我们周围的任何地方被采集，并且包含大量信息。伴而随着信号处理和音频传感技术的发展，使用麦克风等设备收集键盘发射的声音，并借助相关技术，就有可能探索丰富的信息。本例所述步骤S1中，优选通过激活智能设备的麦克风，采集用户操作键盘和鼠标时产生的音频信号(声音信号)，如图3所示；收集目标用户音频信号的场景有多种，例如：利用软件攻击目标用户的移动设备，开启其麦克风记录音频数据并储存上传；或监视人将开启麦克风的移动智能设备靠近目标进行音频信号的捕捉。同时装备麦克风的智能设备在采集音频信号是应在有效的范围内，确保音频的正常接收。本例所述步骤S2中，对采集到的音频信号进行数据预处理，包括对采集到的音频信号进行分帧，划分成多个小窗口进行处理，然后对分帧后的音频信号进行滤波降噪，优选使用盲切和精确切割相结合的方法，准确提取出对应事件的音频信号块。具体的，本例所述步骤S2包括以下子步骤：步骤S201，对步骤S1采集的音频信号进行分帧，从而可以对每个窗口的音频数据进行处理；步骤S202，对分帧后的音频信号进行降噪滤波处理，并使用巴特沃斯滤波器对声波信号进行带通滤波处理，带宽优选本文档来自技高网...

【技术保护点】
1.一种基于声学信道的个人计算机使用行为监测方法，其特征在于，包括以下步骤：步骤S1，采集用户操作键盘和鼠标时产生的音频信号；步骤S2，对采集到的音频信号进行数据预处理，提取出音频信号块；步骤S3，提取音频信号块的特征数据，并对特征数据进行模型训练；步骤S4、对模型训练的训练器进行测试，识别对应的事件；步骤S5、根据识别出的对应事件，分析用户的使用行为。

【技术特征摘要】
1.一种基于声学信道的个人计算机使用行为监测方法，其特征在于，包括以下步骤：步骤S1，采集用户操作键盘和鼠标时产生的音频信号；步骤S2，对采集到的音频信号进行数据预处理，提取出音频信号块；步骤S3，提取音频信号块的特征数据，并对特征数据进行模型训练；步骤S4、对模型训练的训练器进行测试，识别对应的事件；步骤S5、根据识别出的对应事件，分析用户的使用行为。2.根据权利要求1所述的基于声学信道的个人计算机使用行为监测方法，其特征在于，所述步骤S2包括以下子步骤：步骤S201，对步骤S1采集的音频信号进行分帧；步骤S202，对分帧后的音频信号进行降噪滤波处理和/或带通滤波处理；步骤S203，对分帧和滤波后的每一个窗口计算其能量分布，并使用CFAR算法检测事件的起点，然后通过预设长度L对其进行盲切割以提取出事件的音频信号块，然后从反方向开始，使用CFAR算法检测事件的结束点。3.根据权利要求2所述的基于声学信道的个人计算机使用行为监测方法，其特征在于，所述步骤203中，通过使用CFAR算法进行事件端点检测，CFAR算法为基于能量的自适应阈值算法。4.根据权利要求2所述的基于声学信道的个人计算机使用行为监测方法，其特征在于，所述步骤S203中，通过设置第一阈值参数T1和第二阈值参数T2实现对事件的提取，丢弃结束点距离开始点的距离小于第一阈值参数T1或结束点距离开始点的距离大于第二阈值参数T2的切割片段，以最终提取出事件的音频信号块。5.根据权利要求1至4任意一项所述的基于声学信道的个人计算机使用行为监测方法，其特征在于，所述步骤S3包括以下子步骤：步骤S301，对步骤S2中所述音频信号块的音频信号进行傅里叶变换，实现对音频信号的频域特征分析；步骤S302，根据音频信号的频域特征进行子事件的声音特征提取；步骤S303，针对子事件...

【专利技术属性】
技术研发人员：伍楷舜，韩晔彤，刘巍峰，邹永攀，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44