基于机器学习的防御无声指令控制语音助手的方法技术

本发明专利技术公开了一种基于机器学习的防御无声指令控制语音助手的方法，步骤如下1)采集正负样本的数据，2)对正负样本数据进行数据切分；3)样本特征选取与归一化；4)选取分类器进行训练并生成用来对恶意语音指令的检测模型；5)利用得到的检测模型对待检测语音指令进行检测。本发明专利技术选取独创的特征选取方法，针对不同型号的智能设备,需要通过该类型的智能设备获取正常的语音命令和恶意的语音命令,并作为正负样本训练一个特定的针对该类型设备的分类器。通过这种定制化的方式,可以很好的解决跨设备无法进行检测和防御的难题。 1

Machine learning based defense silent instruction control voice assistant method

The invention discloses a method based on machine learning to control voice assistants with silent instructions. The steps are as follows: 1) acquisition of data of positive and negative samples, 2) data segmentation of positive and negative sample data; 3) sample feature selection and normalization; 4) select classifier to train and generate a detection model for malicious voice instruction. 5) use the detected model to detect voice commands. This invention selects the original feature selection method, for different types of intelligent devices, it is necessary to obtain normal voice commands and malicious voice commands through this type of intelligent equipment, and train a specific classifier for this type of equipment as positive and negative samples. Through this customized way, it can solve the problem that the cross device can not detect and defend well. One

【技术实现步骤摘要】
基于机器学习的防御无声指令控制语音助手的方法
本专利技术属于人工智能语音助手安全领域，具体涉及一种基于机器学习的防御无声指令控制语音助手的方法。
技术介绍
作为一种方便有效的人机交互方法，Siri，GoogleNow，Alexa，Cortana，SVoice，HiVoice等语音助手在人们的生活中变得越来越流行，几乎所有的智能设备(智能手机，平板电脑，可穿戴设备以及智能音响)都搭载着相应的语音助手。然而，语音助手也面临着各种各样的安全隐患，例如有一种名为“海豚音攻击”的方法[Zhang,G.,Yan,C.,Ji,X.,Zhang,T.,Zhang,T.,&Xu,W.(2017).DolphinAtack:InaudibleVoiceCommands.arXivpreprintarXiv:1708.09537.]，利用智能设备麦克风电路的漏洞，可以无声地控制语音助手从而命令智能设备执行相应的指令，例如：无声的开启语音助手，拨打付费电话或者监听电话，视频通话，发送付费短信，将手机切换到飞行模式，操作奥迪汽车的导航系统，购物，甚至能够无声解锁Nexus7等。因此，攻击者可以在用户不知道的情况下操纵其智能设备，造成隐私泄露，财产损失等一系列的安全问题。攻击实现的过程如图1，攻击者首先将普通可听见的语音信号通过调幅的方式将其调制到超声波频段然后再通过超声波发送器发送出去，此时人耳是听不到。而智能设备的麦克风电路能够听到并且能够将该调幅信号进行解调，恢复出调制之前的语音信号，此时语音助手识别到该语音信号，并控制智能设备执行恶意的操作。虽然各种搭载语音助手的智能设备的功能有细微差异，但攻击者能够完成的恶意操作有：1.访问恶意网站：然后进行路过式下载攻击，然后使用0day漏洞攻击用户设备。2.监控：攻击者可以拨打语音或者视频电话，从而获取到用户周围的声音和图像。3.植入虚假信息：攻击者可以使用用户设备发送虚假短信、邮件、发布假的博文，或者把虚假的事件添加到日程。4.拒绝服务：攻击者可以打开飞行模式，让设备断网。5.隐蔽攻击：屏幕显示以及语音反馈都可能暴露攻击，但是黑客可以降低屏幕亮度或者音量，达到隐藏的目的。“海豚音攻击”是利用智能设备的硬件漏洞而发起的一种新型攻击，目前还没有具体可行的防御方案，现有技术[Zhang,G.,Yan,C.,Ji,X.,Zhang,T.,Zhang,T.,&Xu,W.(2017).DolphinAtack:InaudibleVoiceCommands.arXivpreprintarXiv:1708.09537.]提出两种防御方案：基于硬件的防御方案和基于软件的防御方案。其中基于硬件的解决方案是建议生产厂商重新设计麦克风电路使得高频声音不能被麦克风接受，或者硬件电路识别到高频的声音后将其滤除。基于软件的防御方案是利用可听声音和不可听声音之间的差异，通过机器学习的方法，区分正常指令和不可听指令。现有技术利用支持向量机(SupportVectorMachine,SVM)成功区分出了正常的声音和不可听的声音指令“Hey”。具体操作如下第一步：用手机录下5个可听的语音指令‘Hey’作为正样本，然后录下不可听的语音指令“Hey”作为负样本。第二步：使用这些正负样本训练SVM分类器。第三步：使用训练好的分类器识别可听与不可听语音指令。3)分析2)中提及的现有技术存在什么样的不足，即专利技术所要解决的技术问题。现有技术提出的基于软硬件的防御方案的不足之处在于：1.厂家是无法对已经出售的智能设备进行硬件上的改进或者说召回成本是厂家无法承受的。2.麦克风电路能够接受超声波是一直存在的问题，尽管随着技术，工艺的进步和发展，也未能有效的解决，因此基于硬件的防御方案是一种高成本，难度大，周期长的防御方案，不能有效的解决目前存在的问题。3.现有技术中基于软件的方案只在一台智能设备，测试了一句语音指令“Hey”，因此不能确定该方法能否在不同智能设备，不同语音指令，不同人声的防御效果。
技术实现思路
为了抵御“海豚音攻击”，本专利技术提出了一种基于机器学习防御“海豚音攻击”的方法，这种方法可以有效的识别接收到的语音指令是恶意的还是正常的指令，进而取消恶意指令的识别和执行，从软件层面杜绝了“海豚音攻击”的可能。本专利技术的技术方案具体如下：首先进行分类器的训练阶段。步骤一，采集样本数据。正常语音数据和恶意语音数据作为正负样本。步骤二，语音信号预处理，将采集到的语音数据进行归类(分为两类正常语音数据和恶意语音数据)和语音数据切分。语音数据切分包括：找到每句语音信号的开始和结束部分，进行数据切分。步骤三，计算样本特征，归一化与贴标签。从切分样本数据中计算出样本特征，我们需要计算每个样本所有数据点的最小值、平均值、能量、偏度、峰度、频谱均值、频谱方差、频谱标准差、不规律性、均方根振幅、频谱质心，11个特征。这一部分输入为样本数据，输出为每个样本数据的时频域特征文件。为了使我们的分类算法分类准确率更高，样本特征的归一化是需要的。我们需要对这些样本特征做归一化处理，每个样本特征最大值设定为1。这一部分输入为每个样本的时域频域特征，输出为归一化的时域频域特征。最后，将归一化后的时频域特征贴上标签，正常语音指令的特征为1，恶意语音特征为0.步骤四，训练支持向量机(SVM)分类器。SVM的分类算法为我们检测的核心。在使用SVM之前需要根据正负样本数据训练一个SVM分类器。以上四个步骤是SVM分类器的训练阶段。以下是利用SVM分类器检测恶意语音命令，在语音助手接收到待识别的语音命令之前，需要经过SVM分类器的检测，只有检测结果为正常指令时，才进行语音识别，否则发出报警或者丢弃掉该语音命令。步骤五，将麦克风电路接收并解调后的语音信号进行预处理,见步骤二。步骤六，计算特征，归一化，见步骤三，但是不包括贴标签的操作。步骤七，将归一化的样本数据输入到SVM分类器进行识别。其中各特征定义如下：平均值：能量:偏度:峰度:频谱均值：频谱方差：频谱标准差：不规律性:均方根振幅:频谱质心：其中，N为样本数据点数，xn是第n个点的功耗值，σ是标准差，an是进行频域变换后第n个频率fn处的能量大小，是频谱均值，Vs是频谱方差，z(n)是加权频率值，y(n)代表样本点的中心频率；所述的最小值即为所有点的功耗最小值。利用SVM分类算法我们可以根据时域频域特征判断当前样本是否为正样本。这一部分输入为归一化的时域频域特征，输出为SVM分类预测结果，即当前语音是否为恶意语音指令。自此，就实现了恶意语音命令的检测和对语音助手的防御。(1)经过对正常语音信号和恶意语音信号的分析发现,恶意语音信号在高频段是被抑制的。即,从不可听的语音命令还原出来的恶意语音指令在较高频段的强度比较小。不同的手机,不同语音命令,不同说话者在这一点上都是一样的,这是一个普遍的现象。因此,通过机器学习的方式可以进行区分和检测。(2)对于任何一种机器学习方法,最终的识别精确度与可靠性很大程度上取决于特征向量的选取以及分类器的选取。特征向量的选取决定了分类器分类能力的上限，分类器的训练方法很大程度上决定了进行分类的速率。考虑到语音信号特征提取的重要性，我们首先通过分析语音指令的特点，选取能反映本文档来自技高网...

【技术保护点】
1.一种基于机器学习的防御无声指令控制语音助手的方法，其特征在于包括如下步

【技术特征摘要】
1.一种基于机器学习的防御无声指令控制语音助手的方法，其特征在于包括如下步骤：1)采集正负样本的数据，2)对采集到的正负样本数据进行数据切分；3)样本特征选取与归一化；对语音数据进行特征特取，特征包括，最小值、平均值、能量、偏度、峰度、频谱均值、频谱方差、频谱标准差、不规律性、均方根振幅、频谱质心，将选取的11个特征构成特征向量，特征向量代替采集到的语音数据，将其作为之后过程中的输入信息，其中各特征定义如下：平均值：能量:偏度:峰度:频谱均值：频谱方差：频谱标准差：不规律性:均方根振幅:频谱质心：其中，N为样本数据点数，xn是第n个点的功耗值，σ是标准差，an是进行频域变换后第n个频率fn处的能量大小，是频谱均值，Vs是频谱方差，z(n)是加权频率值，y(n)代表样本点的中心频率；对样本特征向量进行归一化处理，每个样本特征最大值设定为1，归一化处理的输入为每个样本的时域频域特征，输出为归一化的时域频域特征；最后，将归一化后的时频域特征贴上标签，正常语音指令特征的标签为1，恶意语音特...

【专利技术属性】
技术研发人员：徐文渊，冀晓宇，张国明，闫琛，张天晨，张泰民，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33