基于深度强化学习的安卓恶意软件检测特征提取方法技术

本发明专利技术公开了一种基于深度强化学习的安卓恶意软件检测特征提取方法，涉及软件与信息系统安全技术领域，包括样本获取步骤、深度强化学习模型构建步骤以及模型训练步骤，用于在使用机器学习方法检测安卓恶意软件时对输入特征进行降维，利用Double Deep Q

【技术实现步骤摘要】
基于深度强化学习的安卓恶意软件检测特征提取方法


[0001]本专利技术涉及软件与信息系统安全
，确切地说涉及一种基于深度强化学习的安卓恶意软件检测特征提取方法。

技术介绍

[0002]随着新一代网络信息技术的不断发展，越来越多的人开始使用互联网，互联网开始影响着生活的方方面面，然而，互联网的发展也加速了恶意软件的传播，恶意软件是指实现了攻击者恶意目的的软件，经常通过互联网传播，是存在损害用户利益的行为是判定软件是否为恶意软件的依据。
[0003]而随智能手机的不断发展，越来越多的人选择使用智能手机，搭载安卓系统的智能手机始终占据了市场的很大份额，安卓系统的恶意软件能够求取用户隐私信息、获取用户利益、远程控制达到非法个人目的。自2013年以来，安卓操作系统一直占据着移动操作系统市场的统治地位，这个平台的开源性和开放性是的安卓平台成为恶意软件攻击的热门目标。根据Trend Force最新发布数据，2020年智能手机的总产量为12.5亿部，Android占据了78.4％的市场份额。然而，由于广泛分布和开源特性，除了官方Android Market之外，Android应用程序还可以从未知、不受信任和潜在恶意的第三方下载和安装，这使得该平台成为恶意软件攻击的目标。根据360安全于2020年2月28日发布的2019年Android恶意软件专项报告显示，2019年该平台在移动端拦截新恶意软件样本约180.9万个，平均每天拦截约5000个新移动恶意软件样本，因此，对于恶意安卓软件的分析研究刻不容缓。
[0004]现有技术中，机器学习等人工智能方法在恶意安卓软件检测中的应用，解决了传统基于签名的检测技术不能识别未知恶意软件的缺点，减小了恶意软件签名库的更新和维护成本，但安卓系统反编译后提取的静态特征数量庞大，机器学习分类器训练和检测时计算开销大、效率和准确率低下。因此，在将特征集合输入机器学习分类器前，需要利用有效的最优特征子集选择方法进行数据降维，以提高恶意安卓软件检测的效率。
[0005]在安卓最优特征子集选择中，根据选择指标是否独立于分类器的准确度，特征算法可以分为包装类(Wrapper
‑
based)、过滤类(Filter
‑
based)两种方法。对于基于过滤类的特征提取方法(如Information Gain，Relief F等)，选择指标与分类器的准确率结果无关，而在基于包装类的算法中(如FFSR，Wrapper Subset Eval等)，直接使用分类器的精度来评估生成的特征子集并改善选择方法。但是，基于包装类的特征提取方法计算开销大，在数据集庞大时效率低下，但基于过滤类的特征提取方法忽略了分类器反馈的不同特征之间的相关性，从而在处理高维特征向量时可能选择出大量冗余特征。
[0006]为了在恶意安卓软件检测效率上取得突破，需要有一种新方法利用包装类特征提取方法通过分类器准确率反馈来改善选择方式的特点，同时解决该特征提取方法存在的难以探索有效特征子集组合的问题。

技术实现思路

[0007]本专利技术目的在于针对上述问题，提供一种基于强化学习的特征提取方法、通过除去冗余和无关特征实现数据降维，从而降低机器学习检测器的计算开销、提高恶意安卓软件检测效率的安卓恶意软件检测特征提取方法。
[0008]本专利技术提供的这一种基于深度强化学习的安卓恶意软件检测特征提取方法，包括样本获取步骤、深度强化学习模型构建步骤以及模型训练步骤；
[0009]所述样本获取步骤，从Android平台的Androzoo以及Drebin数据集中获取若干不同的良性和恶意的APK样本，并通过所述APK样本进行对特征提取和特征向量化处理得到样本集合；
[0010]进一步的，所述样本获取步骤中，获取APK样本后还需对其进行数据清洗，具体的，是通过Androguard工具对所述APK样本进行解析，同时通过APK Tool工具对所述APK样本进行反汇编，删除解析失败和反汇编失败的样本。
[0011]优选地，所述样本获取步骤中，所述特征提取，是通过Android Manifest.xml文件提取出经过数据清洗后的APK样本的457个重要权限特征和126个意图特征，同时根据反汇编生成的smail格式文件语法特征，将APK样本中Method字段基本块所包含的Dalvik字节码指令按照设定的转换规则进行转换，然后使用N
‑
gram技术获取样本的N
‑
gram特征集合，含500个N
‑
gram特征。原始特征集合共1083个特征。
[0012]更为具体的，所述样本获取步骤中，特征向量化处理，是将所述APK样本采用二进制特征向量进行表示，向量中“1”表示权限特征、意图特征或N
‑
gram特征在APK文件中存在，“0”则表示APK文件中不存在权限特征、意图特征和/或N
‑
gram特征。
[0013]所述深度强化学习模型构建步骤，选择Double Deep Q
‑
Learning算法作为深度强化学习模型，选定基于机器学习算法的、用于检测恶意安卓软件的分类器模型，并定义所述深度强化学习模型的学习动作空间与状态空间，设定奖励机制，并初始化所述深度强化学习模型以及其决策网络的超参数；
[0014]优选地，所述Double Deep Q
‑
Learning算法包含两个结构一致、激活函数均使用ReLU激活函数的前馈深度Q网络，分别为当前主网络和目标网络，其中，当前主网络用于训练学习、目标网络用于输出选择动作的Q值引导智能体做出决策。
[0015]进一步的，所述强化学习模型构建步骤中，定义所述深度强化学习模型的学习动作空间与状态空间，深度强化学习模型的行动主要是从安卓原始特征集中选择一个新的特征加入到自身的状态中，具体的：
[0016]设定在探索模式下，所述深度强化学习模型智能体从样本集合中随机选择一个尚未被选择的特征加入到自身的状态中；
[0017]设定在利用模式下，所述深度强化学习模型智能体的选择由决策网络引导执行，决策网络结合先验阈值经验和深度强化学习模型的当前状态，从样本集合中选择一个尚未被选择过的、最优的特征加入到自身的状态中；
[0018]且设定深度强化学习模型每次选择有ε的概率处于探索模式下，有1
‑
ε的概率处于利用模式，其中式中，n是当前训练的轮次，M是设定的总训练轮次，p是一个设定的需要调整的上限。
[0019]更为优选地，在本技术方案中，所述深度强化学习模型的决策网络为长短期记忆网络，决策网络的输入是深度强化学习模型的状态，输出是一个用于表示每个特征置信度的向量。
[0020]更为具体的，在本技术方案中，所述深度强化学习模型的决策网络有两个，一个为当前主网络，另一个为目标网络，在经过设定的训练轮次后，当前主网络的参数值将被同步到目标网络中。
[0021]且在所述强化学习模型构建步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的安卓恶意软件检测特征提取方法，其特征在于：包括样本获取步骤、深度强化学习模型构建步骤以及模型训练步骤；样本获取步骤，从Android平台的Androzoo以及Drebin数据集中获取若干不同的良性和恶意的APK样本，并通过所述APK样本进行对特征提取和特征向量化处理得到样本集合；深度强化学习模型构建步骤，选择Double Deep Q
‑
Learning算法作为深度强化学习模型，选定基于机器学习算法的、用于检测恶意安卓软件的分类器模型，并定义所述深度强化学习模型的学习动作空间与状态空间，设定奖励机制，并初始化所述深度强化学习模型以及其决策网络的超参数；模型训练步骤，启动所述深度强化学习模型进行学习训练，训练过程中损失深度强化学习模型按照设定数量从其经验回放池中选取学习经验更新其决策网络，当深度强化学习模型观测到在探索模式下和利用模式下选择的特征达到设定数量后结束当前轮次的训练，然后根据设定的训练轮次循环对深度强化学习模型进行学习训练，完成全部轮次的训练后，将识别准确率最高的特征子集作为最终选取的最优特征子集。2.如权利要求1所述的基于深度强化学习的安卓恶意软件检测特征提取方法，其特征在于：所述样本获取步骤中，获取APK样本后还需对其进行数据清洗，具体的，是通过Androguard工具对所述APK样本进行解析，同时通过APKTool工具对所述APK样本进行反汇编，删除解析失败和反汇编失败的样本。3.如权利要求2所述的基于深度强化学习的安卓恶意软件检测特征提取方法，其特征在于：所述样本获取步骤中，所述特征提取，是通过AndroidManifest.xml文件提取出经过数据清洗后的APK样本的457个重要权限特征和126个意图特征，同时根据反汇编生成的smail格式文件语法特征，将APK样本中Method字段基本块所包含的Dalvik字节码指令按照设定的转换规则进行转换，然后使用N
‑
gram技术获取样本的N
‑
gram特征集合，含500个N
‑
gram特征。原始特征集合共1083个特征。4.如权利要求3所述的基于深度强化学习的安卓恶意软件检测特征提取方法，其特征在于：所述样本获取步骤中，特征向量化处理，是将所述APK样本采用二进制特征向量进行表示，向量中“1”表示权限特征、意图特征或N
‑
gram特征在APK文件中存在，“0”则表示APK文件中不存在权限特征、意图特征和/或N
‑
gram特征。5.如权利要求1所述的基于深度强化学习的安...

【专利技术属性】
技术研发人员：方智阳，李美瑾，曾琪，杨涛，伍胤玮，程露玉，
申请(专利权)人：四川大学，
类型：发明
国别省市：