基于深度强化学习的恶意软件家族分类规避方法技术

本发明专利技术公开了一种基于深度强化学习的恶意软件家族分类规避方法，采用强化学习算法，创建环境并构造智能体，通过不断地与目标恶意软件分类器交互，智能体修改待测恶意软件，最终达到规避分类的目的。本发明专利技术方法与其他的恶意软件检测/分类的对抗方法相比，更易于实现且开销更小；本发明专利技术中基于深度强化学习的恶意软件家族分类规避方法，对于各种利用不同特征构建的恶意软件分类模型，都能有效地修改恶意软件，同时不会破坏其恶意性功能，最终规避恶意软件家族分类；最终提升基于机器学习算法的恶意软件检测与分类模型的鲁棒性，提升杀毒引擎的防御能力。

【技术实现步骤摘要】
基于深度强化学习的恶意软件家族分类规避方法
本专利技术涉及软件安全与信息系统安全
，尤其涉及一种基于深度强化学习的恶意软件家族分类规避方法。
技术介绍
恶意软件指实现了攻击者恶意目的的软件，是否存在恶意目的是判定软件是否为恶意软件的依据。恶意软件能够蓄意删除一些文件或目录信息来破坏计算机硬盘设备，能够在用户不知情的情况下窃取计算机用户的信息和隐私，也能够非法获得计算机系统和网络资源的控制，破坏计算机和网络的可信性、完整性和可用性。随着新一代网络信息技术的不断发展，越来越多的人开始使用互联网，互联网开始影响着生活的方方面面。然而，互联网的发展也加速了恶意软件的传播。第44次《中国互联网络发展状况统计报告》显示44.4％的网民2019年上半年在上网过程中遭遇过网络安全问题。针对我国境内网站的境外攻击、控制事件不断增加。CNCERT新增捕获计算机恶意程序样本数量约3,200万个，计算机恶意程序传播次数日均达约998万次；中国境内受计算机恶意程序攻击的IP地址约3,762万个，约占我国活跃IP地址总数的12.4％；位于境外的约3.9万个计本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的恶意软件家族分类规避方法，其特征在于，包括以下步骤：/n步骤1：采集病毒样本，完成数据收集与数据清洗；/n步骤2：构建智能体、定义强化学习动作空间与状态空间、确定奖励机制；选定待规避的基于机器学习算法的恶意软件分类模型，初始化采用的深度强化学习模型类型与其超参数；/n步骤3：将一个恶意软件样本输入到待训练的深度强化学习模型中，智能体针对当前的样本结构得到当前的状态，根据状态选取一个最优的修改动作，并对该恶意样本进行修改；/n步骤4：将修改后的恶意样本输入到选定的分类模型中，分类模型给出预测的该恶意样本所属的家族类别，并将其与该恶意样本的真实家族类别进行比较，得到奖励；...

【技术特征摘要】
1.一种基于深度强化学习的恶意软件家族分类规避方法，其特征在于，包括以下步骤：
步骤1：采集病毒样本，完成数据收集与数据清洗；
步骤2：构建智能体、定义强化学习动作空间与状态空间、确定奖励机制；选定待规避的基于机器学习算法的恶意软件分类模型，初始化采用的深度强化学习模型类型与其超参数；
步骤3：将一个恶意软件样本输入到待训练的深度强化学习模型中，智能体针对当前的样本结构得到当前的状态，根据状态选取一个最优的修改动作，并对该恶意样本进行修改；
步骤4：将修改后的恶意样本输入到选定的分类模型中，分类模型给出预测的该恶意样本所属的家族类别，并将其与该恶意样本的真实家族类别进行比较，得到奖励；
步骤5：将所得到的当前的状态、当前的动作以及奖励反馈给智能体；如果修改后的恶意样本被错分为其他家族类别，则对于本样本的修改结束，更新深度网络权值参数，并跳至步骤3；否则，智能体做出下一个恶意样本修改动作，并对该恶意样本继续修改，循环步骤5；
步骤6：在训练过程中对智能体进行评估，获得恶意软件分类规避模型。


2.根据权利要求1所述的基于深度强化学习的恶意软件家族分类规避方法，其特征在于，在步骤1中，病毒样本是基于Win32平台的来自Backdoor、Dos、Email、Exploit、Net-worm、Rootkit、Trojan、Virus、Worm恶意软件家族门类的不同PE格式样本。


3.根据权利要求1所述的基于深度强化学习的恶意软件家族分类规避方法，其特征在于，在步骤1中，利用基于Python的lief解析库对所选用的样本进行解析，删除lief解析出错的样本，完成数据清洗工作。


4.根据权利要求1所述的基于深度强化学习的恶意软件家族分类规避方法，其特征在于，步骤1还包括：在训练之前对所有样本进行缓存，将样本的二进制数据全部读取到内存中，训练过程中获取文件的状态时，直接从内存中读取。


5.根据权利要求1所述的基于深度强化学习的恶意软件家族分类规...

【专利技术属性】
技术研发人员：王俊峰，方智阳，耿嘉炫，李凡，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51