基于深度学习和agent的联动防御系统技术方案

本发明专利技术公开了一种基于深度学习和agent的联动防御系统，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；本发明专利技术的实施过程为：检测监控范围内的异常行为，对异常行为生成告警；依据告警信息形成联动防御策略并下发到指定主机的agent；主机的agent接收到联动防御策略后执行策略定义的动作，完成联动防御。本发明专利技术使用策略联动机制，将检测结果与主机防御有机地联动，大大降低了联动防御的响应时间，增加了联动防御的有效性，具有明显的、重要的社会意义和实用意义。

Interactive Defense System Based on Deep Learning and Agent

The invention discloses a linkage defense system based on in-depth learning and agent, which includes high-speed traffic acquisition module, protocol analysis module, file restoration and encryption storage module, sensitive information detection module, sensitive alarm module, linkage defense strategy decision-making module, linkage defense strategy decision-making sending module, linkage defense strategy execution module and linkage defense strategy verification module. The implementation process of the present invention is as follows: detecting abnormal behavior within the scope of monitoring, generating an alarm for abnormal behavior; forming a linkage defense strategy based on the alarm information and sending it to the agent of the designated host; executing the action defined by the strategy after the agent of the host receives the linkage defense strategy and completing the linkage defense. The invention uses the strategy linkage mechanism to organically link the detection results with the host defense, greatly reduces the response time of the linkage defense, increases the effectiveness of the linkage defense, and has obvious and important social and practical significance.

【技术实现步骤摘要】
基于深度学习和agent的联动防御系统
本专利技术涉及一种基于深度学习和agent的联动防御系统，属于安全监测和联动防御

技术介绍
2017年6月1日，国家正式施行《国家网络安全法》，其中强调敏感信息监测的重要性，数据泄露违规行为必定会给行业的社会形象及经济效益带来严重的负面影响。数据泄露行为细分包括泄露存储于数据库中的结构数据，企业发展战略、合同、项目发展规划等企业运营过程中涉及商业秘密的办公文件。较为常用的数据泄露违规行为的检测基于敏感关键字匹配，该方法的漏报率和误报率都较高，例如一篇普通文件里面含有“不能说的秘密、规划、下一步、计划”等敏感关键字时，就会被基于敏感关键字匹配程序误判为敏感文件，后期需要耗费大量人力去复核。另一方面，现有的行为阻断方式大多为单体防御响应，即监控系统检测到数据泄露违规行为后产生告警，处置人员在看到告警信息后使用手工手段进行告警处置，当待处置告警量大时，首先操作人员难以有效确认告警信息；其次，操作人员不能快速处置及时有效阻断数据泄露违规行为。综上所述，传统的数据泄露违规行为检测方法较为机械化，容易产生大量的漏报和误报，且防御响应方式较为单一、滞后，不利于事件的全面检测和及时处理。
技术实现思路
为解决上述问题，本专利技术提供一种基于深度学习和agent的联动防御系统，通过镜像流量过滤解析获得传输文件协议中传输的文件，还原并检测是否包含敏感信息，生成告警信息，并生成联动防御策略下发，进而实现数据泄露违规行为检测漏报率、误报率的改善和联动响应时间的减少。为达到上述目的，本专利技术采用的技术方案如下：基于深度学习和agent的联动防御系统，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；所述高速流量获取模块，在数据平面基于高速流量技术抓取高速网络流数据包；所述协议解析模块，采用多核多线程，实现网络流分流、流还原和协议解析，过滤出传输文件协议，还原协议中的文件，并将经过协议解析的文件作为文件还原及加密存储模块的输入；所述文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征与还原文件关联，得到关联信息传递给敏感信息检测模块；所述敏感信息检测模块，采用卷积神经网络算法，实现文件的敏感信息检测，将检测的敏感文件所带的关联信息发送给敏感告警模块；所述敏感告警模块，根据文件敏感级别，对数据泄露违规行为进行分级告警，将数据泄露违规行为的主体IP和泄露内容，形成告警数据，下发到联动防御策略决策模块；所述联动防御策略决策模块，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址，根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略；所述联动防御策略决策下发模块，根据联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent；所述联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制；所述联动防御策略验证模块，采用自动处理或者人工验证告警信息的准确与否。前述的协议解析模块的协议解析过程为：协议解析模块基于协议格式对协议内容进行解析，通过在不同网络层次按照不同的网络协议规范来解析各网络层数据包的头部及其载荷，按照先解析头部，然后去掉头部获取数据内容，再解析下一网络层数据包的头部，获取数据内容的步骤，层层解析，最终还原出完整的协议原始信息。前述的协议解析模块在进行协议解析之前，在TCP层根据网络流数据包是否分片，网络流数据包的方向和网络流数据包的序号，判断当前网络流数据包是否进行报文重组，将分片网络流数据包送入缓存队列，等分片报文搜集完毕进行重组后再进行协议解析。前述的流量信息特征包括源IP地址/目的IP地址，源端口/目的端口以及协议特征。前述的文件还原及加密存储模块基于国密SM4对协议解析模块还原的文件进行加密，并存储在指定加密文件存储位置。前述的敏感信息检测模块的检测过程为：首先使用与加密对应的解密算法对加密文件进行解密，然后提取解密后文件中的流量特征信息，即词向量，利用余弦相似度获取文件词向量特征，形成词向量矩阵，接着将词向量矩阵作为卷积神经网络CNN的输入，进行卷积、平滑操作，最后通过交叉验证算法确认文件是否为敏感文件。本专利技术的有益效果为：本专利技术采用主动防御的思想，监控网络信息的传播，不用太多的人为干预，有比较高的效率；本专利技术可运用于文档保密部门、网络监管部门和网络服务部门，以自动发现检测范围内或特定目标的提供公众服务的网站，以识别过滤服务内容的敏感信息，这样有助于遏制不良信息的散布，有助于营造安全的网络环境，具有明显的、重要的社会意义和实用意义。附图说明图1为本专利技术系统的结构框图。具体实施方式下面对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1所示，本专利技术的基于深度学习的数据泄露违规行为检测和基于agent的防御策略联动系统，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块，具体如下：高速流量获取模块，在数据平面基于高速流量技术(DPDK)抓取高速网络流数据包。协议解析模块，采用多核多线程设计，实现网络流分流处理、流还原(分片、重组)和协议解析，过滤出传输文件协议(HTTP、FTP、SMTP)等，还原协议中的文件，并将经过协议解析的文件作为存储模块的输入。具体解析过程如下：协议解析模块基于协议格式对协议内容进行解析，通过在不同网络层次按照不同的网络协议规范来解析各网络层数据包的头部及其载荷，按照先解析头部，然后去掉头部获取数据部分的内容，再解析下一网络层数据包的头部，获取数据内容的步骤，层层解析，最终还原出完整的协议原始信息。对需要进行文件还原的协议(主要有HTTP、FTP、SMTP)，在TCP层根据数据包是否分片，数据包的方向和数据包的序号，判断当前数据包是否进行报文重组，将分片流量数据包送入缓存队列，等分片报文搜集完毕进行重组，等待下一步解析，直至还原出完整的协议原始信息。文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征(源IP地址/目的IP地址，源端口/目的端口，协议特征等)与还原文件关联，得到关联信息传递给敏感信息检测模块。加密过程基于国密SM4算法，对协议解析模块还原的文件进行加密，并存储在指定加密文件存储位置，以防检测过程中的敏感信息泄露。敏感信息检测模块，实现文件的敏感信息检测，从而实现数据泄露违规行为的检测，首先使用与加密对应的解密算法对文件还原及加密存储模块的文件进行解密，然后提取解密后文件中的流量特征信息，即词向量(wordembedding)。利用余弦相似度获取文件词向量特征，形成词向量矩阵(word2vec)，接着将词向量矩阵作为卷积神经网络CNN的输入，通过卷本文档来自技高网...

【技术保护点】
1.基于深度学习和agent的联动防御系统，其特征在于，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；所述高速流量获取模块，在数据平面基于高速流量技术抓取高速网络流数据包；所述协议解析模块，采用多核多线程，实现网络流分流、流还原和协议解析，过滤出传输文件协议，还原协议中的文件，并将经过协议解析的文件作为文件还原及加密存储模块的输入；所述文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征与还原文件关联，得到关联信息传递给敏感信息检测模块；所述敏感信息检测模块，采用卷积神经网络算法，实现文件的敏感信息检测，将检测的敏感文件所带的关联信息发送给敏感告警模块；所述敏感告警模块，根据文件敏感级别，对数据泄露违规行为进行分级告警，将数据泄露违规行为的主体IP和泄露内容，形成告警数据，下发到联动防御策略决策模块；所述联动防御策略决策模块，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址，根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略；所述联动防御策略决策下发模块，根据联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent；所述联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制；所述联动防御策略验证模块，采用自动处理或者人工验证告警信息的准确与否。...

【技术特征摘要】
1.基于深度学习和agent的联动防御系统，其特征在于，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；所述高速流量获取模块，在数据平面基于高速流量技术抓取高速网络流数据包；所述协议解析模块，采用多核多线程，实现网络流分流、流还原和协议解析，过滤出传输文件协议，还原协议中的文件，并将经过协议解析的文件作为文件还原及加密存储模块的输入；所述文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征与还原文件关联，得到关联信息传递给敏感信息检测模块；所述敏感信息检测模块，采用卷积神经网络算法，实现文件的敏感信息检测，将检测的敏感文件所带的关联信息发送给敏感告警模块；所述敏感告警模块，根据文件敏感级别，对数据泄露违规行为进行分级告警，将数据泄露违规行为的主体IP和泄露内容，形成告警数据，下发到联动防御策略决策模块；所述联动防御策略决策模块，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址，根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略；所述联动防御策略决策下发模块，根据联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent；所述联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制；所述联动防御策略验证模块，...

【专利技术属性】
技术研发人员：于晓文，陈春霖，赵俊峰，林学峰，金倩倩，姜帆，郭靓，李斌斌，廖鹏，刘剑，夏元轶，
申请(专利权)人：南瑞集团有限公司，南京南瑞信息通信科技有限公司，国网江苏省电力有限公司信息通信分公司，
类型：发明
国别省市：江苏,32