一种智能特征提取方法及系统技术方案

本发明专利技术涉及一种智能特征提取方法及系统。本发明专利技术的系统包括匹配特征库、特征匹配器、相似度计算器、特征提取器及入侵检测引擎。本发明专利技术的方法包括以下步骤：特征匹配步骤、相似度计算步骤、特征提取步骤及入侵检测步骤。本发明专利技术解决了传统的入侵检测产品当中进行特征匹配所使用的特征全部由手工提取的效率问题。实现了在某些特征变化较小的情况下能够依据数据报文进行特征的提取及更新的功能，同时具有速度快和准确率高等优点。

【技术实现步骤摘要】

本专利技术涉及网络安全技术，尤其涉及一种在网络入侵检测中提取特征的方法。
技术介绍
入侵检测/防御系统(Intrusion Detection/Protection System, IDS/IPS)作为 网络安全防护的重要手段，通常部署在关键网络内部/网络边界入口处，实时捕获网络内 或进出网络的报文数据流并进行智能综合分析，发现可能的入侵行为后进行报警或实施进 一步的阻断功能。 目前的入侵检测产品及技术绝大部分是基于协议解析的结果并根据预先设定的 各种检测特征(例如对于BT协议以特征字段BiTTorrent进行识别)通过模式匹配的方 式来进行相应的入侵检测的判断。现有的大部分入侵检测产品当中所使用的检测特征都 是由人工进行定义的，大多数都是采用搭建环境、捕捉报文，人工分析的方式进行特征的提 取。这样做虽然特征提取的精度很高，但是需要消耗大量的人力、时间。而目前很多的应用 软件，尤其是P2P(点对点)(比如BT、 emule、迅雷等)、即时通信(M)类等很多应用非常 广泛的软件的版本更新速度非常快，而对于大部分的版本更新而言，带来的数据当中特征 的变化其实是非常小的。例如深圳腾讯公司生产的即时通信软件QQ几乎l-2个月就会 升级一次，其特征在数据报文当中的变化非常细微。在这种情况下，如果对于每次的升级或 版本变化都采用传统的人工特征提取方式的话会占用非常多的时间和人力，这种情况下采 用这种特征提取方式显然是不经济的。因此有必要实现一种在特征变动很小的情况下进行 特征的智能提取的机制，能够自动检测特定的匹配特征在实际报文当中的变化程度，并根 据相似度的大小自动的进行匹配特征的更新，进一步提高网络安全产品当中特征提取的效 率。根据研究发现很多的网络应用在版本升级等变化中反应在数据报文特征中的变化是非 常小的，完全可以通过自动修正的方式进行特征提取及更新，因此实现这种智能特征提取 系统是可行的。
技术实现思路
为了克服现有技术的上述问题，本专利技术提出一种智能特征提取方法及系统，所述 的智能特征提取方法可以满足在实际网络环境中根据实际捕获的网络报文及预先定义的 检测特征判断该特征有效性，在特征匹配成功时直接输出入侵检测引擎进行处理。在特征 匹配不成功时对比特征与数据报文当中对应的数据部分的相似度，并在相似度达到预先设 定的阈值时自动生成新的匹配特征并将此特征存储于匹配特征库中供后续入侵检测使用。 本专利技术可以在特征变化较小的情况下实现新特征的自动生成，进一步的节省人力和时间的 开销，同时保证了准确率及性能。 为了实现本专利技术的目的，根据本专利技术的一个方面，提供一种智能特征提取方法，该 方法包含以下步骤 特征匹配步骤，用于将已存储的匹配特征与实际获取的特征进行匹配，如果匹配3成功，则直接上报入侵检测引擎；否则进行相似度计算； 相似度计算步骤，用于根据所述特征匹配步骤的匹配结果进行相似度计算； 特征提取步骤，用于根据所述相似度计算步骤的计算结果生成新特征； 入侵检测步骤，用于根据所述特征匹配步骤的匹配结果进行入侵检测。 根据所述的一种智能特征提取方法，所述的特征匹配步骤还包括步骤 Al、对实际捕获的数据报文进行协议分析，获得实际获取的特征； A2、将匹配特征库中存储的匹配特征与步骤A1中获取的特征进行特征匹配； A3、如果特征匹配成功，则直接上报入侵检测引擎进行处理；如果特征匹配失败，则将步骤Al中获取的特征及对应的数据部分输出到相似度计算器进行相似度计算。根据所述的一种智能特征提取方法，所述的相似度步骤还包括步骤 Bl、依据所述特征匹配步骤的输出特征、对应的数据部分以及特征字段的权重进行相似度的计算； B2、如果计算得出的相似度小于预先设定的阈值，则不进行处理；如果计算得出的 相似度大于预先设定的阈值，则将所述特征匹配步骤输出的特征与相应的数据部分提供给 新特征生成器进行特征提取。根据所述的一种智能特征提取方法，所述的特征提取步骤，还包括步骤 Cl、依据所述相似度计算步骤提供的匹配特征及相对应的数据部分，生成新的匹配特征； C2、将新的匹配特征输出到匹配特征库； C3、更新所述匹配特征库。 根据所述的一种智能特征提取方法，所述的入侵检测步骤，还包括步骤 Dl、依据所述特征匹配步骤上报的已匹配的特征进行进一步的入侵检测； D2 、对包含所述已匹配的特征的事件进行进一步处理。 另外，本专利技术还提供一种智能特征提取系统，该系统包括匹配特征库、特征匹配 器、相似度计算器、新特征生成器及入侵检测引擎，其中 匹配特征库，用于存储进行特征匹配的所有特征，并且与所述特征匹配器相连 接； 特征匹配器，用于将已存储的匹配特征与实际获取的特征进行匹配，并且与所述 相似度计算器及所述入侵检测引擎相连接； 相似度计算器，用于根据所述特征匹配器的匹配结果进行相似度计算，并且与所 述新特征生成器相连接； 新特征生成器，用于根据所述相似度计算器的计算结果生成新特征，并且与所述 匹配特征库相连接； 入侵检测引擎，用于根据所述特征匹配器的匹配结果进行入侵检测。 为了进一步说明本专利技术的原理及特性，以下结合附图和具体实施方式对本专利技术进行详细说明。附图说明 图1是按照本专利技术的一个实施方式的智能特征提取系统的结构示意 图2是按照本专利技术的一个实施方式的智能特征提取系统的工作流程示意图。 具体实施例方式下面结合附图详细描述本专利技术的具体实施方式。图1是按照本专利技术的一个实施方式的智能特征提取系统的结构示意图。该系统包括匹配特征库、特征匹配器、相似度计算器、新特征生成器和入侵检测引擎。 匹配特征库，用于存储进行多模式特征匹配的所有特征。这些特征包括但不限于常见木马、漏洞的一些报文特征、特定数据库审计报文特征等等。 特征匹配器，用于从匹配特征库中获得匹配特征，并从实际捕获的网络报文数据 中提取出特征，然后将从匹配特征库中获得的匹配特征与从实际捕获的网络报文数据中提 取出的特征进行特征匹配。如果根据匹配失败，则将实际捕获的网络报文数据中提取出的 特征输出到相似度计算器；如果根据匹配成功，则将匹配成功的结果输出到入侵检测引擎。 相似度计算器，用于当特征匹配器进行的特征匹配失败时，将匹配特征库中的匹 配特征与从实际捕获的网络报文数据中提取出的特征和对应数据进行相似度计算，然后将 相似度计算结果输出到新特征生成器。 新特征生成器，用于依据相似度计算器输出的相似度计算结果进行特征更新，并 将更新后的结果输出到匹配特征库。 入侵检测引擎，用于当特征匹配器进行的特征匹配成功时，接收特征匹配器输出 的匹配成功结果，进行进一步的入侵检测；然后对包含所述匹配特征的事件进行进一步处理。 图2是按照本专利技术的一个实施方式的智能特征提取方法的工作流程示意图。 特征匹配步骤以层次化的协议分析方法(即对各层次的网络协议进行协议分 析，包括应用层、网络层、传输层等)对实际捕获的数据报文(采用现有技术即可实现这种 捕获)进行协议分析。然后获得实际捕获的数据报文中相应的特征。依据从实际捕获的数 据报文中获得的对应特征与匹配特征库中的匹配特征进行匹配；如果特征匹配成功，则直 接将匹配成功的结果上报到入侵检测引擎；如果匹配不成功，则将从实际捕获的网络报文 数据中提取出的特征和对应数据输出到相似度本文档来自技高网...

【技术保护点】
一种智能特征提取方法，其特征在于，该方法包含以下步骤：特征匹配步骤，用于将已存储的匹配特征与实际获取的特征进行匹配，如果匹配成功，则直接上报入侵检测引擎；否则进行相似度计算；相似度计算步骤，用于根据所述特征匹配步骤的匹配结果进行相似度计算；特征提取步骤，用于根据所述相似度计算步骤的计算结果生成新特征；入侵检测步骤，用于根据所述特征匹配步骤的匹配结果进行入侵检测。

【技术特征摘要】
一种智能特征提取方法，其特征在于，该方法包含以下步骤特征匹配步骤，用于将已存储的匹配特征与实际获取的特征进行匹配，如果匹配成功，则直接上报入侵检测引擎；否则进行相似度计算；相似度计算步骤，用于根据所述特征匹配步骤的匹配结果进行相似度计算；特征提取步骤，用于根据所述相似度计算步骤的计算结果生成新特征；入侵检测步骤，用于根据所述特征匹配步骤的匹配结果进行入侵检测。2. 根据权利要求1所述的一种智能特征提取方法，其特征在于，所述的特征匹配步骤 还包括步骤Al、对实际捕获的数据报文进行协议分析，获得实际获取的特征； A2、将匹配特征库中存储的匹配特征与步骤A1中获取的特征进行特征匹配； A3、如果特征匹配成功，则直接上报入侵检测引擎进行处理；如果特征匹配失败，则将 步骤Al中获取的特征及对应的数据部分输出到相似度计算器进行相似度计算。3. 根据权利要求1所述的一种智能特征提取方法，其特征在于，所述的相似度步骤还 包括步骤Bl、依据所述特征匹配步骤的输出特征、对应的数据部分以及特征字段的权重进行相 似度的计算；B2、如果计算得出的相似度小于预先设定的阈值，则不进行处理；如果计算得出的相似度大于预先设定的阈值，则将所述特征匹配步骤输...

【专利技术属性】
技术研发人员：孙海波，
申请(专利权)人：北京启明星辰信息技术股份有限公司，北京启明星辰信息安全技术有限公司，
类型：发明
国别省市：11[中国|北京]