一种基于探针的自动流量特征收集方法及系统技术方案

本发明专利技术提出了一种基于探针的自动流量特征收集方法及系统，通过在终端部署探针进行用户、进程行为识别，并在网络侧部署探针进行流量捕获，并在终端行为与网络流量间建立关联，以此来进行流量特征自动提取与收集，并通过大数据分析得到终端侧操作与网络侧数据的联动关系，以及动态判断历史网络流量特征的有效性。本发明专利技术可实现基于终端、网络探针联合的自动化网络流量特征收集；可实现动态收集和维护特征库数据，并能充分保证特征的完整性和准确性。

A probe based automatic traffic feature collection method and system

This invention proposes an automatic flow feature collection method and system based on the probe. By deploying the probe at the terminal to identify the user and process behavior, the probe is deployed on the network side to capture the flow, and the connection between the terminal behavior and the network traffic is established to automatically extract and collect the traffic characteristics. Through large data analysis, the linkage relationship between terminal operation and network side data is obtained, and the validity of dynamic judgment of historical network traffic characteristics is also obtained. The invention can realize automatic network traffic characteristics collection based on terminal and network probe, and can dynamically collect and maintain the data of feature library, and ensure the integrity and accuracy of the feature.

【技术实现步骤摘要】
一种基于探针的自动流量特征收集方法及系统
本专利技术涉及网络流量识别
，尤其涉及一种基于探针的自动流量特征收集方法及系统。
技术介绍
在下一代防火墙等流量深度识别设备得到广泛应用的今天，对流量进行深度识别具有广泛的需求。目前对流量的特征提取主要集中于人工对捕获到的流量样本及产生流量的程序进行深度分析，由于人工介入的效率较为低下、成本较高，使得网络流量特征的获取不能充分保证其时效性及准确性。
技术实现思路
针对上述现有技术中存在的缺陷，本专利技术提出了一种基于探针的自动流量特征收集方法及系统，通过在终端部署探针进行用户、进程行为识别，并在网络侧部署探针进行流量捕获，并在终端行为与网络流量间建立关联，以此来进行流量特征自动提取与收集，并通过大数据分析得到终端侧操作与网络侧数据的联动关系，以及动态判断历史网络流量特征的有效性。具体
技术实现思路
包括：一种基于探针的自动流量特征收集方法，包括：分别在终端侧和网络侧部署探针；终端侧探针监视终端系统中API的调用，当发现指定的API调用动作时进行对应的栈追溯，获取对应的调用进程和调用模块信息，并按规定生成指定数据标记，并将指定数据标记发送给网络侧探针；所述指定的API调用动作包括：连接请求、发送数据、结束连接；终端侧探针监视用户操作，当发现指定的用户操作时，获取与相应操作相关的数据，并将相关的数据保存到进程操作记录中；终端侧探针监视系统进程操作，获取进程操作信息，并将进程操作信息保存到进程操作记录中；网络侧探针根据接收到的指定数据标记进行数据流的获取；将上述终端侧探针获取的信息、相应的指定数据标记、进程操作记录，以及网络侧探针获取的数据流，发送给服务器进行联合分析，生成网络流量特征。进一步地，所述按规定生成指定数据标记，并将指定数据标记发送给网络侧探针，具体为：当终端侧探针发现连接请求的API调用动作时，获取调用动作的目标五元组信息，并根据具体API及调用动作生成流唯一标记，将目标五元组信息和流唯一标记发送给网络侧探针，使网络侧探针做好对目标流进行获取的准备；当终端侧探针发现发送数据的API调用动作时，根据具体API及调用动作生成数据隔唯一标记，将数据隔唯一标记发送给网络侧探针，使网络侧探针明确需要获取的具体数据流，并进行获取；当终端侧探针发现结束连接的API调用动作时，根据具体API，将相应的流唯一标记再次发送给网络侧探针，使网络侧探针结束相应数据流的获取。进一步地，所述当发现指定的用户操作时，获取与相应操作相关的数据，具体为：当终端侧探针发现指定的用户操作时，获取其目标进程及窗体信息；其中，所述指定的用户操作包括：点击、键盘输入，所述窗体信息包括：窗体名称、窗体属性、窗体是否有输入框、窗体输入框属性、输入框内容、用户输入内容、窗体内容文本数据。进一步地，所述网络侧探针根据接收到的指定数据标记进行数据流的获取，还包括：对于获取到的数据流，使用相应的流唯一标记作为相应数据流的流标记，使用相应的数据隔唯一标记作为相应数据流的数据包标记，并对获取到的数据流进行协议识别和解析。进一步地，所述联合分析，还包括：利用机器学习算法对终端侧探针获取的信息、相应的指定数据标记、进程操作记录，以及网络侧探针获取的数据流进行关联分析，建立终端侧数据与网络侧数据流的联系，并按照数据流的类型进行归类，对相同类型数据流及其对应的终端侧和网络侧数据进行进一步分析，得到各类型数据流下网络流量特征、用户输入、界面功能的关系。进一步地，还包括对生成的网络流量特征进行评价，具体为：在服务器动态持续的进行联合分析过程中，对于相同类型数据流及其对应的终端侧和网络侧的数据，在其所述进一步分析中，判断其所得到的用户输入信息与历史记录的用户输入信息是否保持稳定，若是则视为该类型的数据流其历史得到的网络流量特征保持有效；否则对该类型的网络流量进行细化分析，判断其历史得到的网络流量特征的有效性；若后续每次得到的用户输入信息与历史记录的用户输入信息都不能保持稳定，则视为该类型的数据流其历史得到的网络流量特征为无效特征；其中，所述稳定，包括：输入内容相同、输入内容的格式相同、输入内容的类型相同（同为数字、字母、汉子、符号或其组合等）；其中，所述细化分析，包括：按照所使用协议进行分类分析、按照所使用协议版本进行分类分析。一种基于探针的自动流量特征收集系统，包括终端、网络端、服务器，还包括部署在终端的终端侧探针模块、部署在网络端的网络侧探针模块、部署在服务器的联合分析模块；其中，终端侧探针模块还包括API调用监控子模块、用户操作监控子模块、进程监控子模块；具体地，API调用监控子模块，用于监视终端系统中API的调用，当发现指定的API调用动作时进行对应的栈追溯，获取对应的调用进程和调用模块信息，并按规定生成指定数据标记，并将指定数据标记发送给网络侧探针模块；所述指定的API调用动作包括：连接请求、发送数据、结束连接；用户操作监控子模块，用于监视用户操作，当发现指定的用户操作时，获取与相应操作相关的数据，并将相关的数据保存到进程操作记录中；进程监控子模块，用于监视系统进程操作，获取进程操作信息，并将进程操作信息保存到进程操作记录中；网络侧探针模块，用于根据接收到的指定数据标记进行数据流的获取；联合分析模块，用于将上述终端侧探针模块获取的信息、相应的指定数据标记、进程操作记录，以及网络侧探针模块获取的数据流进行联合分析，生成网络流量特征。进一步地，所述按规定生成指定数据标记，并将指定数据标记发送给网络侧探针模块，具体为：当API调用监控子模块发现连接请求的API调用动作时，获取调用动作的目标五元组信息，并根据具体API及调用动作生成流唯一标记，将目标五元组信息和流唯一标记发送给网络侧探针模块，使网络侧探针模块做好对目标流进行获取的准备；当API调用监控子模块发现发送数据的API调用动作时，根据具体API及调用动作生成数据隔唯一标记，将数据隔唯一标记发送给网络侧探针模块，使网络侧探针模块明确需要获取的具体数据流，并进行获取；当API调用监控子模块发现结束连接的API调用动作时，根据具体API，将相应的流唯一标记再次发送给网络侧探针模块，使网络侧探针模块结束相应数据流的获取。进一步地，所述当发现指定的用户操作时，获取与相应操作相关的数据，具体为：当用户操作监控子模块发现指定的用户操作时，获取其目标进程及窗体信息；其中，所述指定的用户操作包括：点击、键盘输入，所述窗体信息包括：窗体名称、窗体属性、窗体是否有输入框、窗体输入框属性、输入框内容、用户输入内容、窗体内容文本数据。进一步地，所述网络侧探针模块，还用于：对于获取到的数据流，使用相应的流唯一标记作为相应数据流的流标记，使用相应的数据隔唯一标记作为相应数据流的数据包标记，并对获取到的数据流进行协议识别和解析。进一步地，所述联合分析模块，还用于：利用机器学习算法对终端侧探针模块获取的信息、相应的指定数据标记、进程操作记录，以及网络侧探针模块获取的数据流进行关联分析，建立终端数据与网络端数据流的联系，并按数据流的类型进行归类，对相同类型数据流及其对应的终端和网络端数据进行进一步分析，得到各类型数据流下网络流量特征、用户输入、界面功能的关系。进一步地，还包括网络流量特征评价模块，具本文档来自技高网...

【技术保护点】
1.一种基于探针的自动流量特征收集方法，其特征在于，包括：分别在终端侧和网络侧部署探针；终端侧探针监视终端系统中API的调用，当发现指定的API调用动作时进行对应的栈追溯，获取对应的调用进程和调用模块信息，并按规定生成指定数据标记，并将指定数据标记发送给网络侧探针；所述指定的API调用动作包括：连接请求、发送数据、结束连接；终端侧探针监视用户操作，当发现指定的用户操作时，获取与相应操作相关的数据，并将相关的数据保存到进程操作记录中；终端侧探针监视系统进程操作，获取进程操作信息，并将进程操作信息保存到进程操作记录中；网络侧探针根据接收到的指定数据标记进行数据流的获取；将上述终端侧探针获取的信息、相应的指定数据标记、进程操作记录，以及网络侧探针获取的数据流，发送给服务器进行联合分析，生成网络流量特征。

【技术特征摘要】
1.一种基于探针的自动流量特征收集方法，其特征在于，包括：分别在终端侧和网络侧部署探针；终端侧探针监视终端系统中API的调用，当发现指定的API调用动作时进行对应的栈追溯，获取对应的调用进程和调用模块信息，并按规定生成指定数据标记，并将指定数据标记发送给网络侧探针；所述指定的API调用动作包括：连接请求、发送数据、结束连接；终端侧探针监视用户操作，当发现指定的用户操作时，获取与相应操作相关的数据，并将相关的数据保存到进程操作记录中；终端侧探针监视系统进程操作，获取进程操作信息，并将进程操作信息保存到进程操作记录中；网络侧探针根据接收到的指定数据标记进行数据流的获取；将上述终端侧探针获取的信息、相应的指定数据标记、进程操作记录，以及网络侧探针获取的数据流，发送给服务器进行联合分析，生成网络流量特征。2.如权利要求1所述的方法，其特征在于，所述按规定生成指定数据标记，并将指定数据标记发送给网络侧探针，具体为：当终端侧探针发现连接请求的API调用动作时，获取调用动作的目标五元组信息，并根据具体API及调用动作生成流唯一标记，将目标五元组信息和流唯一标记发送给网络侧探针，使网络侧探针做好对目标流进行获取的准备；当终端侧探针发现发送数据的API调用动作时，根据具体API及调用动作生成数据隔唯一标记，将数据隔唯一标记发送给网络侧探针，使网络侧探针明确需要获取的具体数据流，并进行获取；当终端侧探针发现结束连接的API调用动作时，根据具体API，将相应的流唯一标记再次发送给网络侧探针，使网络侧探针结束相应数据流的获取。3.如权利要求1或2所述的方法，其特征在于，所述当发现指定的用户操作时，获取与相应操作相关的数据，具体为：当终端侧探针发现指定的用户操作时，获取其目标进程及窗体信息；其中，所述指定的用户操作包括：点击、键盘输入，所述窗体信息包括：窗体名称、窗体属性、窗体是否有输入框、窗体输入框属性、输入框内容、用户输入内容、窗体内容文本数据。4.如权利要求3所述的方法，其特征在于，所述网络侧探针根据接收到的指定数据标记进行数据流的获取，还包括：对于获取到的数据流，使用相应的流唯一标记作为相应数据流的流标记，使用相应的数据隔唯一标记作为相应数据流的数据包标记，并对获取到的数据流进行协议识别和解析。5.如权利要求2或4所述的方法，其特征在于，所述联合分析，还包括：利用机器学习算法对终端侧探针获取的信息、相应的指定数据标记、进程操作记录，以及网络侧探针获取的数据流进行关联分析，建立终端侧数据与网络侧数据流的联系，并按照数据流的类型进行归类，对相同类型数据流及其对应的终端侧和网络侧数据进行进一步分析，得到各类型数据流下网络流量特征、用户输入、界面功能的关系。6.如权利要求5所述的方法，其特征在于，还包括对生成的网络流量特征进行评价，具体为：在服务器动态持续的进行联合分析过程中，对于相同类型数据流及其对应的终端侧和网络侧的数据，在其所述进一步分析中，判断其所得到的用户输入信息与历史记录的用户输入信息是否保持稳定，若是则视为该类型的数据流其历史得到的网络流量特征保持有效；否则对该类型的网络流量进行细化分析，判断其历史得到的网络流量特征的有效性；若后续每次得到的用户输入信息与历史记录的用户输入信息都不能保持稳定，则视为该类型的数据流其历史得到的网络流量特征为无效特征；其中，所述稳定，包括：输入内容相同、输入内容的格式相同、输入内容的类型相同；其中，所述细化分析，包括：按照所使用协议进行分类分析、按照所使用协议版本进行分类分析。7.一种基于探针的自动流量特征收集系统，包括终端、网络端、服务器，其特征在于，还包括部署在终端的终端侧探针模块、部署在网络端的网络侧探针模块、...

【专利技术属性】
技术研发人员：李林哲，张浩，关墨辰，张栗伟，
申请(专利权)人：北京安天网络安全技术有限公司，
类型：发明
国别省市：北京,11