System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据采集的方法、装置、电子设备和存储介质制造方法及图纸_技高网

数据采集的方法、装置、电子设备和存储介质制造方法及图纸

技术编号:40484231 阅读:5 留言:0更新日期:2024-02-26 19:17
本申请公开了一种数据采集的方法、装置、电子设备和存储介质,该方法通过获取目标网卡的原始报文,该原始报文中包括协议类型,然后根据协议类型可以对原始报文进行分类,得到不同协议类型的目标报文,接下来从目标报文中获取与目标报文的协议类型对应的目标关键信息,进而可以基于目标关键信息生成日志信息,并向服务接收器发送该日志信息。通过获取目标报文中的目标关键信息并生成日志信息,使得该日志信息相较于原始报文的数据包更小,将该日志信息实时转发至服务接收器,可以减少对云网造成的压力,从而提高了云环境的服务质量。

【技术实现步骤摘要】

本申请属于通信,尤其涉及一种数据采集的方法、装置、电子设备和存储介质


技术介绍

1、安全和运维设备需要获取原始的流量数据,并在此基础上进行内容的详细分析,从而保障网络安全。

2、现有技术中,在获取原始流量数据时,往往利用虚拟交换机的镜像功能或者利用流量牵引探针,将原始流量数据复制后导出到外部,以用于安全和运维设备进行数据分析。但是,复制出来的大量原始流量数据会给云网造成很大的压力,严重影响了云环境的服务质量。

3、因此,现有技术存在的问题是:在获取原始流量数据时,会增加云网压力,降低云环境的服务质量。


技术实现思路

1、本申请实施例提供了一种数据采集的方法、装置、电子设备和存储介质,解决了安全和运维设备在获取原始流量数据时,会增加云网压力,降低云环境的服务质量的问题。

2、第一方面,本申请实施例提供了一种数据采集的方法,应用于主机,包括:

3、获取目标网卡的原始报文,原始报文包括协议类型;

4、根据协议类型对原始报文进行分类,得到不同协议类型的目标报文;

5、从目标报文中获取与目标报文的协议类型对应的目标关键信息;

6、基于目标关键信息生成日志信息;

7、向服务接收器发送日志信息。

8、在一些可能的实现方式中,目标关键信息包括目标字段数据;从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:

9、确定与目标报文的协议类型对应的目标字段;

10、从目标报文中获取目标字段对应的目标字段数据。

11、在一些可能的实现方式中,该方法还包括:

12、创建不同协议类型的临时会话列表;

13、按照协议类型将目标报文存储至目标报文对应的临时会话列表的目标区域;

14、从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:

15、确定目标报文存储的临时会话列表的位置;

16、从位置获取与目标报文的协议类型对应的目标关键信息。

17、在一些可能的实现方式中,目标关键信息包括目标参数;从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:

18、确定与目标报文的协议类型对应的预设参数信息;

19、从目标报文中获取与预设参数信息对应的目标参数。

20、在一些可能的实现方式中,协议类型包括第一协议类型,预设参数信息包括报文数量的信息、总数据包大小的信息和传输最大时延的信息;目标参数包括报文数量、总数据包大小和传输最大时延;从目标报文中获取与预设参数信息对应的目标参数,包括:在目标报文的协议类型为第一协议类型的情况下,按照预设时间周期对目标报文进行计算,得到与预设参数信息对应的报文数量、总数据包大小、传输最大时延。

21、在一些可能的实现方式中,协议类型包括第二协议类型,预设参数信息包括应答时间的信息,目标参数包括应答时间;从目标报文中获取与预设参数信息对应的目标参数,包括:

22、在目标报文的协议类型为第二协议类型,且目标报文是应答报文的情况下,查询对应的请求报文;

23、根据应答报文和请求报文,计算得到与预设参数信息对应的应答时间。

24、在一些可能的实现方式中,该方法还包括:

25、接收服务接收器发送的提取目标原始报文的请求,请求中包括目标提取条件;

26、响应于请求,向服务接收器发送目标提取条件对应的目标原始报文。

27、第二方面,本申请实施例还提供了一种数据采集的方法,应用于服务接收器,包括:

28、接收主机发送的日志信息,其中,日志信息是主机通过获取目标网卡的原始报文,原始报文包括协议类型;根据协议类型对原始报文进行分类,得到不同协议类型的目标报文;从目标报文中获取与目标报文的协议类型对应的目标关键信息;基于目标关键信息生成的日志信息;

29、在日志信息与预设的异常数据匹配成功的情况下,对日志信息中的数据进行分析。

30、在一些可能的实现方式中,该方法还包括:

31、向主机发送提取目标原始报文的请求,其中,目标原始报文为存在异常的日志信息对应的原始报文,请求包括目标提取条件;

32、接收主机发送的目标原始报文,其中,目标原始报文是主机响应于所述请求,向服务接收器发送目标提取条件对应的目标原始报文;

33、对目标原始报文中的数据进行分析。

34、在一些可能的实现方式中,目标提取条件包括:存在异常的时间区间、ip地址和ip端口中的至少一项。

35、第三方面,本申请实施例还提供了一种数据采集的装置,包括:

36、获取模块,用于获取目标网卡的原始报文,原始报文包括协议类型;

37、分类模块,用于根据协议类型对原始报文进行分类,得到不同协议类型的目标报文;

38、获取模块,还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息;

39、生成模块,用于基于目标关键信息生成日志信息;

40、发送模块,用于向服务接收器发送日志信息。

41、在一些可能的实现中,目标关键信息包括目标字段数据;获取模块还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:

42、确定单元,用于确定与目标报文的协议类型对应的目标字段;

43、获取单元,用于从目标报文中获取目标字段对应的目标字段数据。

44、在一些可能的实现方式中,该装置还包括创建模块和存储模块:

45、创建模块,用于创建不同协议类型的临时会话列表;

46、存储模块,用于按照协议类型将目标报文存储至目标报文对应的临时会话列表的目标区域;

47、获取模块还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:

48、确定单元,用于确定目标报文存储的临时会话列表的位置;

49、获取单元,用于从位置获取与目标报文的协议类型对应的目标关键信息。

50、在一些可能的实现中,目标关键信息包括目标参数;获取模块还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:

51、确定单元,用于确定与目标报文的协议类型对应的预设参数信息;

52、获取单元,用于从目标报文中获取与预设参数信息对应的目标参数。

53、在一些可能的实现中,协议类型包括第一协议类型,预设参数信息包括报文数量的信息、总数据包大小的信息和传输最大时延的信息;目标参数包括报文数量、总数据包大小和传输最大时延;获取单元用于从目标报文中获取与预设参数信息对应的目标参数,包括:

54、计算单元,用于在目标报文的协议类型为第一协议类型的情况下,按照预设时间周期对目标报文进行计算,得到与预设参数信息对应的报文数量、总数据包大小、传输最大时延。<本文档来自技高网...

【技术保护点】

1.一种数据采集的方法,其特征在于,应用于主机,包括:

2.根据权利要求1所述的方法,其特征在于,所述目标关键信息包括目标字段数据;所述从所述目标报文中获取与所述目标报文的协议类型对应的目标关键信息,包括:

3.根据权利要求1或2所述的方法,其特征在于,还包括:

4.根据权利要求1或2所述的方法,其特征在于,所述目标关键信息包括目标参数;所述从所述目标报文中获取与所述目标报文的协议类型对应的目标关键信息,包括:

5.根据权利要求4所述的方法,其特征在于,所述协议类型包括第一协议类型,所述预设参数信息包括报文数量的信息、总数据包大小的信息和传输最大时延的信息,所述目标参数包括报文数量、总数据包大小和传输最大时延;所述从所述目标报文中获取与所述预设参数信息对应的目标参数,包括:

6.根据权利要求4所述的方法,其特征在于,所述协议类型包括第二协议类型,所述预设参数信息包括应答时间的信息,所述目标参数包括应答时间;所述从所述目标报文中获取与所述预设参数信息对应的目标参数,包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.一种数据采集的方法,其特征在于,应用于服务接收器,包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述目标提取条件包括:存在异常的时间区间、IP地址和IP端口中的至少一项。

11.一种数据采集的装置,其特征在于,应用于主机,包括:

12.一种数据采集的装置,其特征在于,应用于服务接收器,包括:

13.一种电子设备,其特征在于,所述电子设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现如权利要求1至7任一项所述的数据采集的方法,或者,实现如权利要求8至10任一项所述的数据采集的方法。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至7任意一项所述的数据采集的方法,或者,实现如权利要求8至10任一项所述的数据采集的方法。

...

【技术特征摘要】

1.一种数据采集的方法,其特征在于,应用于主机,包括:

2.根据权利要求1所述的方法,其特征在于,所述目标关键信息包括目标字段数据;所述从所述目标报文中获取与所述目标报文的协议类型对应的目标关键信息,包括:

3.根据权利要求1或2所述的方法,其特征在于,还包括:

4.根据权利要求1或2所述的方法,其特征在于,所述目标关键信息包括目标参数;所述从所述目标报文中获取与所述目标报文的协议类型对应的目标关键信息,包括:

5.根据权利要求4所述的方法,其特征在于,所述协议类型包括第一协议类型,所述预设参数信息包括报文数量的信息、总数据包大小的信息和传输最大时延的信息,所述目标参数包括报文数量、总数据包大小和传输最大时延;所述从所述目标报文中获取与所述预设参数信息对应的目标参数,包括:

6.根据权利要求4所述的方法,其特征在于,所述协议类型包括第二协议类型,所述预设参数信息包括应答时间的信息,所述目标参数包括应答时间;所述从所述目标报文中获取与所述预设参数信息对应的目标参数,包括:

...

【专利技术属性】
技术研发人员:宋卫华兰建明郑垚初瑞舒敏根
申请(专利权)人:中移动信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1