【技术实现步骤摘要】
本专利技术涉及云计算
,特别是一种面向云平台的业务特征时序数据包采集方法。
技术介绍
网络数据采集是利用互联网搜索引擎技术实现有针对性、行业性、精准性的数据抓取,并按照一定规则和筛选标准进行数据归类,并形成数据库文件的一个过程。随着云平台的普及,很多用户将业务系统迁移到云平台上来。云平台中的网络中含有丰富的业务网络数据,其网络数据采集和云平台的网络数据采集比较少探讨,尤其是针对云平台的业务系统的网络数据包采集就更少了;怎么能够将这些数据进行采集并挖掘业务的网络数据价值呢,是一个比较有意义的探索方向。
技术实现思路
本专利技术解决的技术问题在于提出了一种面向云平台的业务特征时序数据包采集方法,通过本专利技术提供的采集方法,可以精确采集用户需要的时序数据流信息,支持较大规模的云平台的数据采集,为时序数据的分析提供了较好的数据源收集方法。本专利技术解决上述技术问题的技术方案是:所述的方法是:(1)网络采集控制器对外提供业务特征模板,用户根据模板完成业务特征实例填充;(2)采集控制器将业务特征实例转换成网络数据包采集实例并持久化到数据库表中;(3)采集控制器通知网络采集代理Agent,并接受网络采集代理Agent的采集流规则变更消息并处理;(4)网络采集代理Agent接受网络控制器的通知消息;(5)网络采集代理Agent处理消息,建立采集规则,采集网络时序数据到数据库中。所述业务特征模板是描述业务提供的服务源地址信息,包括服务源端口、服务协议信息、服务描述、服务目的地址、服务目的端口,其中地址信息可以为域名服务地址或IP地址,服务源端口、服务描述、服务目的地址 ...
【技术保护点】
一种面向云平台的业务特征时序数据包采集方法,其特征在于:所述的方法是:(1)网络采集控制器对外提供业务特征模板,用户根据模板完成业务特征实例填充;(2)采集控制器将业务特征实例转换成网络数据包采集实例并持久化到数据库表中;(3)采集控制器通知网络采集代理Agent,并接受网络采集代理Agent的采集流规则变更消息并处理;(4)网络采集代理Agent接受网络控制器的通知消息;(5)网络采集代理Agent处理消息,建立采集规则,采集网络时序数据到数据库中。
【技术特征摘要】
1.一种面向云平台的业务特征时序数据包采集方法,其特征在于:所述的方法是:(1)网络采集控制器对外提供业务特征模板,用户根据模板完成业务特征实例填充;(2)采集控制器将业务特征实例转换成网络数据包采集实例并持久化到数据库表中;(3)采集控制器通知网络采集代理Agent,并接受网络采集代理Agent的采集流规则变更消息并处理;(4)网络采集代理Agent接受网络控制器的通知消息;(5)网络采集代理Agent处理消息,建立采集规则,采集网络时序数据到数据库中。2.根据权利要求1所述的方法,其特征在于:所述业务特征模板是描述业务提供的服务源地址信息,包括服务源端口、服务协议信息、服务描述、服务目的地址、服务目的端口,其中地址信息可以为域名服务地址或IP地址,服务源端口、服务描述、服务目的地址、服务目的端口可以为空,服务协议可以是HTTP、FTP、Telnet、SMTP、NFS、DNS、DHCP;所述的网络数据包采集实例,包含源IP地址,源端口,采集协议,服务简要描述,目的IP地址,目的端口,用户ID,端口ID,端口所属的主机名称,采集流规则ID;其中,采集流规则ID自动生成并全局唯一性。3.根据权利要求1所述的方法,其特征在于:所述的业务特征实例转换成网络数据包采集实例的具体方法是:(1)将服务协议信息通过预定义规则转换为传输层或网络层的采集协议;所述的转换包括:HTTP、FTP、Telnet、SMTP、NFS协议转换为TCP协议,DNS协议转换为不限定的IP协议,DHCP协议转换为UDP协议;其中采集协议包含TCP、UDP、ICMP协议或不限定的IP协议;(2)服务地址信息为域名地址,则通过域名服务解析出IP地址;(3)根据用户ID和服务源IP地址查询云平台中网络组件中的端口信息,获取端口ID和端口所属的主机名称。4.根据权利要求2所述的方法,其特征在于:所述的业务特征实例转换成网络数据包采集实例的具体方法是:(1)将服务协议信息通过预定义规则转换为传输层或网络层的采集协议;所述的转换包括:HTTP、FTP、Telnet、SMTP、NFS协议转换为TCP协议,DNS协议转换为不限定的IP协议,DHCP协议转换为UDP协议;其中采集协议包含TCP、UDP、ICMP协议或不限定的IP协议;(2)服务地址信息为域名地址,则通过域名服务解析出IP地址;(3)根据用户ID和服务源IP地址查询云平台中网络组件中的端口信息,获取端口ID和端口所属的主机名称。5.根据权利要求1至4任一项所述的方法,其特征在于:所述的通知网络采集代理Agent是:(1)通知消息包含建立采集流规则消息、删除采集流规则消息,建立消息中包含网络数据包采集实例,删除采集规则消息中包含采集流规则ID;(2)通知的代理Agent地址为端口所属的主机名称。所述的接受网络采集代理Agent的采集流规则变更消息并处理是:(1)接受消息中采集流规则变更ID,查询网络数据包采集实例表中端口的ID和所属主机节点信息;(2)根据端口ID重新获取云平台中网络组件的端口ID和端口所属的主机名称;(3)如果没有获取到端口的信息,则向原有的网络采集代理Agent发送删除采集流规则消息;如果获取成功,端口所属的主机名称有更新,则端口所属的主机名称的网络采集代理Agent发送建立采集流规则通知消息,向旧的网络采集代理Agent发送删除采集流规则消息;所述的网络采集代理Agent名称和云平台中的主机名称一致。6.根据权利要求1至4任一项所述的方法,其特征在于:所述的网络采集代理Agent处理消息是:如果消息为新建采集规则消息,则建立数据包采集流...
【专利技术属性】
技术研发人员:罗义兵,杨松,季统凯,
申请(专利权)人:国云科技股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。