一种基于网络设备F5的实时数据采集系统及方法技术方案

本发明专利技术公开了一种基于网络设备F5的实时数据采集系统及方法，所述方法包括：客户端、服务端、F5设备、数据采集服务集群和Kafka集群，客户端与服务端链接，建立链接成功后，客户端向服务端发送交易数据，客户端与F5设备建立链接，F5设备根据iRules规则，对交易数据进行转发至数据采集服务集群，数据采集服务集群与F5设备建立链接，数据采集服务集群接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中。本发明专利技术通过部署的网络设备F5，编写iRules脚本对通过该设备的流量进行转发，并通过数据接收程序对数据进行解析，收集至kafka集群中，实现海量数据的实时采集。实现海量数据的实时采集。实现海量数据的实时采集。

【技术实现步骤摘要】
一种基于网络设备F5的实时数据采集系统及方法


[0001]本专利技术涉及数据采集
，尤其涉及一种基于网络设备F5的实时数据采集系统及方法。

技术介绍

[0002]目前软件系统在实时数据采集的技术实现上，主要有通过接口对接、文件日志及数据库日志等方式，但这些方式都存在一些局限性。接口对接要求每次新增采集数据时，都需要数据生产者配合修改程序，新增对应的数据发送接口；而文件日志或数据库日志采集方式则需要在日志服务器上安装对应的日志采集代理程序进行数据收集，当代理程序的数量较大时，管理难度也相应增大。

技术实现思路

[0003]本专利技术目的在于，提供一种基于网络设备F5的实时数据采集系统及方法，通过部署的网络设备F5，编写iRules脚本对通过该设备的流量进行转发，并通过数据接收程序对数据进行解析，收集至kafka集群中，实现海量数据的实时采集。
[0004]为实现上述目的，本专利技术实施例提供一种基于网络设备F5的实时数据采集系统，包括：客户端、服务端、F5设备、数据采集服务集群和Kafka集群；
[0005]所述客户端与所述服务端链接，建立链接成功后，所述客户端向所述服务端发送交易数据；
[0006]所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发至所述数据采集服务集群；
[0007]所述数据采集服务集群与所述F5设备建立链接，所述数据采集服务集群接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中。
[0008]优选地，所述F5设备，还用于实现所述客户端请求所述服务端时，交易负载均衡。
[0009]优选地，所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发；
[0010]转发的数据具有特定的报文格式，从所包含的内容进行区分，包括了报文头、交易请求、交易返回和预留字段4个部分所组成；
[0011]所述报文头包括交易请求方IP、服务方IP、报文长度、交易耗时、交易码；
[0012]所述交易请求及所述交易返回为避免传输过程中的乱码问题，将会直接使用16进制将XML或JSON格式的报文数据加入到主报文中；
[0013]所述预留字段，用于后续功能扩展，可适当预留空白字段。
[0014]优选地，还包括日志服务集群；
[0015]所述日志服务集群用于保留解析报文、数据采集等过程的日志数据，并将日志数据保存到数据库存储中。
[0016]优选地，还包括管理服务，用于托管所述数据采集服务集群、所述kafka集群、所述日志服务集群的数据，所述管理服务还用于web前端界面对相关配置进行动态配置和数据查看。
[0017]优选地，所述数据采集服务集群接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中，包括：
[0018]若解析不成功，则记录日志数据发送至所述日志服务集群；
[0019]若解析成功则继续进行操作，根据配置项将数据采集至所述kafka集群中，若采集成功则发送日志至所述日志服务集群并中止，否则进行重试，到达配置的最大重试次数后记录日志并中止。
[0020]优选地，所述数据采集服务集群特定报文格式对报文进行首次解析，并根据所述管理服务中的配置对交易请求或交易返回进行二次解析，并将解析结果重新组装，生成目标报文，其中，所述配置包括交易配置、报文配置和采集配置；
[0021]所述生成目标报文后，通过所述kafka集群将所述目标报文数据存放至所述kafka集群的消息管道中完成采集过程。
[0022]本实施例还提供一种基于网络设备F5的实时数据采集方法，包括：
[0023]根据客户端发送给服务端的交易数据，通过F5设备进行数据转发，具体的，所述F5设备根据iRules规则，对数据进行转发；
[0024]数据采集服务集群接收所述F5设备转发的所述交易数据后，动态加载配置数据，对数据报文格式进行解析；
[0025]根据解析数据，将所述解析数据采集至kafka集群中。
[0026]优选地，根据解析数据，将所述解析数据采集至kafka集群中，包括：
[0027]若解析不成功，则记录日志数据发送至所述日志服务集群；
[0028]若解析成功则继续进行操作，根据配置项将数据采集至所述kafka集群中，若采集成功则发送日志至所述日志服务集群并中止，否则进行重试，到达配置的最大重试次数后记录日志并中止。
[0029]本专利技术实施例中，本专利技术通过部署的网络设备F5，编写iRules脚本对通过该设备的流量进行转发，并通过数据接收程序对数据进行解析，收集至kafka集群中，实现海量数据的实时采集。
附图说明
[0030]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本专利技术某一实施例提供的一种基于网络设备F5的实时数据采集系统的结构示意图；
[0032]图2是本专利技术另一实施例提供的一种基于网络设备F5的实时数据采集系统的结构示意图；
[0033]图3是本专利技术又一实施例提供的一种基于网络设备F5的实时数据采集系统运行基本流程图；
[0034]图4是本专利技术某一实施例提供的一种基于网络设备F5的实时数据采集方法的流程示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
[0037]应当理解，在本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0038]术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0039]术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0040]请参阅图1，本专利技术实施例提供一种基于网络设备F5的实时数据采集系统，其特征在于，包括：客户端、服务端、F5设备、数据采集服务集群和Kafka集群，其中客户端与服务端链接，建立链接成功后，客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络设备F5的实时数据采集系统，其特征在于，包括：客户端、服务端、F5设备、数据采集服务集群和Kafka集群；所述客户端与所述服务端链接，建立链接成功后，所述客户端向所述服务端发送交易数据；所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发至所述数据采集服务集群；所述数据采集服务集群与所述F5设备建立链接，所述数据采集服务集群用于接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中。2.根据权利要求1所述的一种基于网络设备F5的实时数据采集系统，其特征在于，所述F5设备，还用于实现所述客户端请求所述服务端时，交易负载均衡。3.根据权利要求1所述的一种基于网络设备F5的实时数据采集系统，其特征在于，所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发；转发的数据具有特定的报文格式，从所包含的内容进行区分，包括了报文头、交易请求、交易返回和预留字段4个部分所组成；所述报文头包括交易请求方IP、服务方IP、报文长度、交易耗时、交易码；所述交易请求及所述交易返回为避免传输过程中的乱码问题，将会直接使用16进制将XML或JSON格式的报文数据加入到主报文中；所述预留字段，用于后续功能扩展，可适当预留空白字段。4.根据权利要求3所述的一种基于网络设备F5的实时数据采集系统，其特征在于，还包括日志服务集群；所述日志服务集群用于保留解析报文、数据采集等过程的日志数据，并将日志数据保存到数据库存储中。5.根据权利要求4所述的一种基于网络设备F5的实时数据采集系统，其特征在于，还包括管理服务，用于托管所述数据采集服务集群、所述kafka集群、所述日志服务集群的数据，所述管理服务还用于web前端界面对相关配...

【专利技术属性】
技术研发人员：吴基科，董健，刘心愉，廖俊杰，叶明基，
申请(专利权)人：广发银行股份有限公司，
类型：发明
国别省市：