互联数据网关、基于互联数据网关的数据处理系统和方法技术方案

技术编号:29162806 阅读:24 留言:0更新日期:2021-07-06 23:04
本发明专利技术提供了一种互联数据网关,包括:采集处理器:利用采集处理器对互联数据进行解码,按照订阅匹配条件为会话打上订阅标签,并进行过滤;索引存储器:经过采集处理器过滤后的互联数据通过索引器按索引进行存储;订阅器:存储后的互联数据通过订阅器为外部业务系统提供数据订阅和拉取接口;集群管理器:将多个互联数据网关组成集群,支持高可用。本发明专利技术还提供了一种基于互联数据网关的数据处理系统和方法。本发明专利技术解决了传统方案整个流水线部署复杂,难以适应变化,难以维护的技术问题,通过旁路分光技术,将互联数据源系统和业务处理系统解耦,大大降低了系统的复杂性,易于扩展和维护,可以快速适应变化。

【技术实现步骤摘要】
互联数据网关、基于互联数据网关的数据处理系统和方法
本专利技术涉及互联数据通信
,具体地,涉及一种互联数据网关、基于互联数据网关的数据处理系统和方法。
技术介绍
互联数据业务系统中,通过对网络流量的解码分析的包含业务价值的真实交易数据,其特点是实时性、业务性和真实性,因此具有极高的商业价值,可广泛应用于业务监控、业务性能分析、业务价值挖掘、大数据分析、安全分析等领域。传统互联数据处理流程一般通过一个高性能数据处理引擎,对互联数据进行清洗过滤,转换成业务数据结构并存储到数据库。整个流水线部署复杂,而且当业务发生变化,会涉及整个流水线程序的改动,耗时且容易出错;缺少一种将互联数据源系统和业务处理系统解耦的机制。此外,由于互联数据具有吞吐量大,消息结构复杂的特点,传统消息网关难以满足性能要求。经过检索,专利文献CN110719228A公开了一种基于实时数据分发服务的大数据包传输方法及装置,所述方法包括:构建小数据包发布订阅库,初始化;发布方发布大数据包主题,订阅方订阅大数据包主题;发送数据时,将大数据包分成若干个小数据包并填入相关数据信息后存入发送队列,通过异步发送线程发送数据分包;订阅方接收到首个数据分包时创建对应大数据包大小的缓存区,将接收到的数据分包按编号拷贝至对应区域;订阅方接收到最后一个数据分包时校验数据的完整性并反馈给发布方;发布方若接收到丢包反馈信息则重发丢失数据分包直至所有订阅方接收到全部数据分包。该现有技术是用于建立发布者与订阅者两点之间的通信机制,并通过拆分大数据包的机制实现大数据包的高效传输,但是并未解决订阅者去获取其它网络对象之间通信的技术问题。专利文献CN112541101A公开了一种订阅数据的推送方法、装置、电子设备及计算机存储介质,通过获取订阅时段,订阅时段包括起始时刻及终止时刻,其中,将产生时刻在所述订阅时段内的数据作为订阅数据;推送任务处理时刻及所述起始时刻,或者根据推送任务处理时刻、起始时刻及所述终止时刻确定订阅数据是否包括未来数据;在订阅数据包括未来数据时,从订阅数据包括的未来数据的最早产生时刻开始,从缓存中读取订阅数据包括的未来数据并进行推送;其中,未来数据为数据的产生时刻晚于所述推送任务处理时刻的数据,且未来数据产生后实时写入缓存。该现有技术是一种用于优化订阅数据传输的系统及方法,通过在数据推送服务中设立缓存的方法,来减少对历史数据存储单元读取的频繁程度,不足之处是一种独立于数据库之外的系统,而且并未说明处理的是哪种数据。专利文献CN105357302A公开了一种网络数据包断点续传方法及装置,该现有技术具体包括:一、网络服务器将网络数据包按照抓包的时间依序进行存储;二、网络服务器根据下载时间段读取相应时间戳的数据包;三、下载请求发起端收到网络数据包后,保存每次传输的最后一个网络数据包的时间戳和其最后46个字节,当重新连接后,下载请求发起端将记录的最后一个数据包的时间戳和其最后46个字节发送给网络服务器,网络服务器依序读取该时间戳下的数据包,直到读取到某个数据包的最后N个字节和最后传的数据包的N个字节完全一致,则下一个数据包作为再次发送的第一个数据包。该现有技术的不足之处在于需要在客户端保存时间戳或数据包,这样会造成数据处理的累赘。因此,亟需研发设计一种能处理高吞吐量、消息结构复杂的系统及方法。
技术实现思路
针对现有技术中的缺陷,本专利技术的目的是提供一种互联数据网关、基于互联数据网关的数据处理系统和方法,以应对互联数据吞吐量大、消息结构复杂的特点,从而满足网关所需的性能需求。根据本专利技术提供的一种互联数据网关,包括:采集处理器:利用采集处理器对互联数据进行解码,按照订阅匹配条件为会话打上订阅标签,并进行过滤;索引存储器:经过采集处理器过滤后的互联数据通过索引器按索引进行存储;订阅器:存储后的互联数据通过订阅器为外部业务系统提供数据订阅和拉取接口;集群管理器:将多个互联数据网关组成集群,支持高可用。优选地,采集处理器接收网络适配器捕获到的网络数据包,按网络协议规范进行解码,解析出五元组信息结构,并针对标签匹配规则进行过滤筛选;采集处理器的输入为网络适配器接收缓冲区;采集处理器的输出为经解码筛选的网络数据包信息流。优选地,索引存储器用于将网络数据包信息流按端口、时间、标签、会话索引写入索引文件和数据文件;索引存储器的输入为来自采集处理器的网络数据包信息流;索引存储器的输出为索引文件和数据文件。优选地,订阅器用于为业务系统提供互联数据订阅和数据拉取服务;订阅器的输入为业务系统互联数据订阅请求;订阅器的输出为订阅记录和互联数据。优选地,集群管理器用于同步多个互联数据网关保存的订阅记录,实现高可用和水平扩展;集群管理器的输入为互联数据网关数据同步信号;集群管理器的输出为互联数据网关可用性检测恢复机制。优选地,采集处理器包括:网卡采集器:用于接收网络适配器捕获到的网络数据包;协议解码器:将捕获到的网络数据包按网络协议规范对网络数据包进行解码;过滤器:经过解码后的网络数据包针对网络数据包包含的五元组、Ethernet协议、IP协议、Vlan、Vxlan信息按照匹配规则进行匹配,并打上标签信息,匹配规则控制信号来源于订阅器。优选地,索引存储器包括:数据文件写入器:将网络数据包按索引规则写入到磁盘;索引计算器:通过网络数据包中的端口、时间、会话、标签信息计算并组装索引结构;数据读取器:所述数据读取器与所述订阅器相连,用于按照订阅记录要求的时间、端口和标签读取对应的数据文件。优选地,订阅器包括:订阅注册器:用于注册业务系统请求互联数据订阅记录;Web服务器:用于为业务系统提供互联数据订阅服务。根据本专利技术提供的一种基于互联数据网关的数据处理系统,包括网络端、多个互联数据网关端和业务系统,网络端与所述互联数据网关端相连接,多个互联数据网关端通过其每个互联数据网关端内的集群管理器组成集群,支持高可用;经过每个互联数据网关端互联数据订阅并匹配接口之后发送至业务系统。根据本专利技术提供的一种基于互联数据网关的数据处理方法,采用上述的基于互联数据网关的数据处理系统进行数据处理,在互联数据网关端内部,利用互联数据网关端的采集处理器对互联数据进行解码,按订阅匹配条件为会话打上订阅标签,并进行过滤,通过互联数据网关端的索引器将互联数据按索引进行存储,互联数据网关端的订阅器为外部业务系统提供互联数据订阅和拉取接口,互联数据网关端的集群管理器将多个互联数据网关端组成集群,以支持高可用。与现有技术相比,本专利技术具有如下的有益效果:1、本专利技术解决了传统方案整个流水线部署复杂,难以适应变化,难以维护的问题,通过旁路分光技术,将互联数据源系统和业务处理系统解耦,大大降低了系统的复杂性,易于扩展和维护,可以快速适应变化。2、本专利技术解决了互联数据具有吞吐量大,消息结构复杂的特点,传消网关难以满足性能要求的问题,本文档来自技高网
...

【技术保护点】
1.一种互联数据网关,其特征在于,包括:/n采集处理器:利用采集处理器对互联数据进行解码,按照订阅匹配条件为会话打上订阅标签,并进行过滤;/n索引存储器:经过采集处理器过滤后的互联数据通过索引器按索引进行存储;/n订阅器:存储后的互联数据通过订阅器为外部业务系统提供数据订阅和拉取接口;/n集群管理器:将多个互联数据网关组成集群,支持高可用。/n

【技术特征摘要】
1.一种互联数据网关,其特征在于,包括:
采集处理器:利用采集处理器对互联数据进行解码,按照订阅匹配条件为会话打上订阅标签,并进行过滤;
索引存储器:经过采集处理器过滤后的互联数据通过索引器按索引进行存储;
订阅器:存储后的互联数据通过订阅器为外部业务系统提供数据订阅和拉取接口;
集群管理器:将多个互联数据网关组成集群,支持高可用。


2.根据权利要求1所述的互联数据网关,其特征在于,所述采集处理器接收网络适配器捕获到的网络数据包,按网络协议规范进行解码,解析出五元组信息结构,并针对标签匹配规则进行过滤筛选;
所述采集处理器的输入为网络适配器接收缓冲区;所述采集处理器的输出为经解码筛选的网络数据包信息流。


3.根据权利要求1所述的互联数据网关,其特征在于,所述索引存储器用于将网络数据包信息流按端口、时间、标签、会话索引写入索引文件和数据文件;
所述索引存储器的输入为来自采集处理器的网络数据包信息流;所述索引存储器的输出为索引文件和数据文件。


4.根据权利要求1所述的互联数据网关,其特征在于,所述订阅器用于为业务系统提供互联数据订阅和数据拉取服务;
所述订阅器的输入为业务系统互联数据订阅请求;所述订阅器的输出为订阅记录和互联数据。


5.根据权利要求1所述的互联数据网关,其特征在于,所述集群管理器用于同步多个互联数据网关保存的订阅记录,实现高可用和水平扩展;
所述集群管理器的输入为互联数据网关数据同步信号;所述集群管理器的输出为互联数据网关可用性检测恢复机制。


6.根据权利要求2所述的互联数据网关,其特征在于,所述采集处理器包括:
网卡采集器:用于接收网络适配器捕获到的网络数据包;
协...

【专利技术属性】
技术研发人员:周奕庆蔡晓华
申请(专利权)人:上海天旦网络科技发展有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1