基于流量数据的通讯拓扑信息建模方法技术

本发明专利技术涉及一种基于流量数据的通讯拓扑信息建模方法及装置，包括以下步骤：采集所有引擎的流量数据，并将所述流量数据缓存到内存中；将采集到的所述流量数据汇总，去除重复数据；将分析整理后的所述流量数据抽象建模为可插入到图数据库中的对象库；数据持久化，将建模后的所述对象存储到图数据库中。本发明专利技术基于流量采集引擎上报的实时流量数据以图数据的方式进行建模，并将建模数据持久化到图数据库中的方案，该方案可以完美实现查看实时网络通讯拓扑图的功能，并解决了系统流量拓扑图的绘制和检索效率的问题。

Modeling Method of Communication Topology Information Based on Traffic Data

【技术实现步骤摘要】
基于流量数据的通讯拓扑信息建模方法
本专利技术涉及网络
，尤其涉及一种基于流量数据的通讯拓扑信息建模方法及装置。
技术介绍
本专利技术对
技术介绍
的描述属于与本专利技术的相关技术，仅仅是用于说明和便于理解本专利技术的
技术实现思路
，不应理解为申请人明确认为或推定申请人认为是本专利技术在首次提出申请的申请日的现有技术。传统的网络拓扑图是通过静态配置网络节点数据进行展现的，所有数据都要人工录入，后期也要投入极大精力维护这些数据；由于静态网络拓扑图不具备展现网络系统的实时通讯情况能力，网络管理员无法借助其及时发现网络中存在的风险。随着网络规模的扩大，如何保证系统网络通讯信息的实时展现和检索是个挑战，当系统中节点达到一定规模后，利用传统的关系数据库对流量数据进行建模根本无法满足数据检索的实时性要求。
技术实现思路
针对以上问题，本专利技术提供一种基于流量数据的通讯拓扑信息建模方法及装置，基于流量采集引擎上报的实时流量数据以图数据的方式进行建模，并将建模数据持久化到图数据库中的方案，该方案可以完美实现查看实时网络通讯拓扑图的功能，并解决了系统流量拓扑图的绘制和检索效率的问题。本专利技术提供一种基于流量数据的通讯拓扑信息建模方法，其特征在于，包括以下步骤：流量采集，采集所有引擎的流量数据，并将所述流量数据缓存到内存中；流量分析整理，按照预设时间间隔将采集到的所述流量数据汇总，去除重复数据，合并属于相同链路的流量数据；拓扑数据建模，将分析整理后的所述流量数据抽象建模为可插入到图数据库中的对象，所述图数据库为Neo4j数据库；数据持久化，将建模后的所述对象存储到图数据库中，具体包括，如果所述对象已在图数据库中存在，则用新的数据进行更新，否则，将所述对象插入到图数据库中。进一步，所述流量数据包括如下属性：源ip地址、目的ip地址、源mac地址、目的Mac地址、源端口、目的端口、通信协议、包个数、告警个数、开始时间、结束时间。进一步，对四元组(源ip地址，源端口，目的ip地址，目的端口)进行Hash运算，得到的Hash值作为链路唯一标识，并将所述Hash值存储到Hash表中，将Hash值相同的链路认定为相同链路，并整理相同链路的包个数、告警个数、开始时间、结束时间属性。进一步，所述对象包括网络通讯节点实体对象和通讯节点间关系对象。进一步，所述将建模后的所述对象存储到图数据库之后，还包括：提供检索接口，供web前端展示。本专利技术还提供一种基于流量数据的通讯拓扑信息建模装置，用以执行上述一种基于流量数据的通讯拓扑信息建模方法，包括:流量采集模块，用于采集所有引擎的流量数据，并将所述流量数据缓存到内存中；流量分析整理模块，用于按照预设时间间隔将所述流量采集模块采集到的所述流量数据汇总，去除重复数据，合并属于相同链路的流量数据；拓扑数据建模模块，用于将分析整理后的所述流量数据抽象建模为可插入到图数据库中的对象，所述图数据库为Neo4j数据库；数据持久化模块，用于将建模后的所述对象存储到图数据库中，具体包括，如果所述对象已在图数据库中存在，则用新的数据进行更新，否则，将所述对象插入到图数据库中。进一步，所述流量数据包括如下属性：源ip地址、目的ip地址、源mac地址、目的Mac地址、源端口、目的端口、通信协议、包个数、告警个数、开始时间、结束时间。进一步，所述流量分析整理模块对四元组(源ip地址，源端口，目的ip地址，目的端口)进行Hash运算，得到的Hash值作为链路唯一标识，并将所述Hash值存储到Hash表中，将Hash值相同的链路认定为相同链路，并整理相同链路的包个数、告警个数、开始时间、结束时间属性。进一步，所述对象包括网络通讯节点实体对象和通讯节点间关系对象。进一步，所述装置还包括检索模块，用于提供检索接口，供web前端展示。本专利技术达到的有益效果是可以完美实现查看实时网络通讯拓扑图的功能，并解决了系统流量拓扑图的绘制和检索效率的问题。与现有技术相比，本专利技术的优点如下：1.实时绘制网络通讯拓扑图，便于及时发现网络风险，以及网络问题的排查；2.通信拓扑图中的网络节点支持分组管理，动态识别的网络资产可以与已有的资产管理系统集成，形成资产的管理的动静融合；3.通讯节点之间的协议，包率pps，告警等信息都可以实时查看和检索，信息更加详尽；4.数据建模采用了图数据对象的方式，而不是传统的二维表格表示网络节点与相互关系，更加直观，简洁，灵活；5.数据存储采用了图数据库，利用图算法检索数据更加的高效准确。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍：图1示出了本专利技术第一实施例的一种基于流量数据的通讯拓扑信息建模方法的流程图。图2示出了网络通讯节点实体对象模型结构图。图3示出了本专利技术第一实施例的一种基于流量数据的通讯拓扑信息建模装置的框图。具体实施方式为了使本专利技术的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本专利技术，并不用于限定本专利技术。在下述介绍中，术语“第一”、“第二”仅用于描述的目的，而不能理解为暗示其相对重要性。下述介绍提供了本专利技术的多个实施例，不同实施例之间可以替换或者合并组合，因此本专利技术也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本专利技术也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。实施例一图1示出了本专利技术第一实施例的一种基于流量数据的通讯拓扑信息建模方法的流程图。如图1所示，本专利技术的一种基于流量数据的通讯拓扑信息建模方法，包括以下步骤：S101，流量采集，采集所有引擎的流量数据，并将所述流量数据缓存到内存中；S102，流量分析整理，按照预设时间间隔将采集到的所述流量数据汇总，去除重复数据，合并属于相同链路的流量数据；S103，拓扑数据建模，将分析整理后的所述流量数据抽象建模为可插入到图数据库中的对象，所述图数据库为Neo4j数据库；S104，将建模后的所述对象存储到图数据库中，具体包括，如果所述对象已在图数据库中存在，则用新的数据进行更新，否则，将所述对象插入到图数据库中。进一步，所述流量数据包括如下属性：源ip地址、目的ip地址、源mac地址、目的Mac地址、源端口、目的端口、通信协议、包个数、告警个数、开始时间、结束时间。所述流量数据属性如表1所示。表1流量数据格式定义序号属性名描述1SrcIp源ip地址2DstIp目的ip地址3SrcMac源mac地址4DstMac目的Mac地址5SrcPort源端口6DstPort目的端口7Protocol通信协议8Packets包个数9AlertCnt告警个数10FSeen开始时间11LSeen结束时间进一步，对四元组(源ip地址，源端口，目的ip地址，目的端口)进行Hash运算，得到的Hash值作为链路唯一标识，并将所述Hash值存储到Hash表中，将Hash值相同的链路认定为相同链路，并整理相同链路的包个数、告警个数、开始时间、结束时间属性。进一步，所述对象包括网络通讯节点实体对象和通讯节点间关系对象。图2示出了网络本文档来自技高网...

【技术保护点】
1.一种基于流量数据的通讯拓扑信息建模方法，其特征在于，包括以下步骤：流量采集，采集所有引擎的流量数据，并将所述流量数据缓存到内存中；流量分析整理，按照预设时间间隔将采集到的所述流量数据汇总，去除重复数据，合并属于相同链路的流量数据；拓扑数据建模，将分析整理后的所述流量数据抽象建模为可插入到图数据库中的对象，所述图数据库为Neo4j数据库；数据持久化，将建模后的所述对象存储到图数据库中，具体包括，如果所述对象已在图数据库中存在，则用新的数据进行更新，否则，将所述对象插入到图数据库中。

【技术特征摘要】
1.一种基于流量数据的通讯拓扑信息建模方法，其特征在于，包括以下步骤：流量采集，采集所有引擎的流量数据，并将所述流量数据缓存到内存中；流量分析整理，按照预设时间间隔将采集到的所述流量数据汇总，去除重复数据，合并属于相同链路的流量数据；拓扑数据建模，将分析整理后的所述流量数据抽象建模为可插入到图数据库中的对象，所述图数据库为Neo4j数据库；数据持久化，将建模后的所述对象存储到图数据库中，具体包括，如果所述对象已在图数据库中存在，则用新的数据进行更新，否则，将所述对象插入到图数据库中。2.如权利要求1所述的方法，所述流量数据包括如下属性：源ip地址、目的ip地址、源mac地址、目的Mac地址、源端口、目的端口、通信协议、包个数、告警个数、开始时间、结束时间。3.如权利要求2所述的方法，对四元组(源ip地址，源端口，目的ip地址，目的端口)进行Hash运算，得到的Hash值作为链路唯一标识，并将所述Hash值存储到Hash表中，将Hash值相同的链路认定为相同链路，并整理相同链路的包个数、告警个数、开始时间、结束时间属性。4.如权利要求1-3任一项所述的方法，所述对象包括网络通讯节点实体对象和通讯节点间关系对象。5.如权利要求1所述的方法，所述将建模后的所述对象存储到图数据库之后，还包括：提供检索接口，供web前端展示。6.一种基于流...

【专利技术属性】
技术研发人员：夏春宇，苗维杰，
申请(专利权)人：北京立思辰安科技术有限公司，
类型：发明
国别省市：北京,11