一种获取网络访问关系数据的方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种获取网络访问关系数据的方法，包括：接收由部署于各上报服务器的代理程序上报的数据，以及与所述上报的数据关联的上报服务器信息；将所述上报的数据和上报服务器信息进行缓存并写入缓存数据库；对所述缓存数据库中的所述上报的数据和上报服务器信息进行数据类型转换，得到相应的整型数据，将所述整型数据写入关系型数据库；对所述关系型数据库中的整型数据进行聚合计算，确定相应的网络访问关系数据。本发明专利技术还同时公开了一种获取网络访问关系数据的装置、以及存储介质。

【技术实现步骤摘要】
一种获取网络访问关系数据的方法、装置及存储介质
本专利技术涉及互联网领域中的服务器间访问技术，尤其涉及一种获取网络访问关系数据的方法、装置及存储介质。
技术介绍
随着互联网技术的不断发展，服务器的应用越来越广泛，服务器间的交互变得更加频繁。目前，网络监控系统可以根据服务器间的网络访问关系，使用户了解业务数据在各服务器间的流动情况，以获得网络访问流量走势信息。由此可见，如何获取服务器间的网络访问关系是尤其关键的步骤。相关技术中，为了获取服务器间的网络访问关系，一般采用以下两种技术实现方案：网络设备分析方法和服务器数据包抓取方法。其中，网络设备分析方法要求路由器/防火墙必须支持网络会话数据采集，且要求使用者具备获取网络设备采集数据的权限，通常仅限于获取自建数据中心业务间的访问关系，而并不适用于租用服务器或购买第三方云计算资源的服务器场景中，可见，现有的网络设备分析方法在使用场景上具有一定的局限性。服务器数据包抓取方法需要在服务器上运行抓包工具，利用抓包工具跟踪数据，并持续抓取传输的数据包，而抓取数据包的操作消耗较多的服务器资源，导致服务器负载上升，对服务器本身的业务产生一定影响，进而降低服务器的稳定性，虽然相关技术中的抽样抓取数据包的方法可以降低对服务器负载的影响，但是无法完整反映服务器间的网络访问关系。对于如何能够在保证获取服务器间完整的网络访问关系数据的同时，降低对服务器负载的影响，提高网络访问关系数据查询和计算的效率，相关技术尚无有效解决方案。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种获取网络访问关系数据的方法、装置及存储介质，至少用以解决相关技术中难以在保证获取服务器间完整的网络访问关系数据的同时，降低对服务器负载的影响，提高网络访问关系数据查询和计算的效率的问题。为达到上述目的，本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种获取网络访问关系数据的方法，所述方法包括：接收由部署于各上报服务器的代理程序上报的数据，以及与所述上报的数据关联的上报服务器信息；将所述上报的数据和上报服务器信息进行缓存并写入缓存数据库；对所述缓存数据库中的所述上报的数据和上报服务器信息进行数据类型转换，得到相应的整型数据，将所述整型数据写入关系型数据库；对所述关系型数据库中的整型数据进行聚合计算，确定相应的网络访问关系数据。第二方面，本专利技术实施例还提供一种获取网络访问关系数据的装置，所述装置包括：接收模块、缓存模块、转换模块和计算模块；其中，所述接收模块，用于接收由部署于各上报服务器的代理程序上报的数据，以及与所述上报的数据关联的上报服务器信息；所述缓存模块，用于将所述上报的数据和上报服务器信息进行缓存并写入缓存数据库；所述转换模块，用于对所述缓存数据库中的所述上报的数据和上报服务器信息进行数据类型转换，得到相应的整型数据，将所述整型数据写入关系型数据库；所述计算模块，用于对所述关系型数据库中的整型数据进行聚合计算，确定相应的网络访问关系数据。第三方面，本专利技术实施例还提供一种存储介质，其上存储有可执行程序，所述可执行程序被处理器执行时实现本专利技术实施例提供的获取网络访问关系数据的方法的步骤。第四方面，本专利技术实施例还提供一种获取网络访问关系数据的装置，包括存储器、处理器及存储在存储器上并能够由所述处理器运行的可执行程序，所述处理器运行所述可执行程序时执行本专利技术实施例提供的获取网络访问关系数据的方法的步骤。本专利技术实施例所提供的获取网络访问关系数据的方法、装置及存储介质，接收由部署于各上报服务器的代理程序上报的数据，以及与上报的数据关联的上报服务器信息；将上报的数据和上报服务器信息进行缓存并写入缓存数据库；对缓存数据库中的上报的数据和上报服务器信息进行数据类型转换，得到相应的整型数据，将整型数据写入关系型数据库；对关系型数据库中的整型数据进行聚合计算，确定相应的网络访问关系数据。如此，可以不依赖网络设备获取服务器间完整的网络访问关系数据，降低对服务器负载的影响；本专利技术实施例将缓存数据库中的字符串数据转换成整型数据，以将转换后的整型数据写入关系型数据库中，利用整型存储数据可以极大地提升对网络访问关系数据查询和计算的效率。附图说明图1为本专利技术实施例提供的一种获取网络访问关系数据的方法的实现流程示意图；图2为本专利技术实施例提供的一种获取网络访问关系数据的装置的功能结构示意图；图3为本专利技术实施例提供的另一种获取网络访问关系数据的装置的功能结构示意图；图4为本专利技术实施例提供的一种获取网络访问关系数据的装置的硬件结构示意图。具体实施方式为了能够更加详尽地了解本专利技术实施例的特点与
技术实现思路
，下面结合附图对本专利技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本专利技术。图1为本专利技术实施例提供的一种获取网络访问关系数据的方法的实现流程示意图，该获取网络访问关系数据的方法可应用于服务器中；如图1所示，本专利技术实施例中的获取网络访问关系数据的方法的实现流程，可以包括以下步骤：步骤101：接收由部署于各上报服务器的代理程序上报的数据，以及与上报的数据关联的上报服务器信息。在本实施例中，对于接收由部署于各上报服务器的代理程序上报的数据，可以采用如下方式实现：接收由部署于各上报服务器的代理程序基于接收到的采集指令所采集的数据；其中，采集指令是由中控服务器通过多线程技术并行向代理程序下发的指令。这里，上报服务器是指需要采集网络访问关系数据的业务服务器。本专利技术实施例在需要采集网络访问关系数据的业务服务器上全量部署并启动代理程序如Agent程序，中控服务器可以通过多线程技术并行向部署了Agent程序的上报服务器下发采集指令，其中，Agent程序用于负责接收采集指令并执行数据采集操作。也就是说，Agent程序在接收到中控服务器下发的采集指令后，将执行数据采集操作，并向采集服务器上报所采集到的数据。这里，采集指令中可以包括采集指令ID。在实际应用中，Agent程序可以通过超文本传输协议(HTTP，HyperTextTransferProtocol)的方式，将采集到的数据上报给采集服务器。对于Agent程序具体如何通过HTTP方式进行数据上报，可以采用已有的或新的网络协议实现，这里不再详细赘述。举例来说，需要采集网络访问关系数据的业务服务器，比如一台运行MySQL数据库服务的服务器，需要查看都有哪些服务器/进程来访问该数据库服务，则需要在发起访问的服务器和该MySQL服务器中部署Agent程序以进行数据采集和上报。因此，将部署了Agent程序的业务服务器，都可以视为上报服务器。其中，MySQL是一种关系型数据库管理系统，通过MySQL中的关系数据库将数据保存在不同的表中，而并非将所有数据保存在一个大数据库中，这样就增加了数据查找的速度，并提高了数据处理的灵活性。在本实施例中，Agent程序是一个独立运行在上报服务器上的进程，该进程用于接收中控服务器下发的采集指令，并进行数据采集和数据上报的操作。中控服务器，还可以称为管理机，主要用于基于操作系统调用，向部署于各上报服务器的Agent程序下发数据采集指令。需要说明的是，从逻辑关系上来说，中控服务器与采集服务器之间是相互分离的，其中，中控服务器负责采集指令的下发，而采集服务器负责接收本文档来自技高网...

【技术保护点】
1.一种获取网络访问关系数据的方法，其特征在于，所述方法包括：接收由部署于各上报服务器的代理程序上报的数据，以及与所述上报的数据关联的上报服务器信息；将所述上报的数据和上报服务器信息进行缓存并写入缓存数据库；对所述缓存数据库中的所述上报的数据和上报服务器信息进行数据类型转换，得到相应的整型数据，将所述整型数据写入关系型数据库；对所述关系型数据库中的整型数据进行聚合计算，确定相应的网络访问关系数据。

【技术特征摘要】
1.一种获取网络访问关系数据的方法，其特征在于，所述方法包括：接收由部署于各上报服务器的代理程序上报的数据，以及与所述上报的数据关联的上报服务器信息；将所述上报的数据和上报服务器信息进行缓存并写入缓存数据库；对所述缓存数据库中的所述上报的数据和上报服务器信息进行数据类型转换，得到相应的整型数据，将所述整型数据写入关系型数据库；对所述关系型数据库中的整型数据进行聚合计算，确定相应的网络访问关系数据。2.根据权利要求1所述的获取网络访问关系数据的方法，其特征在于，在所述确定相应的网络访问关系数据之后，所述方法还包括：将所述网络访问关系数据推送给客户端进行查询展示。3.根据权利要求1或2所述的获取网络访问关系数据的方法，其特征在于，所述接收由部署于各上报服务器的代理程序上报的数据，包括：接收由所述部署于各上报服务器的代理程序基于接收到的采集指令所采集的数据；其中，所述采集指令是由中控服务器通过多线程技术并行向所述代理程序下发的指令。4.根据权利要求1或2所述的获取网络访问关系数据的方法，其特征在于，所述代理程序上报的数据包括所述代理程序在完成数据采集后的随机时延内上报的数据。5.根据权利要求1或2所述的获取网络访问关系数据的方法，其特征在于，所述对所述缓存数据库中的所述上报的数据和上报服务器信息进行数据类型转换，得到相应的整型数据，将所述整型数据写入关系型数据库，包括：分别以上报服务器信息字符串和上报数据字符串为键，查询非关系型数据库中是否存在与所述上报服务器信息字符串和上报数据字符串对应的整型数据；若所述非关系型数据库中存在与所述上报服务器信息字符串和上报数据字符串对应的整型数据，将查找到的整型数据替代所述上报服务器信息字符串和上报数据字符串，并将所述查找到的整型数据写入关系型数据库；若所述非关系型数据库中未存在与所述上报服务器信息字符串和上报数据字符串对应的整型数据，为所述上报服务器信息字符串和上报数据字符串重新分配对应的整型数据，将所述重新分配的整型数据替代所述上报服务器信息字符串和上报数据字符串，并将所述重新分配的整型数据写入所述关系型数据库，以及将以所述上报服务器信息字符串和上报数据字符串为键，以所述重新分配的整型数据为值的键值对写入所述非关系型数据库。6.根据权利要求5所述的获取网络访...

【专利技术属性】
技术研发人员：王林涛，李小海，唐国宁，张竞，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京,11