一种自适应的数据采集方法、装置及系统制造方法及图纸

本文涉及数据采集领域，尤其涉及一种自适应的数据采集方法、装置及系统。本文所述方法可以但不限于应用于金融领域的数据采集，其中方法包括扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；获取所述采集客户端，以用于采集所述应用程序的数据。通过本文方法，实现了对服务器上运行的应用程序进行自适应数据采集，减小采集客户端的部署难度，提高数据采集的实时性。的实时性。的实时性。

【技术实现步骤摘要】
一种自适应的数据采集方法、装置及系统


[0001]本文涉及数据采集领域，尤其涉及一种自适应的数据采集方法、装置及系统。

技术介绍

[0002]随着科技的不断发展，服务器上运行的应用程序也随之增多，庞大的应用程序体系在提供更优质服务的同时，也带来了应用程序监控运维上的难题。
[0003]在监控运维领域，需要关注服务器上运行的重要应用程序，对于这些应用程序运行情况的监控，大多通过获取其日志、指标和配置等相关信息来实现。
[0004]目前，现有技术大多通过在服务器上部署采集客户端对指定应用程序的日志、指标和配置信息等数据进行采集，当需要监控服务器上的多个应用程序时，需要部署多个采集客户端用于采集不同应用程序的数据。现有技术中通过人工实施部署采集客户端，当服务器上运行的应用程序发生改变时，则需要人工停止原有的采集客户端，并部署新增应用程序的采集客户端，当服务器上应用程序数量较多、更新较频繁时，此种数据采集方法的运维难度将增大，运维成本将明显提高，而且存在应用程序变化发现不及时，导致数据漏采。
[0005]现在亟需一种能够自动发现、适应服务器上应用程序变化的数据采集方法，从而解决现有技术中需人工发现应用程序的变化、布署采集客户端难度较大、数据采集不及时的问题。

技术实现思路

[0006]为解决现有技术中需人工发现应用程序变化、布署采集客户端难度较大、数据采集不及时，本文实施例提供了一种自适应数据采集方法、装置及系统，实现了服务器上活跃应用程序的自动发现，并自动获取新增应用程序的采集客户端，以便于采集所述应用程序的数据，降低了采集客户端部署的难度，提高应用程序数据采集的实时性。
[0007]本文提供了一种自适应数据采集方法，包括，
[0008]扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；
[0009]根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；
[0010]获取所述采集客户端，以用于采集所述应用程序的数据。
[0011]本文实施例还提供了一种自适应数据采集装置，包括，
[0012]应用程序监控单元，扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；
[0013]采集客户端获取单元，根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；
[0014]数据采集单元，接收所述采集客户端，以用于采集所述应用程序的数据。
[0015]本文实施例还提供了一种自适应数据采集系统，包括，服务器，客户端云平台以及
自适应数据采集装置，
[0016]自适应数据采集装置扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；
[0017]自适应数据采集装置根据所述活跃应用程序列表，向客户端云平台发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；
[0018]客户端云平台接收所述采集客户端获取请求，向自适应数据采集装置发送采集客户端；
[0019]自适应数据采集装置收所述采集客户端，采集所述应用程序的数据。
[0020]本文实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0021]本文实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述方法的指令。
[0022]利用本文实施例，自适应数据采集装置扫描服务器上运行的应用程序，当发现新增的应用程序之后，更新自身的活跃应用程序列表，活跃应用程序列表中包括单不限于应用程序id和版本信息，将新增的应用程序信息加入到活跃应用程序列表中，然根据活跃应用程序列表中新增的应用程序信息，向客户端云平台发送新增应用程序的采集客户端获取请求，采集客户端云平台根据请求的应用程序信息向自适应数据采集装置发送该应用程序的采集客户端或发送该应用程序的采集客户端下载链接，最后自适应数据采集装置获取该应用程序的采集客户端，对该应用程序进行数据采集。实现了活跃应用程序自发现并自动获取新增应用程序的采集客户端，降低了采集客户端的部署难度，提高应用程序数据采集的实时性。
附图说明
[0023]为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1所示为本文实施例一种自适应数据采集系统的结构示意图；
[0025]图2所示为本文实施例一种自适应数据采集方法的流程图；
[0026]图3所示为本文实施例一种自适应数据采集装置的结构图；
[0027]图4所示为本文实施例一种自适应数据采集系统的详细结构图；
[0028]图5所示为本文实施例自适应数据采集方法的数据流图；
[0029]图6所示为本文实施例计算设备的结构示意图。
[0030]【附图标记说明】：
[0031]101、客户端云平台；
[0032]102、服务器；
[0033]103、自适应数据采集装置；
[0034]301、应用程序监控单元；
[0035]302、采集客户端获取单元；
[0036]303、数据采集单元；
[0037]401、管理控制平台；
[0038]4011、数据同步单元；
[0039]4012、采集客户端维护单元；
[0040]4013、数据采集监控单元；
[0041]4014、告警单元；
[0042]402、客户端云平台；
[0043]4021、数据同步单元；
[0044]4022、采集客户端存储单元；
[0045]4023、采集客户端更新单元；
[0046]4024、采集客户端匹配单元；
[0047]4025、信息收发单元；
[0048]40251、客户端获取方式解析模块；
[0049]40252、负载均衡模块；
[0050]403、服务器；
[0051]404、自适应数据采集装置；
[0052]4041、应用程序监控单元；
[0053]4042、采集客户端获取单元；
[0054]40421、客户端获取方式选择模块；
[0055]40422、负载均衡模块；
[0056]40423、客户端安全性验证模块；
[0057]4043、数据采集单元；
[0058]40431、采集客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应数据采集方法，其特征在于包括，扫描服务器上运行的应用程序，更新活跃应用程序列表，所述活跃应用程序列表用于记录服务器上当前正在运行的应用程序；根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求，所述采集客户端用于采集所述应用程序的数据；获取所述采集客户端，以用于采集所述应用程序的数据。2.根据权利要求1所述的自适应数据采集方法，其特征在于，扫描服务器上运行的应用程序，更新活跃应用程序列表进一步包括，获取服务器中离线的应用程序；将所述离线的应用程序在所述活跃应用程序列表中删除；停止采集所述离线应用程序的数据，卸载所述离线应用程序的采集客户端。3.根据权利要求1所述的自适应数据采集方法，其特征在于，获取所述采集客户端进一步包括，接收客户端云平台发送的所述采集客户端的安装包；或，接收所述客户端云平台发送的所述采集客户端的下载链接。4.根据权利要求3所述的自适应数据采集方法，其特征在于，根据所述活跃应用程序列表，发送新增应用程序的采集客户端获取请求进一步包括，发送所述服务器带宽利用率，使得所述客户端云平台根据所述带宽利用率发送所述采集客户端的安装包。5.根据权利要求3所述的自适应数据采集方法，其特征在于，获取所述采集客户端进一步包括，根据所述服务器的带宽利用率，分时获取所述下载链接所指向的采集客户端。6.根据权利要求1所述的自适应数据采集方法，其特征在于，获取所述采集客户端进一步包括，对获取的所述采集客户端进行安全性校验。7.根据权利要求6所述的自适应数据采集方法，其特征在于，对获取的所述采集客户端进行安全性校验进一步包括，获取所述服务器中所述新增活跃应用程序的MD5值；利用所述获...

【专利技术属性】
技术研发人员：茅逸斐，吴声，熊慧君，吴都，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：