数据采集装置以及方法制造方法及图纸

本发明专利技术公开了一种数据采集装置以及方法，该数据采集装置包括：采集模块，用于采用特有标记方式对多个所述应用中的多个待监测方法进行标记，并用于根据所述标记对各个所述待监测方法进行信息采集，其中，所述特有标记是对代码逻辑无侵入性的标记方式；传输模块，连接于所述采集模块和汇聚模块，用于将采集的信息上传至所述汇聚模块；汇聚模块，用于将所述采集的信息存储于所述汇聚模块。上述技术方案，针对应用代码在线上环境中运行时的数据采集工作，提供了一种具有普适性的无侵入标记采集的方法。

Data Acquisition Device and Method

【技术实现步骤摘要】
数据采集装置以及方法
本专利技术涉及互联网
，具体来说，涉及一种数据采集装置以及数据采集方法。
技术介绍
针对应用代码在线上环境中运行时的系统数据采集工作，现有的数据采集方法包括以下的埋点采集(无埋点，web埋点，应用嵌入埋点)、日志采集、和变量跟踪三种方法：一、埋点采集埋点采集方法是通过前端XPath(XML路径语言，一种用来确定XML文档中某部分位置的语言)标记、页面埋点、应用嵌入埋点，进而采集用户交互的行为动作，统计后台暴露接口的访问次数、频率等信息。但是，这种方法存在以下问题：1)工作量巨大：为确保采集数据全面有效，需对所有用户交互的动作进行埋点或标记，产生了极大的工作量。2)采集覆盖面小：仅能针对于暴露于前端的接口(方法)，无法针对服务器系统中所有的方法。3)数据统计困难：由于不同的业务场景，导致采集到数据格式很难做到完全统一，对于后期的数据分析工作无疑加大了难度。二、日志采集是指在关键方法或执行代码上打印相关日志，通过统计日志信息采集对应方法的执行次数、频率等信息，从而达到热点代码统计的作用。但是，这种方法存在以下问题：1)侵入性强：此方案需要选定监测代码，在其执行过程前后加入统计代码，这样会破坏原本方法流程，具有很强侵入性，虽对新构建系统无影响，但是不便于已有系统的集成。2)采集覆盖面小：此方案需选定特定代码进行监测，出于性能考虑，无法针对所有方法进行监测，所以覆盖面仅能覆盖到选定的代码。3)可维护性差：由于针对于每个选定特定的代码均需添加统计代码，所以会产生多种重复的统计代码，在业务的不断更迭上，很难保障统计代码同步发生变化。故而可维护性较差。三、变量跟踪申请号为200810088906.8的专利中提出了一种代码审计的方法及装置：在源代码中追踪一个变量，得到处理该变量的各处理节点；使用发现单元来获取各个节点具体属性，依据采集到数据进行分析比较，从而起到监测安全属性的作用。但是，这种方法存在以下问题：1)采集覆盖面小：通过追踪一个变量的轨迹得到处理该变量各个处理节点的属性，覆盖面仅局限在此变量存在的方法，无法覆盖所有的有效代码。2)无法统计变量未流经节点：此方案可以统计业务调用的代码，但无法统计系统没有执行到的代码。而往往定位出热点代码可以以提高性能，而定位出冷藏代码可以提高健壮性。3)无法跨应用采集：由于变量存在同一进程的内存，无法跨应用实例采集相同的方法的数据，从而统计结果的价值降低。
技术实现思路
针对相关技术中的上述问题，本专利技术提出一种数据采集装置以及数据采集方法，针对应用代码在线上环境中运行时的数据采集工作，提供一种具有普适性的无侵入标记采集的方法。本专利技术的技术方案是这样实现的：根据本专利技术的一个方面，提供了一种数据采集装置，用于在应用运行时进行数据采集，该数据采集装置包括：采集模块，用于采用特有标记方式对多个应用中的多个待监测方法进行标记，并用于根据标记对各个待监测方法进行信息采集，其中，特有标记是对代码逻辑无侵入性的标记方式；传输模块，连接于采集模块和汇聚模块，用于将采集的信息上传至汇聚模块；汇聚模块，用于将采集的信息存储于汇聚模块。根据本专利技术的实施例，采集模块包括：感知处理器，用于进行信息采集，其中，当待监测方法被调用时，根据标记触发相应的感知处理器；根据本专利技术的实施例，特有标记包括分组标记和功能标记之中的至少一种。根据本专利技术的实施例，传输模块包括：权重配置子模块，用于根据多个应用节点的性能为多个应用分配相应的权重。根据本专利技术的实施例，汇聚模块包括：融合子模块，用于将采集的信息进行数据融合；解析子模块，用于对融合后的信息进行解析；存储子模块，用于根据数据融合的结果将解析后的信息分配至多个结果集中进行存储。根据本专利技术的实施例，传输模块还用于将采集的信息存储在相应的应用节点中。根据本专利技术的另一方面，提供了一种数据采集方法，用于在应用运行时进行数据采集，该数据采集方法包括：采用特有标记方式对多个应用中的多个待监测方法进行标记，其中，特有标记是对代码逻辑无侵入性的标记方式；根据标记对各个待监测方法进行信息采集；将采集的信息上传至汇聚模块并将采集的信息存储于汇聚模块。根据本专利技术的实施例，根据标记对待监测方法进行信息采集包括：当待监测方法被调用时，根据标记触发相应的感知处理器；采用相应的感知处理器进行信息采集。根据本专利技术的实施例，将采集的信息上传至汇聚模块包括：当启动应用时，与汇聚模块建立连接并进行权重配置，其中，根据多个应用节点的性能为多个应用分配相应的权重。根据本专利技术的实施例，将采集的信息存储于汇聚模块包括：将采集的信息进行数据融合；对融合后的信息进行解析；根据数据融合的结果将解析后的信息分配至多个结果集中进行存储。本专利技术上述技术方案的有益效果在于：1)有效覆盖面广：可以标记所有需要统计的代码，在保障针对性采集的前提上，极大的加强了有效统计的覆盖面。2)采集规则多样化：具体采集规则可以通过不同注解进行添加标注，也可以自行定义采集规则注解，具备高度可扩展性。3)跨应用节点采集；分层设计，可以保障多个应用信息汇总分析，而不再局限至单个应用，同时可以采集到一个相同应用的多个实例上数据进行汇总。4)无侵入标记设计：采用注解标记方式进行标记覆盖，在不改动方法内部逻辑代码的前提下实现方法调用信息采集。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的数据采集装置的框图示意图；图2是根据本专利技术具体实施例的数据采集装置的框图示意图；图3是根据本专利技术具体实施例的标记注解的示意图；图4是根据本专利技术实施例的标记感知处理器的示意图；图5是根据本专利技术实施例的信息采集执行切入点的示意图；图6是根据本专利技术实施例的信息传递汇聚的示意图；图7是根据本专利技术实施例的信息汇聚及数据整理分派的示意图；图8是根据本专利技术实施例的数据采集方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，根据本专利技术的实施例提供了一种数据采集装置，用于在应用运行时进行数据采集，该数据采集装置包括采集模块10、传输模块20和汇聚模块30，其中，采集模块10用于采用特有标记方式对多个应用中的多个待监测方法进行标记并用于根据标记对各个待监测方法进行信息采集，其中，特有标记是对代码逻辑无侵入性的标记方式；传输模块20连接于采集模块10和汇聚模块30，传输模块20用于将采集的信息上传至汇聚模块30；汇聚模块30用于将采集的信息存储于汇聚模块30。本专利技术的上述技术方案，通过采用注解标记方式进行标记覆盖的无侵入标记设计，在不改动方法内部逻辑代码的前提下实现方法调用信息采集。可以标记所有需要统计的代码，在保障针对性采集的前提上，极大的加强了有效统计的覆盖面。具体采集规则可以通过不同注解进行添加标注，也可以自行定义采本文档来自技高网...

【技术保护点】
1.一种数据采集装置，其特征在于，用于在应用运行时进行数据采集，所述数据采集装置包括：采集模块，用于采用特有标记方式对多个所述应用中的多个待监测方法进行标记，并用于根据所述标记对各个所述待监测方法进行信息采集，其中，所述特有标记是对代码逻辑无侵入性的标记方式；传输模块，连接于所述采集模块和汇聚模块，用于将采集的信息上传至所述汇聚模块；汇聚模块，用于将所述采集的信息存储于所述汇聚模块。

【技术特征摘要】
1.一种数据采集装置，其特征在于，用于在应用运行时进行数据采集，所述数据采集装置包括：采集模块，用于采用特有标记方式对多个所述应用中的多个待监测方法进行标记，并用于根据所述标记对各个所述待监测方法进行信息采集，其中，所述特有标记是对代码逻辑无侵入性的标记方式；传输模块，连接于所述采集模块和汇聚模块，用于将采集的信息上传至所述汇聚模块；汇聚模块，用于将所述采集的信息存储于所述汇聚模块。2.根据权利要求1所述的数据采集装置，其特征在于，所述采集模块包括：感知处理器，用于进行所述信息采集，其中，当所述待监测方法被调用时，根据所述标记触发相应的感知处理器。3.根据权利要求1所述的数据采集装置，其特征在于，所述特有标记包括分组标记和功能标记之中的至少一种。4.根据权利要求1所述的数据采集装置，其特征在于，所述传输模块包括：权重配置子模块，用于根据多个应用节点的性能为所述多个应用分配相应的权重。5.根据权利要求1所述的数据采集装置，其特征在于，所述汇聚模块包括：融合子模块，用于将所述采集的信息进行数据融合；解析子模块，用于对融合后的信息进行解析；存储子模块，用于根据所述数据融合的结果将解析后的信息分配至多个结果集中进行...

【专利技术属性】
技术研发人员：任杰，肖扬，林方健，张然，
申请(专利权)人：联动优势电子商务有限公司，
类型：发明
国别省市：北京,11