数据采集方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供了一种数据采集方法、装置、电子设备及计算机可读存储介质，涉及大数据技术领域。该方法包括：在访问目标页面的过程中确定网页探针类型，网页探针用于确定页面数据的采集区域；基于网页探针类型确定与网页探针类型相对应的采集类别；在所确定的采集区域中采集与采集类别相对应的网页数据；将采集到的网页数据及所确定的采集类别上传至服务端；服务端用于基于网页数据与采集类别分析目标页面的页面性能或针对目标页面的异常访问。本申请中的采集方法使得采集的数据更加全面，便于服务端根据采集的数据对目标页面进行优化或者分析目标页面的异常访问。分析目标页面的异常访问。分析目标页面的异常访问。

【技术实现步骤摘要】
数据采集方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及运维
，具体而言，本申请涉及一种数据采集方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在使用浏览器访问网页的过程中，当页面出现白屏或错误时，因为通常无法感知到这些问题的存在，所以不能及时地处理这些问题，因此通常需要对页面的数据进行采集，通过分析采集的数据以便及时处理问题；或者当对网页性能进行评判时，也需要对页面的数据进行采集。
[0003]现有技术在对页面进行数据采集时存在诸如数据采集不全面，采集数据统计复杂等问题，不方便后台进行分析。

技术实现思路

[0004]本申请提供了一种数据采集的方法、装置、电子设备及计算机可读存储介质，可以解决数据采集不全面的问题。技术方案如下：
[0005]第一方面，提供了一种数据采集的方法，该方法包括：
[0006]在访问目标页面的过程中确定网页探针类型，网页探针用于确定页面数据的采集区域；
[0007]基于网页探针类型确定与网页探针类型相对应的采集类别；
[0008]在所确定的采集区域中采集与采集类别相对应的网页数据；
[0009]将采集到的网页数据及所确定的采集类别上传至服务端；服务端用于基于网页数据与采集类别分析目标页面的页面性能或针对目标页面的异常访问。
[0010]第二方面，提供了一种数据采集的装置，该装置包括：
[0011]第一确定模块，用于在访问目标页面的过程中确定网页探针类型，网页探针用于确定页面数据的采集区域；
[0012]第二确定模块，用于基于网页探针类型确定与网页探针类型相对应的采集类别；
[0013]采集模块，用于在所确定的采集区域中采集与采集类别相对应的网页数据；
[0014]上传模块，用于将采集到的网页数据及所确定的采集类别上传至服务端；服务端用于基于网页数据与采集类别分析目标页面的页面性能或针对目标页面的异常访问。
[0015]第三方面，提供了一种电子设备，该电子设备包括：
[0016]一个或多个处理器；
[0017]存储器；
[0018]一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如本申请的第一方面所示的数据采集的方法对应的操作。
[0019]第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算
机程序，该程序被处理器执行时实现本申请第一方面所示的数据采集的方法。
[0020]本申请提供的技术方案带来的有益效果是：
[0021]本申请通过引入网页探针，使得数据采集过程不影响原业务系统，并且通过网页探针类型确定需要进行数据采集的采集类别，并在锁定采集区域进行数据采集，不仅使采集的数据更加全面，还提高了数据采集效率，并且通过将采集到的网页数据及网页数据的类型上传至服务端，便于服务端根据采集的数据对目标页面进行优化或者分析目标页面的异常访问。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0023]图1为本申请实施例提供的一种数据采集方法的流程示意图；
[0024]图2为本申请实施例提供的一种数据采集方法中的网页探针的示意图；
[0025]图3为本申请实施例提供的另一种数据采集方法的流程示意图；
[0026]图4为本申请实施例提供的一种数据采集方法中具体实施例流程示意图；
[0027]图5为本申请实施例提供的又一种数据采集方法的流程示意图；
[0028]图6为本申请实施例提供的一种数据采集方法中又一具体实施例流程示意图；
[0029]图7为本申请实施例提供的一种数据采集装置的结构示意图；
[0030]图8为本申请实施例提供的一种数据采集的电子设备的结构示意图。
具体实施方式
[0031]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本专利技术的限制。
[0032]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0033]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0034]本申请提供的数据采集方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。
[0035]下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
[0036]本申请实施例中提供了一种数据采集的方法，如图1所示，该方法包括：
[0037]步骤S101：在访问目标页面的过程中确定网页探针类型，网页探针用于确定页面数据的采集区域；
[0038]其中，网页探针技术是通过在当前页面源代码中插入一段代码，这段代码可以实时获取访问页面的一些数据，不同类型的网页探针对应不同类型的数据。因此，在访问目标页面的过程中，通过确定网页探针的类型，可以确定页面数据的采集区域。
[0039]在本申请的一个实施例中，确定网页探针类型，包括：
[0040]接收用户选择操作，基于用户的选择操作设置网页探针类型；
[0041]或者，将默认探针类型设为网页探针类型。
[0042]首先需要说明的是，本申请实施例为了减少引入网页探针而导致业务系统的改造，可以将探针作为标签引入到目标页面中，减少业务系统的接入成本，对原业务系统影响较小，如图2所示。
[0043]在访问目标页面时，会判断是否设置了网页探针的类型，如果基于用户的选择操作设置了网页探针类型，可以将用户设置的网页探针类型覆盖默认的网页探针类型，如果用户没有对网页探针进行设置，可以采用默认的网页探针类型。
[0044]步骤S102：基于网页探针类型确定与网页探针类型相对应的采集类别。
[0045]可以理解的是，网页探针中提供了多种采集类别，比如异常数据采集类别、性能数据采集类别，当确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：在访问目标页面的过程中确定网页探针类型，所述网页探针用于确定页面数据的采集区域；基于所述网页探针类型确定与所述网页探针类型相对应的采集类别；在所确定的采集区域中采集与所述采集类别相对应的网页数据；将采集到的网页数据及所确定的采集类别上传至服务端；所述服务端用于基于所述网页数据与所述采集类别分析所述目标页面的页面性能或针对所述目标页面的异常访问。2.根据权利要求1所述的方法，其特征在于，所述确定网页探针类型，包括如下任一种：接收用户选择操作，基于用户的选择操作设置所述网页探针类型；将默认探针类型设为所述网页探针类型。3.根据权利要求1或2所述的方法，其特征在于，若所述采集类别包括异常采集类别，所述采集与所述采集类别相对应的数据，将采集到的数据及采集数据的采集类别上传至服务端，包括：监听目标浏览器的预定事件；若基于所述预定事件确定所述目标浏览器发生异常，则采集所述目标浏览器的异常数据；确定所述异常数据的异常类型，将所述异常数据转化为第一数据结构的形式；将所述异常类型以及转化后的异常数据上传至所述服务端。4.根据权利要求3所述的方法，其特征在于，若所述目标浏览器的个数为至少两个，且至少两个目标浏览器的浏览器类型不一致，所述方法还包括：分别确定采集到的至少两个异常数据的异常类型及数据结构；若至少两个异常数据的数据结构不同，将所述至少两个异常数据的数据结构转换为相同的第二数据结构；将所述至少两个异常数据以所述第二数据结构的形式上传至服务端，并将所述至少两个异常数据的异常类型上传至服务端。5.根据权利要求1或2所述的方法，其特征在于，若所述采集类别包括性能采集类别，所述采集与所述采集类别相对应的数据，将采集到的数据及采集数据的采集类别上传至服务端，包括：若所述目标浏览器包含...

【专利技术属性】
技术研发人员：吴佰清，
申请(专利权)人：北京比特易湃信息技术有限公司，
类型：发明
国别省市：