一种数据采集方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据采集方法、装置、设备及存储介质，其中，方法包括：通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。本发明专利技术实施例可以准确地对网页页面的加载过程进行数据采集，避免数据采集过程过度占用浏览器资源，导致浏览器的运行速度降低，网页加载慢。加载慢。加载慢。

【技术实现步骤摘要】
一种数据采集方法、装置、设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据采集方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的飞速发展，人们越来越多地通过浏览器浏览网页来获取各种信息。IE浏览器的浏览器主进程在接收到用户输入的页面加载消息时，调用浏览器控件加载与页面加载消息对应的网页页面。
[0003]随着浏览器业务功能的复杂化，浏览器控件加载网页页面的过程也相应的复杂，容易出现加载过程时间较长，导致网页页面加载慢的问题。为了明确导致网页页面加载慢的具体原因，需要监测浏览器控件加载网页页面的过程，对浏览器控件加载网页页面的过程进行数据采集。
[0004]相关技术中，通常是由技术人员直接向浏览器中写入监听代码，来监听浏览器中的各项数据，从监听到的数据中获取与浏览器控件加载网页页面的过程相关的数据。监听代码无法准确地对浏览器控件加载网页页面的过程进行数据采集，而且当监听代码的代码量很大时，可能会降低IE浏览器的运行速度，导致网页加载慢。

技术实现思路

[0005]本专利技术实施例提供了一种数据采集方法、装置、设备及存储介质，可以准确地对网页页面加载过程进行数据采集。
[0006]第一方面，本专利技术实施例提供了一种数据采集方法，包括：
[0007]通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；
[0008]在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；
[0009]通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
[0010]第二方面，本专利技术实施例还提供了一种数据采集装置，包括：
[0011]数据监听模块，用于通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；
[0012]脚本调用模块，用于在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；
[0013]数据采集模块，用于通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
[0014]第三方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：
[0015]一个或多个处理器；
[0016]存储装置，用于存储一个或多个程序；
[0017]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任意实施例所述的数据采集方法。
[0018]第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现本专利技术任意实施例所述的数据采集方法。
[0019]本专利技术实施例提供的技术方案，通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；然后在监听到浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过浏览器消息监听进程，调用预设数据采集脚本；其中，页面加载启动消息用于确认浏览器控件启动加载目标网页页面的过程；通过预设数据采集脚本，在浏览器控件加载目标网页页面的过程中，采集浏览器控件中的各个接口传输的消息数据，可以根据浏览器控件发送至浏览器主进程的消息数据，精确地在浏览器控件启动加载目标网页页面的过程时，调用预设数据采集脚本对目标网页页面的渲染过程进行数据采集，监测目标网页页面的加载过程，可以准确地对网页页面的加载过程进行数据采集，避免数据采集过程过度占用浏览器资源，导致浏览器的运行速度降低，网页加载慢。
附图说明
[0020]图1为本专利技术实施例一提供的一种数据采集方法的流程图。
[0021]图2为本专利技术实施例二提供的一种数据采集方法的流程图。
[0022]图3为本专利技术实施例三提供的一种数据采集装置的结构示意图。
[0023]图4为本专利技术实施例四提供的一种计算机设备的结构示意图。
具体实施方式
[0024]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0025]实施例一
[0026]图1为本专利技术实施例一提供的一种数据采集方法的流程图。本专利技术实施例可适用于对网页页面加载过程进行数据采集的情况。该方法可以由本专利技术实施例提供的数据采集装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图1所示，本专利技术实施例的方法具体包括：
[0027]步骤101、通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据。
[0028]可选的，浏览器为安装于计算机设备中的IE浏览器。浏览器控件为IE浏览器中的WebBrowser控件，用于在浏览器中加载网页页面。
[0029]可选的，浏览器主进程为浏览器中负责协调及主控的进程，用于与用户进行交互，管理浏览器中用于实现浏览器的各项功能的控件或进程，管理浏览器中的各个页面等。浏览器主进程中包含多个接口。浏览器主进程可以通过接口接收用户输入的消息数据，从而确定用户针对浏览器的操作请求，还可以通过接口向浏览器中用于实现浏览器的各项功能
的控件或进程发送消息数据，从而控制控件或进程实现相应的功能，并接收控件或进程发送的消息数据。浏览器中用于实现浏览器的各项功能的控件包括但不限于：用于在浏览器中加载网页页面的浏览器控件(WebBrowser控件)。
[0030]可选的，在通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据之前，还包括：在浏览器主进程的运行过程中，通过预设的进程注入方式，在所述浏览器主进程中注入浏览器消息监听进程；其中，所述浏览器消息监听进程用于监听浏览器控件中的各个接口传输的消息数据。
[0031]可选的，当浏览器主进程在计算机设备中运行时，计算机设备可以通过进程注入的方式，在浏览器主进程中注入进程并调用进程。预设的进程注入方式包括但不限于：注册表注入、钩子(windows hooks)注入以及远程线程注入等。
[0032]可选的，所述通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据，包括：通过浏览器消息监听进程，监听所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。
[0033]可选的，浏览器消息监听进程是用于监听浏览器控件中的各个接口传输的消息数据的进程。浏览器控件中的各个接口传输的消息数据是浏览器控件中的各个接口传入或传出的消息数据。浏览器消息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。2.根据权利要求1所述的方法，其特征在于，在通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据之前，还包括：在浏览器主进程的运行过程中，通过预设的进程注入方式，在所述浏览器主进程中注入浏览器消息监听进程；其中，所述浏览器消息监听进程用于监听浏览器控件中的各个接口传输的消息数据。3.根据权利要求1所述的方法，其特征在于，所述通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据，包括：通过浏览器消息监听进程，监听所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。4.根据权利要求1所述的方法，其特征在于，所述通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据，包括：在所述浏览器控件加载所述目标网页页面的过程中，通过预设数据采集脚本，获取所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据；其中，在所述浏览器控件加载所述目标网页页面的过程中，所述浏览器控件中的各个接口传输的消息数据至少包含：与所述目标网页页面的加载过程关联的参数和/或控制指令。5.根据权利要求1所述的方法，其特征在于，在通过所述...

【专利技术属性】
技术研发人员：袁耀辉，黄志远，
申请(专利权)人：北京博睿宏远数据科技股份有限公司，
类型：发明
国别省市：