一种数据采集方法及装置、存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据采集方法及装置、存储介质，该方法包括：获取网页访问地址；在网页圈选设置模式下，根据所述网页访问地址，加载目标网页；所述目标网页预先设置有事件监听功能；在所述目标网页中建立网页圈选功能；当所述网页圈选功能被启动时，利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能；当所述目标网页中的网页元素被圈选时，利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息。

A Data Acquisition Method, Device and Storage Media

The embodiment of the present invention discloses a data acquisition method, device and storage medium, which includes: acquiring web page access address; loading the target web page according to the web page access address under the web page circle selection setting mode; setting up event monitoring function in the target web page in advance; establishing web page circle selection function in the target web page; and when the web page circle selection function is activated. When moving, the event monitoring function and the web page circle selection function are used to set the web page circle response function for the web page elements in the target web page; when the web page elements in the target web page are circled, the web page circle response function of the selected web page elements is used to obtain the corresponding element information and page information of the selected web page elements.

【技术实现步骤摘要】
一种数据采集方法及装置、存储介质
本专利技术涉及互联网技术，尤其涉及一种数据采集方法及装置、存储介质。
技术介绍
目前，对于网站分析中的数据采集，常用数据采集方法为数据埋点，数据埋点的实现方式包括代码埋点和服务器配置埋点，代码埋点是在网页的业务逻辑代码中需要采集数据的网页元素处，加入埋点代码，服务器配置埋点是为网元加载采集数据的脚本文件，脚本文件可被执行用于为需要采集数据的网页元素添加埋点监听事件，上述实现方式通过埋点代码或埋点监听事件，实现对该网页元素的数据采集，但是，由于上述实现方式中的代码埋点的埋点位置、以及脚本文件中添加埋点监听事件的对象，都是由开发者预先设置的，不能根据用户实际的数据采集需求，灵活调整埋点位置或监听对象。
技术实现思路
本专利技术的主要目的在于提出一种数据采集方法及装置、存储介质，能够根据用户实际的数据采集需求，灵活调整数据采集对象，提高了对数据采集对象的更改速度。本专利技术的技术方案是这样实现的：本专利技术实施例提供了一种数据采集方法，所述方法包括：获取网页访问地址；在网页圈选设置模式下，根据所述网页访问地址，加载目标网页；所述目标网页预先设置有事件监听功能；在所述目标网页中建立网页圈选功能；当所述网页圈选功能被启动时，利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能；当所述目标网页中的网页元素被圈选时，利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息。上述方案中，所述获取网页访问地址之前，所述方法还包括：在网页浏览模式下，对所述目标网页中的网页元素设置事件监听功能和网页点击响应功能，所述网页点击响应功能为对网页浏览模式下被点击的网页元素进行获取元素信息和页面信息的功能。上述方案中，所述在所述目标网页中建立网页圈选功能，包括：利用加载状态检测功能，确定所述目标网页是否被完全加载；当所述目标网页被完全加载时，在所述目标网页中建立网页圈选功能。上述方案中，所述在所述目标网页中建立网页圈选功能之后，所述利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能之前，所述方法还包括：当在所述目标网页中建立完成网页圈选功能时，设置所述网页圈选功能对应的圈选开关为可选状态，并显示所述圈选开关；当所述圈选开关被启动时，确定所述网页圈选功能被启动。上述方案中，所述网页圈选响应功能包括滑动圈选响应功能和点击圈选响应功能。上述方案中，在所述利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能之后，所述利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息之前，所述方法还包括：利用所述滑动圈选响应功能，检测到所述目标网页中的网页元素被滑动圈选时，根据被滑动圈选的网页元素的结构层级和元素属性，确定被滑动圈选的网页元素是否属于可圈选元素；当所述被滑动圈选的网页元素属于可圈选元素时，利用所述点击圈选响应功能，检测所述被滑动圈选的网页元素是否被点击圈选；当所述被滑动圈选的网页元素被点击圈选时，将所述目标网页中的与被点击圈选的网页元素属于同一元素类型的网页元素，或所述被点击圈选的网页元素，确定为所述被圈选的网页元素。上述方案中，在所述获取所述被圈选的网页元素对应的元素信息和页面信息之后，所述方法还包括：对所述目标网页中的网页元素移除所述网页圈选响应功能，以使得所述目标网页恢复网页浏览模式。本专利技术实施例提供了一种数据采集装置，所述装置包括：网页加载单元、网页圈选单元、网页圈选响应单元和获取单元；其中，所述网页加载单元，用于获取网页访问地址；及在网页圈选设置模式下，根据所述网页访问地址，加载目标网页；所述目标网页预先设置有事件监听功能；所述网页圈选单元，用于在所述目标网页中建立网页圈选功能；所述网页圈选响应单元，用于当所述网页圈选功能被启动时，利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能；所述获取单元，用于当所述目标网页中的网页元素被圈选时，利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息。上述方案中，所述装置还包括：网页设置单元，用于在所述获取网页访问地址之前，在网页浏览模式下，对所述目标网页中的网页元素设置事件监听功能和网页点击响应功能，所述网页点击响应功能为对网页浏览模式下被点击的网页元素进行获取元素信息和页面信息的功能。上述方案中，所述网页圈选单元，具体用于利用加载状态检测功能，确定所述目标网页是否被完全加载；及当所述目标网页被完全加载时，在所述目标网页中建立网页圈选功能。上述方案中，所述网页圈选单元，还用于在所述目标网页中建立网页圈选功能之后，所述利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能之前，当在所述目标网页中建立完成网页圈选功能时，设置所述网页圈选功能对应的圈选开关为可选状态，并显示所述圈选开关；以及当所述圈选开关被启动时，确定所述网页圈选功能被启动。上述方案中，所述网页圈选响应功能包括滑动圈选响应功能和点击圈选响应功能。上述方案中，所述网页圈选响应单元，还用于在所述利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能之后，所述利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息之前，利用所述滑动圈选响应功能，检测到所述目标网页中的网页元素被滑动圈选时，根据被滑动圈选的网页元素的结构层级和元素属性，确定被滑动圈选的网页元素是否属于可圈选元素；及当所述被滑动圈选的网页元素属于可圈选元素时，利用所述点击圈选响应功能，检测所述被滑动圈选的网页元素是否被点击圈选；以及当所述被滑动圈选的网页元素被点击圈选时，将所述目标网页中的与被点击圈选的网页元素属于同一元素类型的网页元素，或所述被点击圈选的网页元素，确定为所述被圈选的网页元素。上述方案中，所述网页圈选响应单元，还用于在所述获取所述被圈选的网页元素对应的元素信息和页面信息之后，对所述目标网页中的网页元素移除所述网页圈选响应功能，以使得所述目标网页恢复网页浏览模式。本专利技术实施例提供了一种数据采集装置，所述装置包括：处理器、存储器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，通过所述处理器执行如上述任一项数据采集方法的步骤。本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被至少一个处理器执行时，导致所述至少一个处理器执行如上述任一项数据采集方法的步骤。本专利技术实施例提供一种数据采集方法及装置、存储介质，获取网页访问地址；在网页圈选设置模式下，根据所述网页访问地址，加载目标网页；所述目标网页预先设置有事件监听功能；在所述目标网页中建立网页圈选功能；当所述网页圈选功能被启动时，利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能；当所述目标网页中的网页元素被圈选时，利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，所述方法包括：获取网页访问地址；在网页圈选设置模式下，根据所述网页访问地址，加载目标网页；所述目标网页预先设置有事件监听功能；在所述目标网页中建立网页圈选功能；当所述网页圈选功能被启动时，利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能；当所述目标网页中的网页元素被圈选时，利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息。

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述方法包括：获取网页访问地址；在网页圈选设置模式下，根据所述网页访问地址，加载目标网页；所述目标网页预先设置有事件监听功能；在所述目标网页中建立网页圈选功能；当所述网页圈选功能被启动时，利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能；当所述目标网页中的网页元素被圈选时，利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息。2.根据权利要求1所述的方法，其特征在于，所述获取网页访问地址之前，所述方法还包括：在网页浏览模式下，对所述目标网页中的网页元素设置事件监听功能和网页点击响应功能，所述网页点击响应功能为对网页浏览模式下被点击的网页元素进行获取元素信息和页面信息的功能。3.根据权利要求1所述的方法，其特征在于，所述在所述目标网页中建立网页圈选功能，包括：利用加载状态检测功能，确定所述目标网页是否被完全加载；当所述目标网页被完全加载时，在所述目标网页中建立网页圈选功能。4.根据权利要求1所述的方法，其特征在于，所述在所述目标网页中建立网页圈选功能之后，所述利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能之前，所述方法还包括：当在所述目标网页中建立完成网页圈选功能时，设置所述网页圈选功能对应的圈选开关为可选状态，并显示所述圈选开关；当所述圈选开关被启动时，确定所述网页圈选功能被启动。5.根据权利要求1所述的方法，其特征在于，所述网页圈选响应功能包括滑动圈选响应功能和点击圈选响应功能。6.根据权利要求5所述的方法，其特征在于，在所述利用所述事件监听功能和所述网页圈选功能，对所述目标网页中的网页元素设置网页圈选响应功能之后，所述利用被圈选的网页元素的网页圈选响应功能，获取所述被圈选的网页元素对应的元素信息和页面信息之前，所述方法还包括：利用所述滑动圈选响应功能，检测...

【专利技术属性】
技术研发人员：陈亚军，李琳，吴耀华，郑斌戈，李小海，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京,11