基于客户代理端的数据采集方法、装置、及计算机设备制造方法及图纸

本发明专利技术公开了基于客户代理端的数据采集方法、装置、计算机设备及存储介质。该方法包括若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息；根据所述数据采集任务请求生成对应的数据采集请求，获取数据采集请求对应的目标地址；根据所述数据采集请求对应的用户授权账号登录所述目标地址对应的目标网站；根据所述数据采集请求在所述目标网站对应采集网页数据，得到采集结果；将所述采集结果发送至所述服务器。本发明专利技术实施例实现了由有权限的客户端替代采集服务器进行数据采集后上传至采集服务器，避免了采集服务器的数据采集任务被目标网站对应的目标服务器进行拦截，确保了数据采集任务的有效进行。

Data collection method, device and computer equipment based on client agent

【技术实现步骤摘要】
基于客户代理端的数据采集方法、装置、及计算机设备
本专利技术涉及数据采集
，尤其涉及一种基于客户代理端的数据采集方法、装置、计算机设备及存储介质。
技术介绍
目前，数据采集一般是通过采集服务器的采集程序对目标服务器进行数据采集。例如，采集服务器中部署了数据采集工具，若完成了对数据采集工具的具体参数设置(即设置目标服务器的地址、采集目标字段、采集数据量等信息)，由数据采集工具自动从目标服务器采集数据。这种采集方式一般是目标服务器对采集服务器的采集权限无任何限制要求时才可实施，若目标服务器需对采集服务器进行身份验证时则无法成功完成数据采集任务。
技术实现思路
本专利技术实施例提供了一种基于客户代理端的数据采集方法、装置、计算机设备及存储介质，旨在解决现有技术中目标服务器需对采集服务器有身份验证要求时无法成功完成数据采集任务的问题。第一方面，本专利技术实施例提供了一种基于客户代理端的数据采集方法，其包括：若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息；根据所述数据采集任务请求生成对应的数据采集请求，获取数据采集请求对应的目标地址；根据所述数据采集请求对应的用户授权账号登录所述目标地址对应的目标网站；根据所述数据采集请求在所述目标网站对应采集网页数据，得到采集结果；以及将所述采集结果发送至所述服务器。第二方面，本专利技术实施例提供了一种基于客户代理端的数据采集装置，其包括：服务器连接单元，用于若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息；数据采集请求获取单元，用于根据所述数据采集任务请求生成对应的数据采集请求，获取数据采集请求对应的目标地址；目标网站登录单元，用于根据所述数据采集请求对应的用户授权账号登录所述目标地址对应的目标网站；数据采集单元，用于根据所述数据采集请求在所述目标网站对应采集网页数据，得到采集结果；以及结果发送单元，用于将所述采集结果发送至所述服务器。第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于客户代理端的数据采集方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于客户代理端的数据采集方法。本专利技术实施例提供了一种基于客户代理端的数据采集方法、装置、计算机设备及存储介质，包括若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息；根据所述数据采集任务请求生成对应的数据采集请求，获取数据采集请求对应的目标地址；根据所述数据采集请求对应的用户授权账号登录所述目标地址对应的目标网站；根据所述数据采集请求在所述目标网站对应采集网页数据，得到采集结果；将所述采集结果发送至所述服务器。本专利技术实施例实现了由有权限的客户端替代采集服务器进行数据采集后上传至采集服务器，避免了采集服务器的数据采集任务被目标网站对应的目标服务器进行拦截，确保了数据采集任务的有效进行。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于客户代理端的数据采集方法的应用场景示意图；图2为本专利技术实施例提供的基于客户代理端的数据采集方法的流程示意图；图3为本专利技术实施例提供的基于客户代理端的数据采集方法的子流程示意图；图4为本专利技术实施例提供的基于客户代理端的数据采集装置的示意性框图；图5为本专利技术实施例提供的基于客户代理端的数据采集装置的子单元示意性框图；图6为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1和图2，图1为本专利技术实施例提供的基于客户代理端的数据采集方法的应用场景示意图；图2为本专利技术实施例提供的基于客户代理端的数据采集方法的流程示意图，该基于客户代理端的数据采集方法应用于客户端中，该方法通过安装于客户端中的应用软件进行执行。其中，客户端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。如图2所示，该方法包括步骤S110～S150。S110、若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息号。在本实施例中，为了更清楚的理解本申请的技术方案，下面对所涉及的终端进行介绍。本申请是在客户端的角度描述技术方案。一是采集服务器，简记为服务器，用于产生数据采集任务请求并发送至客户端，在之后接收由客户端所对应采集的采集结果。二是客户端，用于根据服务器发送的数据采集任务请求在目标服务器中获取采集结果，在之后将采集结果发送至采集服务器。三是目标服务器，用于部署目标网站对应的数据，在接收到客户端发送的数据采取请求和用户授权账号且对用户授权账号验证成功后，目标网站中的数据可被客户端所采集。当服务器需通过客户端代理采集数据时，先是服务器向客户端发送数据采集任务请求，所发送的数据采集任务请求中至少包括服务器信息(例如包括服务器对应的采集服务器IP地址、采集服务器的秘钥信息等)、目标地址、数据采集任务信息及数据采集任务有效时间段等信息。而且在客户端事先也部署了采集代理程序(如数据采集工具，该数据采集工具与服务器中的数据采集工具可以是同一版本的采集工具)，此时若当客户端检测到服务器发送的数据采集任务请求时，可以先根据述数据采集任务请求获取对应的服务器信息。此时，可以根据服务器信息判断该服务器是否是有权限调用其对目标服务器进行本文档来自技高网...

【技术保护点】
1.一种基于客户代理端的数据采集方法，其特征在于，包括：/n若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息；/n根据所述数据采集任务请求生成对应的数据采集请求，获取数据采集请求对应的目标地址；/n根据所述数据采集请求对应的用户授权账号登录所述目标地址对应的目标网站；/n根据所述数据采集请求在所述目标网站对应采集网页数据，得到采集结果；以及/n将所述采集结果发送至所述服务器。/n

【技术特征摘要】
1.一种基于客户代理端的数据采集方法，其特征在于，包括：
若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息；
根据所述数据采集任务请求生成对应的数据采集请求，获取数据采集请求对应的目标地址；
根据所述数据采集请求对应的用户授权账号登录所述目标地址对应的目标网站；
根据所述数据采集请求在所述目标网站对应采集网页数据，得到采集结果；以及
将所述采集结果发送至所述服务器。


2.根据权利要求1所述的基于客户代理端的数据采集方法，其特征在于，所述若检测到服务器发送的数据采集任务请求，根据所述数据采集任务请求获取对应的服务器信息之后，还包括：
获取所述服务器信息中包括的秘钥信息；
根据所述秘钥信息获取对应的身份标识；
若所述身份标识与预先存储的服务器身份标识相同，与所述服务器成功建立连接。


3.根据权利要求1所述的基于客户代理端的数据采集方法，其特征在于，所述根据所述数据采集任务请求生成对应的数据采集请求，包括：
解析获取所述数据采集任务请求中的目标地址、数据采集任务信息及数据采集任务有效时间段；其中，所述采集任务信息包括数据采集目标字段、及目标字段划分信息；
根据所述目标地址、数据采集任务信息及数据采集任务有效时间段生成所述数据采集请求。


4.根据权利要求1所述的基于客户代理端的数据采集方法，其特征在于，所述根据所述数据采集请求对应的用户授权账号登录所述目标地址对应的目标网站，包括：
判断本地是否预先存储有用户授权账号；
若本地是预先存储有用户授权账号，将所述用户授权账号发送至所述目标地址对应的目标网站进行验证登录；
若所述用户授权账号通过验证，与所述目标地址对应的目标网站建立连接。


5.根据权利要求4所述的基于客户代理端的数据采集方法，其特征在于，所述判断本地是否预先存储有用户授权账号之后，还包括：
若本地未预先存储有用户授权...

【专利技术属性】
技术研发人员：冼东亮，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：广东;44