数据采集方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例公开了一种数据采集方法、装置、存储介质及电子设备，涉及计算机技术领域。其中，方法包括：获取身份认证信息和数据获取请求；解析所述数据获取请求获取目标地址，所述目标地址对应目标服务器；将所述身份认证信息发送至所述目标地址对应的目标服务器，以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接；通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据；存储所述第一目标数据。采用本申请实施例，可以采集目标服务器中的非公开内容，以及优化采集流程。以及优化采集流程。以及优化采集流程。

【技术实现步骤摘要】
数据采集方法、装置、存储介质及电子设备


[0001]本申请涉及计算机
，尤其涉及一种数据采集方法、装置、存储介质及电子设备。

技术介绍

[0002]现有技术中，对于目标服务器中公开内容的数据采集，一般通过具有采集功能的软件或硬件对目标服务器进行采集。例如，采集服务器自动从目标服务器中采集作为公开内容的网页数据以及将网页数据存储在采集服务器中。但该采集方法只能采集目标服务器中的公开内容，换而言之，目标服务器对采集服务器无任何限制时，采集服务器才能完成采集。而针对目标服务器中的非公开内容，现有技术中需要用户通过用户终端完成目标服务器的身份认证后，通过用户终端获取。当用户需要大量获取或长时间采集目标服务器中的非公开内容时，需要多次通过用户终端向目标服务器发送数据获取请求，甚至由于目标服务器的身份认证的时间有效性，用户需要多次通过目标服务器的身份认证并发送数据获取请求。

技术实现思路

[0003]本申请实施例提供了一种数据采集方法、装置、存储介质及电子设备，可以采集目标服务器中的非公开内容，以及优化采集流程。所述技术方案如下：
[0004]第一方面，本申请实施例提供了一种数据采集方法，所述方法包括：
[0005]获取身份认证信息和数据获取请求；
[0006]解析所述数据获取请求获取目标地址，所述目标地址对应目标服务器；
[0007]将所述身份认证信息发送至所述目标地址对应的目标服务器，以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接；
[0008]通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据；其中，所述数据获取请求对应第二目标数据，所述第一目标数据和所述第二目标数据不相同；
[0009]存储所述第一目标数据。
[0010]第二方面，本申请实施例提供了一种数据采集装置，所述装置包括：
[0011]获取请求模块，用于获取身份认证信息和数据获取请求；
[0012]解析地址模块，用于解析所述数据获取请求获取目标地址，所述目标地址对应目标服务器；
[0013]发送认证模块，用于将所述身份认证信息发送至所述目标地址对应的目标服务器，以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接；
[0014]获取数据模块，用于通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据；其中，所述数据获取请求对应第二目标数据，所述第一目标数据和所述第二目标数据不相
同；
[0015]存储数据模块，用于存储所述第一目标数据。
[0016]第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
[0017]第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
[0018]本申请一些实施例提供的技术方案带来的有益效果至少包括：
[0019]利用向目标服务器发送身份认证信息通过目标服务器的身份认证，以及与目标服务器建立通信连接，进一步基于数据采集请求获取目标服务器中作为非公开内容的第一目标数据，从而实现采集目标服务器中的非公开内容；以及本申请不完全依靠用户通过用户终端发送数据获取请求从而采集目标数据，而是利用身份认证信息通过了目标服务器的身份认证后，基于数据采集请求获取目标数据，该数据采集请求可以来自预先设置或来自用户终端，以及该数据采集请求可以设置为基于时间周期乃至基于任意触发条件向目标服务器发送，换而言之，本申请解决了数据采集装置只能基于用户终端发送的数据获取请求采集目标服务器中的目标数据的问题，提高了采集自由度，优化了采集流程。
附图说明
[0020]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的一种数据采集方法的架构示意图；
[0022]图2是本申请实施例提供的一种数据采集方法的流程示意图；
[0023]图3是本申请实施例提供的一种用户终端的界面示意图；
[0024]图4是本申请实施例提供的一种数据采集装置的结构示意图；
[0025]图5是本申请实施例提供的一种数据采集方法的流程示意图；
[0026]图6是本申请实施例提供的另一种数据采集装置的结构示意图；
[0027]图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0028]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选
地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0030]下面结合具体的实施例对本申请进行详细说明。
[0031]如图1所示，在一个实施例中，为本申请实施例提供的一种数据采集方法的架构示意图，该架构示意图包括：数据采集装置及用户终端的采集系统11(图中未示出)、目标服务器12。其中，采集系统11可以是设置了数据采集装置的用户终端11A，也可以是用户终端111B和作为独立电子设备的数据采集装置112B。
[0032]目标服务器12可以理解为一个服务器或多个服务器组成的服务器集群，目标服务器12用于通过设置的多个访问接口接收数据获取请求或数据采集请求，以及基于数据获取请求或数据采集请求的请求内容提供对应的数据或服务。上述多个服务器可以是多个物理的服务器，多个物理的服务器在硬件上是独立的；或多个服务器在多个虚拟的服务器，多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述方法包括：获取身份认证信息和数据获取请求；解析所述数据获取请求获取目标地址，所述目标地址对应目标服务器；将所述身份认证信息发送至所述目标地址对应的目标服务器，以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接；通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据；其中，所述数据获取请求对应第二目标数据，所述第一目标数据和所述第二目标数据不相同；存储所述第一目标数据。2.根据权利要求1所述的方法，其特征在于，所述获取电子设备发送的身份认证信息和数据获取请求之前，还包括：获取所述数据采集请求，所述数据采集请求中包括针对所述第一目标数据的采集请求。3.根据权利要求1所述的方法，其特征在于，所述获取身份认证信息和数据获取请求，包括：获取用户终端发送的身份认证信息和数据获取请求；所述通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据之后，所述存储所述第一目标数据之前，包括：通过所述通信连接获取所述数据获取请求对应的第二目标数据；所述存储所述第一目标数据之后，还包括：存储所述第二目标数据，以及将所述第二目标数据发送给所述用户终端。4.根据权利要求3所述的方法，其特征在于，所述存储所述第一目标数据之后，所述存储所述第二目标数据，以及将所述第二目标数据发送给所述目标服务器之前，还包括：基于预设的数据采集规则，获取所述第二目标数据中所述数据采集规则对应的目标采集字段；所述存储所述第二目标数据，以及将所述第二目标数据发送给所述用户终端，包括：存储所述第二目标数据中的目标采集字段，以及将所述第二目标数据发送给所述用户终端。5.根据权利要求4所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：王晓东，李瑞强，张巍，李妍，李明娜，金鹏，应智强，郭雪征，
申请(专利权)人：李瑞强，
类型：发明
国别省市：