令牌获取方法、数据采集系统、代理服务器和存储介质技术方案

本发明专利技术实施例涉及数据采集技术领域，公开了一种令牌获取方法、数据采集系统、代理服务器和存储介质。该方法应用于代理服务器，客户端和至少一目标服务器通过代理服务器通信，其中，客户端向目标服务器请求服务时目标服务器生成令牌，且通过代理服务器将令牌返回至客户端，该方法包括：解析得到目标服务器返回至客户端的令牌；将令牌发送至爬虫服务器，供爬虫服务器根据令牌从对应的目标服务器爬取数据。本发明专利技术实施方式通过代理服务器获取令牌，从而大大降低了令牌获取难度，进而可方便、有效地实现数据采集。

Token acquisition method, data acquisition system, proxy server and storage medium

【技术实现步骤摘要】
令牌获取方法、数据采集系统、代理服务器和存储介质
本专利技术涉及数据采集
，特别涉及一种令牌获取方法、数据采集系统、代理服务器和存储介质。
技术介绍
Token(令牌)是一种密钥，用于标识用户的身份，以实现客服端和服务端之间的通信，其是服务端生成的一串字符串，作为客户端请求服务的一个标识。当用户第一次登录后，服务器生成一个token并将此token返回给客户端，以后客户端只需携带token即可请求数据，无需再次携带用户名和密码，从而起到安全、保密作用。爬虫服务是一种重要的数据采集方式，随着大数据时代的到来，爬虫服务的应用也会越来越广泛，可以为企业等提供各种数据情报。现有爬虫方案一般是在服务器端，通过账户和密码，发出模拟登录请求，获取到token，然后通过该token去爬取相应的数据。专利技术人发现相关技术至少存在以下问题：有些特殊的token，无法通过账户密码模拟登录获取，比如爬取微信小程序里的一些公开数据时，由于其token是由微信客户端加密生成，且微信源码并不公开，难以了解其加密算法，而且加密一般需要用到密钥，故而要生成正确的token非常困难，进而大大增加了数据爬取难度。
技术实现思路
本专利技术实施方式的目的在于提供一种令牌获取方法、数据采集系统、代理服务器和存储介质，通过代理服务器获取令牌，从而大大降低了令牌获取难度，进而可方便、有效地实现数据采集。为解决上述技术问题，本专利技术的实施方式提供了一种令牌获取方法，应用于代理服务器，客户端和至少一目标服务器通过所述代理服务器通信，其中，所述客户端向所述目标服务器请求服务时所述目标服务器生成令牌，且通过所述代理服务器将所述令牌返回至所述客户端，所述方法包括：解析得到所述目标服务器返回至所述客户端的令牌；将所述令牌发送至爬虫服务器，供所述爬虫服务器根据所述令牌从对应的所述目标服务器爬取数据。本专利技术的实施方式还提供了一种数据采集系统，包括：客户端、代理服务器、爬虫服务器以及至少一目标服务器；所述客户端通过所述代理服务器与所述至少一目标服务器通信；所述客户端用于通过所述代理服务器向所述至少一目标服务器请求服务，所述目标服务器生成令牌，并通过所述代理服务器将所述令牌返回至所述客户端；所述代理服务器还用于执行如前所述的令牌获取方法；所述爬虫服务器用于根据所述令牌从对应的目标服务器爬取数据。本专利技术的实施方式还提供了一种代理服务器，包括：存储器和处理器，存储器存储计算机程序，处理器运行所述计算机程序以实现如前所述的令牌获取方法。本专利技术的实施方式还提供了一种存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行如前所述的令牌获取方法。本专利技术实施方式相对于现有技术而言，客户端通过代理服务器与目标服务器通信且客户端向目标服务器请求服务时，目标服务器生成令牌后将该令牌通过代理服务器返回至客户端，而代理服务器通过解析客户端和目标服务器之间的通信数据得到令牌，并将令牌发送至爬虫服务器，从而使得爬虫服务器能够通过令牌从对应的目标服务器爬取数据。因此，本专利技术实施方式通过利用代理服务器解析得到令牌从而实现数据爬取，从而避免了爬虫服务器直接通过模拟登陆方式获取令牌时可能存在的需要破解加密算法所带来的难度，进而使得数据爬取更易于实现。作为一个实施例，所述代理服务器通过预安装于所述客户端的预设代理协议解析得到所述令牌。作为一个实施例，所述客户端按照预设时间间隔向所述目标服务器请求服务；所述将所述令牌发送至爬虫服务器，具体包括：所述代理服务器将解析到的每个所述令牌发送至所述爬虫服务器。从而可及时更新令牌，使得爬虫服务器能够使用有效令牌爬取数据。作为一个实施例，预设时间间隔根据所述令牌的有效期确定。作为一个实施例，所述代理服务器通过预设接口将所述令牌发送至所述爬虫服务器。作为一个实施例，所述代理服务器为超文本传输安全协议HTTPS代理服务器。从而确保通信的安全性。作为一个实施例，所述目标服务器的数量大于一个；所述将所述令牌发送至爬虫服务器，具体包括：建立解析到的所述令牌和对应的目标服务器的映射关系，将所述映射关系和所述令牌一并发送至所述爬虫服务器，供所述爬虫服务器采用与所述目标服务器对应的令牌爬取数据。从而便于爬虫服务器采用与目标服务器对应的令牌爬取数据。附图说明图1是根据本专利技术数据采集系统的结构示意图；图2是根据本专利技术第一实施方式令牌获取方法的流程图；图3是根据本专利技术第二实施方式令牌获取方法的流程图。图4是根据本专利技术第三实施方式代理服务器的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本专利技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本专利技术所要求保护的技术方案。本专利技术的第一实施方式涉及一种令牌获取方法，应用于如图1所示的数据采集系统中的代理服务器200。该数据采集系统还包括客户端100、爬虫服务器400以及至少一目标服务器300。其中，客户端100和至少一目标服务器300通过代理服务器200通信，客户端100向目标服务器300请求服务时目标服务器生成令牌，且通过代理服务器200将该令牌返回至客户端100。本实施方式中，客户端100和爬虫服务器400既可以为独立的设备，或者也可以将两者的功能整合在一套设备上，本实施方式对此不作具体限制。为简洁起见，图1中仅示出了一个目标服务器300，在实际应用中，目标服务器300的数量还可以为两个或者两个以上。目标服务器包括但不限于微信服务器。本实施方式的令牌获取方法包括：解析得到目标服务器返回至客户端的令牌，将令牌发送至爬虫服务器，供爬虫服务器根据令牌从对应的目标服务器爬取数据。本实施方式中，客户端通过代理服务器与目标服务器通信且客户端向目标服务器请求服务时，目标服务器生成令牌后将该令牌通过代理服务器返回至客户端，而代理服务器通过解析客户端和目标服务器之间的通信数据得到令牌，并将令牌发送至爬虫服务器，从而使得爬虫服务器能够通过令牌从对应的目标服务器爬取数据。因此，本专利技术实施方式通过利用代理服务器解析得到令牌从而实现数据爬取，进而避免了爬虫服务器直接通过模拟登陆方式获取令牌时可能存在的需要破解加密算法所带来的难度，进而可方便、有效地获取令牌，使得数据爬取更易于实现。下面结合图1、2对本实施方式的令牌获取方法进行详细说明。该方法包括步骤202、步骤204。步骤202：解析得到目标服务器返回至客户端的令牌。本实施方式中，代理服务器可以为超文本传输安全协议(HyperTextTransferProtocoloverSecureSocketLayer，简称HTTPS)代理服务器，然不限于此。其中，代理本文档来自技高网...

【技术保护点】
1.一种令牌获取方法，其特征在于，应用于代理服务器，客户端和至少一目标服务器通过所述代理服务器通信，其中，所述客户端向所述目标服务器请求服务时所述目标服务器生成令牌，且通过所述代理服务器将所述令牌返回至所述客户端，所述方法包括：/n解析得到所述目标服务器返回至所述客户端的令牌；/n将所述令牌发送至爬虫服务器，供所述爬虫服务器根据所述令牌从对应的所述目标服务器爬取数据。/n

【技术特征摘要】
1.一种令牌获取方法，其特征在于，应用于代理服务器，客户端和至少一目标服务器通过所述代理服务器通信，其中，所述客户端向所述目标服务器请求服务时所述目标服务器生成令牌，且通过所述代理服务器将所述令牌返回至所述客户端，所述方法包括：
解析得到所述目标服务器返回至所述客户端的令牌；
将所述令牌发送至爬虫服务器，供所述爬虫服务器根据所述令牌从对应的所述目标服务器爬取数据。


2.根据权利要求1所述的令牌获取方法，其特征在于，所述代理服务器通过预安装于所述客户端的预设代理协议解析得到所述令牌。


3.根据权利要求1所述的令牌获取方法，其特征在于，所述客户端按照预设时间间隔向所述目标服务器请求服务；
所述将所述令牌发送至爬虫服务器，具体包括：
所述代理服务器将解析到的每个所述令牌发送至所述爬虫服务器。


4.根据权利要求3所述的令牌获取方法，其特征在于，预设时间间隔根据所述令牌的有效期确定。


5.根据权利要求1所述的令牌获取方法，其特征在于，所述代理服务器通过预设接口将所述令牌发送至所述爬虫服务器。


6.根据权利要求1所述的令牌获取方法，其特征在于，所述代理服务器为超文本传输安全协议HTTPS代...

【专利技术属性】
技术研发人员：陈国锋，梁大钊，胡郎平，
申请(专利权)人：深圳市小赢信息技术有限责任公司，
类型：发明
国别省市：广东;44