获取多家电商大数据的方法及计算设备技术

本申请提供一种获取多家电商大数据的方法及计算设备。该方法包括：同时开启数量为N的多个第一线程；利用所述多个第一线程从电商平台分别请求不同网店的第一类数据；将所述第一类数据存储于分布式文件系统；将所述文件系统中的所述第一类数据存储于分布式数据库系统，其中，N个第一线程向所述电商平台请求数据的能力大于所述电商平台对第一类数据的请求限制，且N

【技术实现步骤摘要】
获取多家电商大数据的方法及计算设备


[0001]本申请涉及机器学习及商业大数据
，具体而言，涉及一种获取多家电商大数据的方法及计算设备。

技术介绍

[0002]随着网络计算技术的发展，电子商务活动中产生了大量的商业大数据。例如，与传统行业相比，电商在其生态价值链上会产生海量可获取的原始电商数据。这些数据的获取、加工、或者有效利用，可对企业经营活动提供帮助，或者对企业经营决策提供支持。
[0003]一些电商平台已经开放了数据接口。但是，如何高效地从电商平台获得数据是一个值得注意的问题，特别是对于需要获取众多电商网店数据的数据分析服务型系统。
[0004]在所述
技术介绍
部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本申请旨在提供一种获取多家电商大数据的方法及计算设备，可以最大化利用电商平台提供的接口能力。
[0006]本申请的其该用户特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请的一方面，提供一种获取多家电商大数据的方法，包括：同时开启数量为N的多个第一线程；利用所述多个第一线程从电商平台分别请求不同网店的第一类数据；将所述第一类数据存储于分布式文件系统；将所述文件系统中的所述第一类数据存储于分布式数据库系统，其中，N个第一线程向所述电商平台请求数据的能力大于所述电商平台对第一类数据的请求限制，且N
‑
2个第一线程向所述电商平台请求数据的能力小于所述电商平台对第一类数据的请求限制。
[0008]根据本申请的另一方面，提供一种计算设备，包括：处理器；存储器，所述存储器上存储有计算机程序；当所述处理器执行所述计算机程序时实现前述方法。
[0009]根据本申请的另一方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现前述的方法。
[0010]根据一些实施例，通过控制线程的数量，可以最大化利用电商平台提供的接口能力。
[0011]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0012]通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。
[0013]图1示出本申请技术方案的一种应用场景的示意图。
[0014]图2示出根据本申请示例实施例的获取多家电商大数据的方法流程图。
[0015]图3示出根据实施例利用多个第一线程以线程安全的方式获取网店ID并从电商平台分别请求不同网店的第一类数据的操作流程图。
[0016]图4示出根据另一实施例利用多个第一线程以线程安全的方式获取网店ID并从电商平台分别请求不同网店的第一类数据的操作流程图。
[0017]图5示出根据示例实施例利用优先队列获取多家电商大数据的方法流程图。
[0018]图6示出根据示例实施例优先根据未执行优先队列中的网店ID完成向电商平台请求相应的电商数据的方法流程图。
[0019]图7示出根据示例实施例根据未执行常规队列中的网店ID向电商平台请求相应的电商数据的方法流程图。
[0020]图8示出根据示例实施例利用多线程和优先队列获取多家电商大数据的方法流程图。
[0021]图9示出根据本申请另一实施例的获取多家电商大数据的系统的示意图。
[0022]图10示出根据本申请示例实施例的计算设备的框图。
具体实施方式
[0023]现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
[0024]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
[0025]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0026]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0027]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0028]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以理解的是，本文所描述的实施例可以与其它实施例相结合。
[0029]电商的线上运营方式产生了大量存库的原始电商数据，一些电商平台开放了数据接口以供电商获取数据。但是，电商平台对同一用户的接口访问一般是有请求限制的，例如一秒内的请求不能超过预定值等。因此，需要设计一种高效的数据请求方式，从而在获取众多电商的众多网店数据的情况下，尽可能及时完成多家电商大数据的获取。
[0030]为此，本申请实施例提出一种获取多家电商大数据的方法，通过多线程控制等方式，可高效从电商平台获取电商大数据。
[0031]下面参照实施例对本申请的技术方案进行详细说明。
[0032]图1示出本申请技术方案的一种应用场景的示意图。
[0033]参见图1，在电商系统中，电商价值链上产生的数据会沉淀在电商平台的数据库中。为了获取这些沉淀数据，可以通过电商授权方式，通过电商平台的API接口将数据授权给根据本申请实施例的数据处理系统使用。此外，系统还可通过与电商业务的其他主要参与者(包括第三方支付、物流商、仓储服务商)进行以接口等形式的数据对接，实时获取用户多个维度(销售，库存，流量，政策性违规，物流，结算等)的原始电商数据，并可使用分布式技术手段进行存储和计算。
[0034]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种获取多家电商大数据的方法，其特征在于，包括：同时开启数量为N的多个第一线程；利用所述多个第一线程从电商平台分别请求不同网店的第一类数据；将所述第一类数据存储于分布式文件系统；将所述文件系统中的所述第一类数据存储于分布式数据库系统，其中，N个第一线程向所述电商平台请求数据的能力大于所述电商平台对第一类数据的请求限制，且N
‑
2个第一线程向所述电商平台请求数据的能力小于所述电商平台对第一类数据的请求限制。2.如权利要求1所述的方法，其特征在于，N
‑
1个第一线程向所述电商平台请求数据的能力小于所述电商平台对第一类数据的请求限制。3.如权利要求1所述的方法，其特征在于，还包括：监控所述多个第一线程收到的请求响应，从而动态调整第一线程的数量。4.如权利要求1所述的方法，其特征在于，所述多个第一线程来源于多个服务器。5.如权利要求1所述的方法，其特征在于，利用所述多个第一线程从电商平台分别请求不同网店的第一类数据，包括：每个第一线程获取第一分布式锁；获取到所述第一分布式锁的第一线程获取网店ID，并释放所述第一分布式锁；获取到网店ID的第一线程向所述电商平台请求相应的第一类数据。6.如权利要求5所述的方法，其特征在于，获取到所述第一分布式锁的第一线程获取网店ID，包括：所述第一线程从未执行队列获取网店ID；所述第一线程将所述网店ID放入执行中队列。7.如权利要求1所述的方法，其特征在于，利用所述多个第一线程从电商平台分别请求不同网店的第一类数据，包括：所述多个第一线程分...

【专利技术属性】
技术研发人员：陶莎，徐博，靳佳为，
申请(专利权)人：深圳市致格数智科技有限公司，
类型：发明
国别省市：