利用多线程和优先队列获取多家电商大数据的方法及设备技术

本申请提供一种利用多线程和优先队列获取多家电商大数据的方法及计算设备。该方法包括：设置用于存储网店ID的队列，所述队列包括未执行常规队列、执行中常规队列、未执行优先队列、执行中优先队列；同时开启数量为N的多个第一线程；定时更新所述队列中的网店ID；利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据；在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的网店ID分别向所述电商平台请求不同网店的第一类数据。根据本申请的方案，通过不同队列的设置并结合多线程，可以实现优先获取新增网店数据，并同时提高数据获取效率。并同时提高数据获取效率。并同时提高数据获取效率。

【技术实现步骤摘要】
利用多线程和优先队列获取多家电商大数据的方法及设备


[0001]本申请涉及机器学习及商业大数据
，具体而言，涉及一种利用多线程和优先队列获取多家电商大数据的方法及计算设备。

技术介绍

[0002]随着网络计算技术的发展，电子商务活动中产生了大量的商业大数据。例如，与传统行业相比，电商在其生态价值链上会产生海量可获取的原始电商数据。这些数据的获取、加工、或者有效利用，可对企业经营活动提供帮助，或者对企业经营决策提供支持。
[0003]一些电商平台已经开放了数据接口。为了充分利用电商平台提供的数据，例如，利用电商大数据进行风险评级，需要开发一种高效获取电商大数据的技术方案，从而可以充分利用电商大数据为企业经营活动提供帮助或支持。
[0004]在所述
技术介绍
部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本申请旨在提供一种利用多线程和优先队列获取多家电商大数据的方法及计算设备，可以实现优先获取例如新增网店的数据，并同时提高数据获取效率。
[0006]本申请的其该用户特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请的一方面，提供一种利用多线程和优先队列获取多家电商大数据的方法，包括：设置用于存储网店ID的队列，所述队列包括未执行常规队列、执行中常规队列、未执行优先队列、执行中优先队列；同时开启数量为N的多个第一线程；定时更新所述队列中的网店ID；利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据；在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的网店ID分别向所述电商平台请求不同网店的第一类数据。
[0008]根据本申请的另一方面，提供一种计算设备，包括：处理器；存储器，所述存储器上存储有计算机程序；当所述处理器执行所述计算机程序时实现前述方法。
[0009]根据本申请的另一方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现前述的方法。
[0010]根据一些实施例，通过不同队列的设置并结合多线程获取数据，可以实现优先获取例如新增网店的数据，并同时提高数据获取效率。
[0011]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0012]通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。
[0013]图1示出本申请技术方案的一种应用场景的示意图。
[0014]图2示出根据本申请示例实施例的获取多家电商大数据的方法流程图。
[0015]图3示出根据实施例利用多个第一线程以线程安全的方式获取网店ID并从电商平台分别请求不同网店的第一类数据的操作流程图。
[0016]图4示出根据另一实施例利用多个第一线程以线程安全的方式获取网店ID并从电商平台分别请求不同网店的第一类数据的操作流程图。
[0017]图5示出根据示例实施例利用优先队列获取多家电商大数据的方法流程图。
[0018]图6示出根据示例实施例优先根据未执行优先队列中的网店ID完成向电商平台请求相应的电商数据的方法流程图。
[0019]图7示出根据示例实施例根据未执行常规队列中的网店ID向电商平台请求相应的电商数据的方法流程图。
[0020]图8示出根据示例实施例利用多线程和优先队列获取多家电商大数据的方法流程图。
[0021]图9示出根据本申请另一实施例的获取多家电商大数据的系统的示意图。
[0022]图10示出根据本申请示例实施例的计算设备的框图。
具体实施方式
[0023]现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
[0024]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
[0025]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0026]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0027]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包
括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0028]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以理解的是，本文所描述的实施例可以与其它实施例相结合。
[0029]电商的线上运营方式产生了大量存库的原始电商数据，一些电商平台开放了数据接口以供电商获取数据。但是，电商平台对同一用户的接口访问一般是有请求限制的，例如一秒内的请求不能超过预定值等。那么在获取众多电商的众多网店数据的情况下，需要设计一种高效的数据请求方式，以尽可能及时完成众多电商大数据的获取。此外，在有新增网店授权访问数据接口时，由于新授权网店有大量的历史数据，需要一种有效的特别处理方式。
[0030]为此，本申请实施例提出一种获取多家电商大数据的方法，通过多线程结合优先队列等方式，可高效从电商平台获取电商大数据。
[0031]下面参照实施例对本申请的技术方案进行详细说明。
[0032]图1示出本申请技术方案的一种应用场景的示意图。
[0033]参见图1，在电商系统中，电商价值链上产生的数据会沉淀在电商平台的数据库中。为了获取这些沉淀数据，可以通过电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用多线程和优先队列获取多家电商大数据的方法，其特征在于，包括：设置用于存储网店ID的队列，所述队列包括未执行常规队列、执行中常规队列、未执行优先队列、执行中优先队列；同时开启数量为N的多个第一线程；定时更新所述队列中的网店ID；利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据；在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的网店ID分别向所述电商平台请求不同网店的第一类数据。2.如权利要求1所述的方法，其特征在于，N个第一线程向所述电商平台请求数据的能力大于所述电商平台对第一类数据的请求限制。3.如权利要求2所述的方法，其特征在于，N
‑
1个第一线程向所述电商平台请求数据的能力小于所述电商平台对第一类数据的请求限制。4.如权利要求1所述的方法，其特征在于，利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据，包括利用每个线程重复执行以下操作：从所述未执行优先队列获取网店ID；将获取到的网店ID放入所述执行中优先队列；在根据获取到的网店ID完成向所述电商平台请求相应的第一类数据之后，将所述网店ID从所述执行中优先队列移除。5.如权利要求4所述的方法，其特征在于，在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的...

【专利技术属性】
技术研发人员：李洪世，徐博，
申请(专利权)人：深圳市致格数智科技有限公司，
类型：发明
国别省市：