基于高并发分布式的返利数据采集方法及装置制造方法及图纸

本发明专利技术涉及数据处理技术领域，公开了一种基于高并发分布式的返利数据采集方法及装置，包括：拉取报单数据至返利服务组件；通过分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库落库；在所述报单数据落库成功之后，再次通过所述分发器组件将所述返利服务组件中的所述报单数据多线程分发至计算引擎组件；所述计算引擎组件对所述报单数据进行分布式计算，并将计算出的返利结果发送至所述PG数据库落库。本申请能够解决在月初计算订单较多时，产生计算超时所造成的风险较大的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
基于高并发分布式的返利数据采集方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种基于高并发分布式的返利数据采集方法及装置。

技术介绍

[0002]返利可以是指每月月初计算的各类服务费，即通过订单及产品规则，计算相应地、需要对客户支付或收取的服务费。
[0003]原有功能通过定时任务每月月初进行跑批批量定时任务，通过后台服务计算返利数据。计算任务的逻辑一次完成，整体花费时间较长，所有的服务费订单需要等待最后一笔计算完成后才能操作后续任务，无法重新计算，计算后打包服务费，后续进行统一支付。
[0004]目前，随着订单数量及服务费类型的扩展及特性规则计算的变更，所需要维护的工作量大大增加，同时无法扩展。在月初的计算订单较多时，会产生计算超时，影响时效性，需要人工介入维护数据，风险较大等问题。这容易给用户造成较差的体验，对于后台团队开发整体工作效率难以提升，运营成本居高不下，客户满意度也受到了影响。

技术实现思路

[0005]本专利技术提供一种基于高并发分布式的返利数据采集方法及装置，以解决在月初计算订单较多时，产生计算超时所造成的风险较大的技术问题。
[0006]第一方面，提供了一种基于高并发分布式的返利数据采集方法，包括：
[0007]拉取报单数据至返利服务组件；
[0008]通过分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库落库；
[0009]在所述报单数据落库成功之后，再次通过所述分发器组件将所述返利服务组件中的所述报单数据多线程分发至计算引擎组件；
[0010]所述计算引擎组件对所述报单数据进行分布式计算，并将计算出的返利结果发送至所述PG数据库落库。
[0011]第二方面，提供了一种基于高并发分布式的返利数据采集装置，包括：
[0012]数据拉取模块，用于拉取报单数据至返利服务组件；
[0013]首次分发模块，用于通过分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库落库；
[0014]再次分发模块，用于在所述报单数据落库成功之后，再次通过所述分发器组件将所述返利服务组件中的所述报单数据多线程分发至计算引擎组件；
[0015]计算模块，用于通过所述计算引擎组件对所述报单数据进行分布式计算，并将计算出的返利结果发送至所述PG数据库落库。
[0016]第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于高并发分布式的返
利数据采集方法的步骤。
[0017]第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于高并发分布式的返利数据采集方法的步骤。
[0018]上述基于高并发分布式的返利数据采集方法及装置所实现的方案中，首先拉取报单数据至返利服务组件，然后通过分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库落库，其次在所述报单数据落库成功之后，再次通过所述分发器组件将所述返利服务组件中的所述报单数据多线程分发至计算引擎组件，最后所述计算引擎组件对所述报单数据进行分布式计算，并将计算出的返利结果发送至所述PG数据库落库。在本专利技术中，针对月初计算订单较多时，产生计算超时所造成的风险较大的技术问题，先通过分发器组件将返利服务组件中的报单数据多线程分发至PG数据库落库存储，以便于后台人员能够直接从PG数据库中获取报单数据，不必实时去业务系统拿取所述保单数据；在报单数据落库成功之后，再次通过分发器组件将返利服务组件中的报单数据多线程分发至计算引擎组件，通过所述计算引擎组件对所述报单数据进行分布式计算，本申请的多线程分发和分布式计算方式，达到了即便计算订单较多也不会造成计算超时的计算效果；能够将计算出的返利结果发送至PG数据库落库，使得所述PG数据库内存储有报单数据以及与其对应的返利结果，以便于从PG数据库中直接获取报单数据和与其对应的返利结果，对返利信息进行查看。
附图说明
[0019]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术一实施例中基于高并发分布式的返利数据采集方法的一应用环境示意图；
[0021]图2是本专利技术一实施例中基于高并发分布式的返利数据采集方法的一流程示意图；
[0022]图3是图1中步骤S200的一具体实施方式流程示意图；
[0023]图4是本专利技术一实施例中基于高并发分布式的返利数据采集方法的总体流程示意图；
[0024]图5本专利技术一实施例中基于高并发分布式的返利数据采集方法的具体流程示意图；
[0025]图6是本专利技术一实施例中基于高并发分布式的返利数据采集装置的一结构示意图；
[0026]图7是本专利技术一实施例中计算机设备的一结构示意图；
[0027]图8是本专利技术一实施例中计算机设备的另一结构示意图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]本专利技术实施例提供的基于高并发分布式的返利数据采集方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。服务端可以通过客户端拉取报单数据至返利服务组件；通过分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库落库；在所述报单数据落库成功之后，再次通过所述分发器组件将所述返利服务组件中的所述报单数据多线程分发至计算引擎组件；所述计算引擎组件对所述报单数据进行分布式计算，并将计算出的返利结果发送至所述PG数据库落库；服务端将PG数据库中的返利结果发送至客户端显示；其中，PG数据库即为PostgreSQL，是一种特性非常齐全的自由软件的对象
‑
关系型数据库管理系统。在本专利技术中，针对月初计算订单较多时，产生计算超时所造成的风险较大的技术问题，先通过分发器组件将返利服务组件中的报单数据多线程分发至PG数据库落库，在报单数据落库成功之后，再次通过分发器组件将返利服务组件中的报单数据多线程分发至计算引擎组件，通过所述计算引擎组件对所述报单数据进行分布式计算；达到了即便计算订单较多也不会造成计算超时的计算效果。其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本专利技术进行详细的描述。
[0030]请参阅图2
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于高并发分布式的返利数据采集方法，其特征在于，包括以下步骤：拉取报单数据至返利服务组件；通过分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库落库；在所述报单数据落库成功之后，再次通过所述分发器组件将所述返利服务组件中的所述报单数据多线程分发至计算引擎组件；所述计算引擎组件对所述报单数据进行分布式计算，并将计算出的返利结果发送至所述PG数据库落库。2.根据权利要求1所述的返利数据采集方法，其特征在于，还包括：所述PG数据库将所述返利结果发送至前端设备。3.根据权利要求2所述的返利数据采集方法，其特征在于，在所述拉取报单数据至返利服务组件之前，还包括：通过所述前端设备将所述报单数据输入核心数据库。4.根据权利要求3所述的返利数据采集方法，其特征在于，所述拉取报单数据至返利服务组件，包括：在所述报单数据符合预设的规则启用条件时，通过kafka组件从所述核心数据库中拉取所述报单数据至所述返利服务组件。5.根据权利要求1所述的返利数据采集方法，其特征在于，所述通过分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库落库，包括：通过所述分发器组件将所述返利服务组件中的所述报单数据多线程分发至PG数据库；在所述PG数据库中，查询所述报单数据是否命中规则订单；在所述报单数据命中所述规则订单时，返回数据至所述返利服务组件，所述报单数据落库成功。6.根据权利要求1所...

【专利技术属性】
技术研发人员：马超军，
申请(专利权)人：平安国际融资租赁有限公司，
类型：发明
国别省市：