基于流计算的业务数据处理方法、装置和计算机设备制造方法及图纸

本申请涉及数据处理技术领域，特别涉及一种基于流计算的业务数据处理方法、装置和计算机设备。方法包括：接收业务数据处理请求，业务数据处理请求中携带消息标识；查找消息标识对应的计算性能指标；根据计算性能指标建立多个消费者线程；在多个消费者线程中从消息队列中拉取待处理业务数据；根据流计算执行器对待处理业务数据进行数据处理。采用本方法能够提高数据处理的效率。

Business data processing method, device and computer equipment based on flow computing

【技术实现步骤摘要】
基于流计算的业务数据处理方法、装置和计算机设备
本申请涉及数据处理
，特别是涉及一种基于流计算的业务数据处理方法、装置和计算机设备。
技术介绍
随着移动互联网、物联网时代的到来，每个体都是互联网的连接载体，每个载体都会产生数据，因而在互联网应用中产生了大量数据，数据的价值需要通过大数据技术进行挖掘，大数据计算技术是海量数据分析不可或缺的技术，海量数据传输的消息中间件也存在多种，并且多种消息中间件都可以与流计算应用对接，从而达到海量数据实时计算的结果。但是有些消息中间件只具有消息推送的功能，无法控制消费端的数据处理速度，存在消费端消息积压或者消费端消息不足的情况，导致消息处理效率低下。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的方法、装置、计算机设备和存储介质。一种基于流计算的业务数据处理方法，方法包括：接收业务数据处理请求，业务数据处理请求中携带消息标识；查找消息标识对应的计算性能指标；根据计算性能指标建立多个消费者线程；在多个消费者线程中从消息队列中拉取待处理业务数据；根据流计算执行器对待处理业务数据进行数据处理。在其中一个实施例中，方法还包括：获取消息标识对应的历史消息数据；利用流计算执行器对历史消息数据进行数据处理，得到流计算执行器的计算性能指标；将消息标识与计算性能指标进行关联绑定；查找消息标识对应的计算性能指标，包括：从关联绑定的数据库中查找消息标识对应的计算性能指标。在其中一个实施例中，根据计算性能指标建立消费者线程，包括：根据计算性能指标确定消费者线程的线程数量，以及各消费者线程对应的预设的线程指标；根据各预设的线程指标建立对应线程数量的消费者线程。在其中一个实施例中，根据各消费者线程从消息队列中拉取待处理业务数据，包括：获取各消费者线程对应的预设的线程指标；从各预设的线程指标中提取初始偏移量指标、数据拉取增量指标以及数据拉取频率指标；根据初始偏移量指标定位待处理业务数据在消息队列中的初始位置；从初始位置开始，按照数据拉取增量指标以及数据拉取频率指标从消息队列中拉取待处理业务数据。在其中一个实施例中，根据流计算执行器对待处理业务数据进行数据处理，包括：根据消费者线程将待处理业务数据推送至流计算执行器；利用流计算执行器对待处理业务数据进行分布式处理得到分布式数据；利用聚合线程对各分布式数据进行聚合处理得到聚合数据。在其中一个实施例中，利用聚合线程对各分布式数据进行聚合处理得到聚合数据之后，还包括：利用聚合数据对数据库进行更新；从更新后的数据库中的提取目标数据并进行实时显示。在其中一个实施例中，消息队列是RocketMQ，流计算执行器为SparkStreaming。一种基于流计算的业务数据处理装置，装置包括：请求接收模块，用于接收业务数据处理请求，业务数据处理请求中携带消息标识；性能指标查找模块，用于查找消息标识对应的计算性能指标；线程建立模块，用于根据计算性能指标建立多个消费者线程；数据拉取模块，用于在多个消费者线程中从消息队列中拉取待处理业务数据；数据处理模块，用于根据流计算执行器对待处理业务数据进行数据处理。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。上述基于流计算的业务数据处理方法、装置、计算机设备和存储介质，接收业务数据处理请求，业务数据处理请求中携带消息标识；查找消息标识对应的计算性能指标；进而能够根据不同类型主题消息对应的计算性能指标建立对应的消费者线程；然后根据各消费者线程从消息队列中拉取待处理的业务数据，实现了利用消费者线程主动从消息队列中拉取业务数据，并且消费者线程是根据计算性能指标进行建立的，使得消费者线程从消息队列中拉取业务数据的数据量正好满足流计算执行器的数据计算性能指标要求，不会存在数据积压或者数据不足的情况，提高了数据的处理效率。附图说明图1为一个实施例中提供的一种基于流计算的业务数据处理方法的应用场景图；图2为一个实施例中提供的一种基于流计算的业务数据处理方法的流程示意图；图3为一个实施例中提供的一种基于流计算的业务数据处理方法的模块示意图；图4为一个实施例中一种基于流计算的业务数据处理装置的结构框图；图5为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的基于流计算的业务数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104接收终端102发送的业务数据处理请求，业务数据处理请求中携带消息标识；查找消息标识对应的计算性能指标；根据计算性能指标建立多个消费者线程；在多个消费者线程中从消息队列中拉取待处理业务数据；根据流计算执行器对待处理业务数据进行数据处理。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，如图2所示，提供了一种基于流计算的业务数据处理方法，以该方法应用于图1中的服务器104为例进行说明，在其他实施例中，该方法也可以应用于终端，方法包括以下步骤：步骤210，接收业务数据处理请求，业务数据处理请求中携带消息标识。消息标识用于唯一标识消息的类型，具体地，服务器如业务系统可以预先与消费者终端约定进行数据交互的消息类型。如业务系统如生产者在发送消息数据之前需要创建消息的主题如消息Topic，消费者终端根据具体的需求订阅预设主题的消息Topic，并且只有消费者终端预先订阅了消息Topic，才能接收业务系统发送的关于该消息Topic的消息数据。具体地，服务器接收终端如消费者终端发送的业务数据处理请求，业务数据处理请求中携带消息标识，进而消费者终端可以从业务系统中获取与消息标识对应的待处理业务数据。步骤220，查找消息标识对应的计算性能指标。计算性能指标是表征流计算执行器计算能力的指标，如可包含计算速度等。流计算执行器对不同主题类型的消息数据的数据处理性能是不同的，故而首先需要获取流计算执行器对不同主题类型的消息数据的数据处理性能，然后再根据得到的数据处理性能建立对应的消费者线程。具体地，服务器可以预先获取流计算执行器对多种类型的消息数据的计算性能指标，然后将消息标识与计算性能指标进行关联存储，使得可以根据消息标识直接查询本文档来自技高网...

【技术保护点】
1.一种基于流计算的业务数据处理方法，其特征在于，所述方法包括：/n接收业务数据处理请求，所述业务数据处理请求中携带消息标识；/n查找所述消息标识对应的计算性能指标；/n根据所述计算性能指标建立多个消费者线程；/n在多个所述消费者线程中从消息队列中拉取待处理业务数据；/n根据所述流计算执行器对所述待处理业务数据进行数据处理。/n

【技术特征摘要】
1.一种基于流计算的业务数据处理方法，其特征在于，所述方法包括：
接收业务数据处理请求，所述业务数据处理请求中携带消息标识；
查找所述消息标识对应的计算性能指标；
根据所述计算性能指标建立多个消费者线程；
在多个所述消费者线程中从消息队列中拉取待处理业务数据；
根据所述流计算执行器对所述待处理业务数据进行数据处理。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述消息标识对应的历史消息数据；
利用流计算执行器对所述历史消息数据进行数据处理，得到所述流计算执行器的计算性能指标；
将所述消息标识与所述计算性能指标进行关联绑定；
所述查找所述消息标识对应的计算性能指标，包括：
从所述关联绑定的数据库中查找所述消息标识对应的计算性能指标。


3.根据权利要求2所述的方法，其特征在于，所述根据所述计算性能指标建立消费者线程，包括：
根据所述计算性能指标确定消费者线程的线程数量，以及各所述消费者线程对应的预设的线程指标；
根据各预设的所述线程指标建立对应所述线程数量的消费者线程。


4.根据权利要求3所述的方法，其特征在于，所述根据各所述消费者线程从消息队列中拉取待处理业务数据，包括：
获取各所述消费者线程对应的预设的线程指标；
从各预设的所述线程指标中提取初始偏移量指标、数据拉取增量指标以及数据拉取频率指标；
根据所述初始偏移量指标定位所述待处理业务数据在所述消息队列中的初始位置；
从所述初始位置开始，按照所述数据拉取增量指标以及所述数据拉取频率指标从所述消息队列中拉取所述待处理业务数据。


5...

【专利技术属性】
技术研发人员：张德银，张军杰，刘丰，
申请(专利权)人：太平金融科技服务上海有限公司，
类型：发明
国别省市：上海;31