基于流计算的业务数据处理方法、装置和计算机设备制造方法及图纸

本申请涉及数据处理技术领域，特别涉及一种基于流计算的业务数据处理方法、装置和计算机设备。方法包括：接收业务数据处理请求，业务数据处理请求中携带消息标识；查找消息标识对应的计算性能指标；根据计算性能指标建立多个消费者线程；在多个消费者线程中从消息队列中拉取待处理业务数据；根据流计算执行器对待处理业务数据进行数据处理。采用本方法能够提高数据处理的效率。

Business data processing method, device and computer equipment based on flow computing

【技术实现步骤摘要】
基于流计算的业务数据处理方法、装置和计算机设备
本申请涉及数据处理
，特别是涉及一种基于流计算的业务数据处理方法、装置和计算机设备。
技术介绍
随着移动互联网、物联网时代的到来，每个体都是互联网的连接载体，每个载体都会产生数据，因而在互联网应用中产生了大量数据，数据的价值需要通过大数据技术进行挖掘，大数据计算技术是海量数据分析不可或缺的技术，海量数据传输的消息中间件也存在多种，并且多种消息中间件都可以与流计算应用对接，从而达到海量数据实时计算的结果。但是有些消息中间件只具有消息推送的功能，无法控制消费端的数据处理速度，存在消费端消息积压或者消费端消息不足的情况，导致消息处理效率低下。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的方法、装置、计算机设备和存储介质。一种基于流计算的业务数据处理方法，方法包括：接收业务数据处理请求，业务数据处理请求中携带消息标识；查找消息标识对应的计算性能指标；根据计算性能指标建立多个消费者线程；r>在多个消费者线程本文档来自技高网...

【技术保护点】
1.一种基于流计算的业务数据处理方法，其特征在于，所述方法包括：/n接收业务数据处理请求，所述业务数据处理请求中携带消息标识；/n查找所述消息标识对应的计算性能指标；/n根据所述计算性能指标建立多个消费者线程；/n在多个所述消费者线程中从消息队列中拉取待处理业务数据；/n根据所述流计算执行器对所述待处理业务数据进行数据处理。/n

【技术特征摘要】
1.一种基于流计算的业务数据处理方法，其特征在于，所述方法包括：
接收业务数据处理请求，所述业务数据处理请求中携带消息标识；
查找所述消息标识对应的计算性能指标；
根据所述计算性能指标建立多个消费者线程；
在多个所述消费者线程中从消息队列中拉取待处理业务数据；
根据所述流计算执行器对所述待处理业务数据进行数据处理。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述消息标识对应的历史消息数据；
利用流计算执行器对所述历史消息数据进行数据处理，得到所述流计算执行器的计算性能指标；
将所述消息标识与所述计算性能指标进行关联绑定；
所述查找所述消息标识对应的计算性能指标，包括：
从所述关联绑定的数据库中查找所述消息标识对应的计算性能指标。


3.根据权利要求2所述的方法，其特征在于，所述根据所述计算性能指标建立消费者线程，包括：
根据所述计算性能指标确定消费者线程的线程数量，以及各所述消费者线程对应的预设的线程指标；
根据各预设的所述线程指标建立对应所述线程数量的消费者线程。


4.根据权利要求3所述的方法，其特征在于，所述根据各所述消费者线程从消息队列中拉取待处理业务数据，包括：
获取各所述消费者线程对应的预设的线程指标；
从各预设的所述线程指标中提取初始偏移量指标、数据拉取增量指标以及数据拉取频率指标；
根据所述初始偏移量指标定位所述待处理业务数据在所述消息队列中的初始位置；
从所述初始位置开始，按照所述数据拉取增量指标以及所述数据拉取频率指标从所述消息队列中拉取所述待处理业务数据。


5...

【专利技术属性】
技术研发人员：张德银，张军杰，刘丰，
申请(专利权)人：太平金融科技服务上海有限公司，
类型：发明
国别省市：上海;31