业务数据分发处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种业务数据分发处理方法、装置、计算机设备和存储介质。所述方法包括：采用流式读取方式读取业务数据；根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据；对所述目标业务数据进行分发处理。采用本方法能够提高业务数据分发处理效率及实时性。

Business data distribution processing methods, devices, computer equipment and storage media

【技术实现步骤摘要】
业务数据分发处理方法、装置、计算机设备和存储介质
本申请涉及数据处理
，特别是涉及一种业务数据分发处理方法、装置、计算机设备和存储介质。
技术介绍
近年来，随着计算机和网络技术的快速发展，中国电子商务迅速崛起，电商产业的快速发展带来了巨大的物流运输和配送需求，因此，物流相关业务数据数量日趋庞大，经常遇到日均入库数量为千万级别大数据量业务数据处理的情况。如果仍然采用传统的批量处理模式对大批量业务数据集中进行查询、处理，且需要多次和数据库交互，因此业务数据处理效率和实时性较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高数据处理实时性的业务数据分发处理的方法、装置、计算机设备和存储介质。一种业务数据分发处理方法，所述方法包括：采用流式读取方式读取业务数据；根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据；对所述目标业务数据进行分发处理。在其中一个实施例中，采用流式读取方式读取业务数据，包括：在接收到流式读取请求时，采用流式读取方式读取业务数据。在其中一个实施例中，还包括：获取所述目标业务数据的处理状态；在所述目标业务数据的处理状态为未处理状态时，将未处理状态的目标业务数据放入消息队列；所述对所述目标业务数据进行分发处理，包括：对所述消息队列中所述处理状态为未处理状态的目标业务数据进行分发处理。在其中一个实施例中，还包括：获取第一业务数据数量，所述第一业务数据数量为所述消息队列中目标业务数据数量；在所述第一业务数据数量大于或等于预设数据引流量阈值时，停止采用流式读取方式读取业务数据。在其中一个实施例中，还包括：将已分发处理的目标业务数据的处理状态修改为已处理状态。在其中一个实施例中，对所述目标业务数据进行分发处理，包括：根据预设批次分发数量对所述目标业务数据进行分发处理。在其中一个实施例中，还包括：获取第二业务数据数量，所述第二业务数据数量为已分发处理的目标业务数据数量；在所述第二业务数据数量大于或等于预设数据处理流量阈值时，停止对所述目标业务数据进行分发处理。一种业务数据分发处理装置，所述装置包括：获取模块，用于流式读取业务数据；匹配模块，用于根据预设的维度配置信息从所述业务数据中获取所述维度配置信息匹配的目标业务数据；分发模块，用于根据预设规则对所述目标业务数据进行分发处理。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：采用流式读取方式读取业务数据；根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据；对所述目标业务数据进行分发处理。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采用流式读取方式读取业务数据；根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据；对所述目标业务数据进行分发处理。上述业务数据分发处理方法、装置、计算机设备和存储介质，主要有以下有益效果：针对日均数量庞大的业务数据采用了流式分发处理方法，业务数据的处理不必等到某一时刻再统一进行批处理，而是在业务数据实时入库时，服务器从实时数据库中采用流式读取方式读取业务数据；根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据；对所述目标业务数据进行分发处理。通过采用流式分发处理模式，服务器流式获取实时业务数据并进行实时分发处理，提高了业务数据的数据分发处理效率及实时性，下游的财务人员能够实时查看业务数据的处理数据。附图说明图1为一个实施例中业务数据分发处理方法的应用环境图；图2为一个实施例中业务数据分发处理方法的流程示意图；图3为一个实施例中业务数据去重步骤示意图；图4为一个实施例中业务数据控制业务数据引流量步骤示意图；图5为一个实施例中业务数据控制业务数据分发处理数量步骤示意图；图6为一个实施例中业务数据分发处理过程示意图；图7为一个实施例中业务数据分发处理装置的结构框图；图8为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的业务数据分发处理方法，可以应用于如图1所示的应用环境中。其中，终端102和服务器104通过网络进行通信，服务器104与集群106通过有线方式或者无线方式进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，集群106用于提供并行处理资源，其数量可以是一个或者多个，集群106一般包括多台计算机设备(机器)。本申请提供的业务数据分发处理方法中的资源可以指的是多集群中的某个集群，或者一个集群中的某台机器。在一个实施例中，如图2所示，提供了一种业务数据分发处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：步骤201，采用流式读取方式读取业务数据。其中，步骤201中的业务数据一般存储于实时数据库中，并且，实时业务数据不断流入实时数据库中。具体地，服务器连接实时数据库，接收流式任务指令，设置数据引流量，采用流式读取方式读取实时数据库中的业务数据。服务器可以不断地从实时数据库中流式地读取实时业务数据并进行分发处理，直到服务器接到停止读取的指令。流式读取业务数据的方式，可以达到对业务数据进行实时处理的目的。步骤202，根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据。其中，步骤202中的维度配置信息指的是目标业务数据中包含的维度信息，根据预先设置好的维度信息可以在实时业务数据库中获取满足维度信息匹配条件的目标业务数据。具体地，服务器通过对预设的维度配置信息进行匹配分析，获取可以满足匹配条件的目标业务数据，实现了对需要处理的目标业务数据的筛选，过滤不需处理的业务数据，减轻服务器的处理负担。步骤203，对所述目标业务数据进行分发处理。其中，步骤203中的目标业务数据是指存储在消息队列中的目标业务数据。服务器可以获取预先设定的业务数据分发规则，将业务数据分发到对应的目标处理模块进行处理，例如，服务器可以根据业务数据的业务类型和业务区域的不同来进行业务数据的分发，并找到相应的处理方法对已分发的目标业务数据进行下一步处理。上述业务数据分发处理方法中，服务器由于采用了流式的方式读取实时业务数据并对流式读取的业务数本文档来自技高网...

【技术保护点】
1.一种业务数据分发处理方法，所述方法包括：/n采用流式读取方式读取业务数据；/n根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据；/n对所述目标业务数据进行分发处理。/n

【技术特征摘要】
1.一种业务数据分发处理方法，所述方法包括：
采用流式读取方式读取业务数据；
根据预设的维度配置信息从所述业务数据中获取与所述维度配置信息匹配的目标业务数据；
对所述目标业务数据进行分发处理。


2.根据权利要求1所述的方法，其特征在于，所述采用流式读取方式读取业务数据，包括：
在接收到流式读取请求时，采用流式读取方式读取业务数据。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标业务数据的处理状态；
在所述目标业务数据的处理状态为未处理状态时，将未处理状态的目标业务数据放入消息队列；
所述对所述目标业务数据进行分发处理，包括：
对所述消息队列中所述处理状态为未处理状态的目标业务数据进行分发处理。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取第一业务数据数量，所述第一业务数据数量为所述消息队列中目标业务数据数量；
在所述第一业务数据数量大于或等于预设数据引流量阈值时，停止采用流式读取方式读取业务数据。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将已分发处理的目标业务数据的...

【专利技术属性】
技术研发人员：薛俊，徐泽夏琛，王旋，张永，燕斌祺，
申请(专利权)人：江苏苏宁物流有限公司，
类型：发明
国别省市：江苏;32