业务数据的处理系统技术方案

本申请提供一种业务数据的处理系统，包括：至少一个接收设备、至少一个处理设备以及缓存数据库，接收设备接收第一业务数据，并将第一业务数据存储至缓存数据库，以及向处理设备发送第一业务数据，处理设备对接收到的第一业务数据进行处理，并在缓存数据库中删除第一业务数据；这样，接收设备可以在缓存数据库中获取未处理的第二业务数据，并向处理设备发送第二业务数据。从而，实现了利用缓存数据库来避免业务数据在转发过程中发生丢失，从而保证业务数据的完整性。

【技术实现步骤摘要】
业务数据的处理系统
本申请涉及数据处理
，尤其涉及一种业务数据的处理系统。
技术介绍
通常，业务数据的处理系统需要从业务数据的生产系统接收业务数据，并对接收到的业务数据进行实时地加工处理。例如，需要在每秒内将接收到的业务数据处理完成。而实际应用中，一些应用场景的业务数据并发性较高，因此，业务数据的处理系统每秒内接收到的数据量很大。当业务数据的加工处理逻辑较为复杂时，业务数据的处理系统处理每个业务数据的耗时较长，因此，经常会出现接收到的业务数据无法及时加工处理完成的情况，使得业务数据的实时性无法保证。为了保证业务数据的实时性，可以采用分层处理的方式。具体的，将业务数据的处理系统分为两层。第一层包括至少一个接收设备，第二层包括至少一个处理设备。其中，第一层中的接收设备负责接收业务数据并将业务数据转发到第二层。第二层中的处理设备用于接收转发过来的业务数据，并对业务数据进行加工处理。然而，上述的转发过程可能会丢失业务数据，无法保证业务数据的完整性。
技术实现思路
本申请提供一种业务数据的处理系统，用以同时保证业务数据的实时性和完整性。本申请提供的业务数据的处理系统，包括：至少一个接收设备、至少一个处理设备以及缓存数据库，其中，所述接收设备用于，接收第一业务数据，将所述第一业务数据存储至所述缓存数据库，以及向所述处理设备发送所述第一业务数据；所述处理设备用于，对接收到的所述第一业务数据进行处理，并在所述缓存数据库中删除所述第一业务数据；所述接收设备还用于，在所述缓存数据库中获取未处理的第二业务数据，并向所述处理设备发送所述第二业务数据，所述第二业务数据在所述缓存数据库中的存储时长大于或等于预设时长。一种可能的实现方式中，在所述缓存数据库中获取未处理的第二业务数据，包括：确定所述缓存数据库中各业务数据的存储时刻；根据所述缓存数据库中各业务数据的存储时刻和当前时刻，确定所述缓存数据库中各业务数据的存储时长；根据所述缓存数据库中各业务数据的存储时长，在所述缓存数据库中获取未处理的第二业务数据。一种可能的实现方式中，所述系统还包括负载均衡设备；向所述处理设备发送所述第一业务数据，包括：向所述负载均衡设备发送所述第一业务数据；所述负载均衡设备用于，接收所述接收设备发送的所述第一业务数据，根据所述至少一个处理设备中各处理设备的负载，在所述至少一个处理设备中确定目标处理设备，并向所述目标处理设备发送所述第一业务数据。一种可能的实现方式中，向所述负载均衡设备发送所述第一业务数据，包括：在连接池中确定目标连接，所述连接池中包括多个预先建立的连接，所述连接用于连接至所述负载均衡设备；通过所述目标连接向所述负载均衡设备发送所述第一业务数据。一种可能的实现方式中，在连接池中确定目标连接，包括：确定所述连接池中各连接的连接状态，所述连接状态为占用状态或者非占用状态；将所述连接池中非占用状态的一个连接确定为所述目标连接。一种可能的实现方式中，所述接收设备还用于：在连接池中确定目标连接之后，将所述目标连接的状态设置为占用状态。一种可能的实现方式中，所述接收设备还用于：在通过所述目标连接向所述负载均衡设备发送所述第一业务数据之后，将所述目标连接的状态设置为非占用状态。一种可能的实现方式中，所述连接池中的连接为无确认的超文本传输协议HTTP连接。一种可能的实现方式中，向所述目标处理设备发送所述第一业务数据，包括：根据所述第一业务数据的业务类型，在所述目标处理设备的多个处理接口中确定目标处理接口；向所述目标处理设备的所述目标处理接口发送所述第一业务数据。一种可能的实现方式中，所述系统还包括消息总线；接收第一业务数据，包括：从所述消息总线接收待处理消息，所述待处理消息中包括多个业务数据；对所述待处理消息进行解析处理，得到多个业务数据；在所述多个业务数据中获取所述第一业务数据。本申请提供的业务数据的处理系统，包括：至少一个接收设备、至少一个处理设备以及缓存数据库，接收设备接收第一业务数据，并将第一业务数据存储至缓存数据库，以及向处理设备发送第一业务数据，处理设备对接收到的第一业务数据进行处理，并在缓存数据库中删除第一业务数据；这样，接收设备可以在缓存数据库中获取未处理的第二业务数据，并向处理设备发送第二业务数据。这样，实现了利用缓存数据库来避免业务数据在转发过程中发生丢失，从而保证业务数据的完整性。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种系统架构的示意图；图2为本申请实施例提供的一种业务数据的处理系统的示意图；图3为本申请实施例提供的另一种业务数据的处理系统的示意图；图4为本申请实施例提供的又一种业务数据的处理系统的示意图；图5为本申请实施例提供的一种业务数据的处理过程的示意图；图6为本申请实施例提供的另一种业务数据的处理过程的示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。首先，对本申请实施例中涉及的概念或者术语进行解释。远程字典服务(RemoteDictionaryServer，Redis)数据库：是一个键值对(key-value)存储系统。它是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的应用程序接口(ApplicationProgrammingInterface，API)。它通常被称为数据结构服务器，因为值(value)可以是字符串(String),哈希(Hash),列表(list),集合(sets)和有序集合(sortedsets)等类型。其性能极高，Redis能读的速度是110000次/s,写的速度是81000次/s。Kafka：本文档来自技高网...

【技术保护点】
1.一种业务数据的处理系统，其特征在于，包括：至少一个接收设备、至少一个处理设备以及缓存数据库，其中，/n所述接收设备用于，接收第一业务数据，将所述第一业务数据存储至所述缓存数据库，以及向所述处理设备发送所述第一业务数据；/n所述处理设备用于，对接收到的所述第一业务数据进行处理，并在所述缓存数据库中删除所述第一业务数据；/n所述接收设备还用于，在所述缓存数据库中获取未处理的第二业务数据，并向所述处理设备发送所述第二业务数据，所述第二业务数据在所述缓存数据库中的存储时长大于或等于预设时长。/n

【技术特征摘要】
1.一种业务数据的处理系统，其特征在于，包括：至少一个接收设备、至少一个处理设备以及缓存数据库，其中，
所述接收设备用于，接收第一业务数据，将所述第一业务数据存储至所述缓存数据库，以及向所述处理设备发送所述第一业务数据；
所述处理设备用于，对接收到的所述第一业务数据进行处理，并在所述缓存数据库中删除所述第一业务数据；
所述接收设备还用于，在所述缓存数据库中获取未处理的第二业务数据，并向所述处理设备发送所述第二业务数据，所述第二业务数据在所述缓存数据库中的存储时长大于或等于预设时长。


2.根据权利要求1所述的系统，其特征在于，在所述缓存数据库中获取未处理的第二业务数据，包括：
确定所述缓存数据库中各业务数据的存储时刻；
根据所述缓存数据库中各业务数据的存储时刻和当前时刻，确定所述缓存数据库中各业务数据的存储时长；
根据所述缓存数据库中各业务数据的存储时长，在所述缓存数据库中获取未处理的第二业务数据。


3.根据权利要求1或2所述的系统，其特征在于，所述系统还包括负载均衡设备；向所述处理设备发送所述第一业务数据，包括：
向所述负载均衡设备发送所述第一业务数据；
所述负载均衡设备用于，接收所述接收设备发送的所述第一业务数据，根据所述至少一个处理设备中各处理设备的负载，在所述至少一个处理设备中确定目标处理设备，并向所述目标处理设备发送所述第一业务数据。


4.根据权利要求3所述的系统，其特征在于，向所述负载均衡设备发送所述第一业务数据，包括：
在连接池中确定目标连接，所述连接池中包括多个...

【专利技术属性】
技术研发人员：郑国书，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京;11