一种联机小批量数据处理方法及系统技术方案

本发明专利技术涉及计算机信息系统中的数据处理领域，特别涉及一种联机小批量数据处理方法及系统。其中方法包括根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤；将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。通过上述实施例中的方法及系统，提高联机事务的处理速度，批量业务处理装置根据等待时间、优先级别对各个事务进行智能评分，按分数高低进行排队，确保紧急的事务最先完成。

【技术实现步骤摘要】
一种联机小批量数据处理方法及系统
本专利技术涉及计算机信息系统中的数据处理领域，特别涉及一种联机小批量数据处理方法及系统。
技术介绍
一般情况下，联机事务处理均要求保持事务的原子特性，也就是说一个原子事务必须在一个进程下完成，不能再分拆到多个进程。所以一个完整的交易，从前台到后台都放在一个事务中完成，这样做的好处是确保其中一个环节失败时则整笔业务失败，不会出现部分成功部分失败的中间状态，坏处是所有逻辑均放在一个进程完成，而该进程需要做大量的逻辑运算、需要大量的数据库访问及更新动作、需要进行大量的I/o操作，整个事务将会变得十分冗长，系统处理的效率也会比较低下。虽然银行主机联机事务处理中间件支持较高的并发数，当实际发生的瞬时交易量远高于系统并发数上限时，部分进程需要在排队序列等待，当进程处理时间比较长时，排队的事务越来越多，会导致部分进程被强制关掉，更严重的情况下会导致联机事务处理系统宕机，增加了系统的运行风险。例如随着银行外汇相关业务例如账户原油等产品的推出，交易量亦呈爆发性增长，处理逻辑也日趋复杂，银行业界现在的联机一条龙处理方式已经无法满足需求。 针对以上问题，如何提高交易处理的效率，提高主机系统运行的性能和稳定性，是目前银行主机运作和维护工作中需要解决的一个重要问题。目前系统迫切需要一种机制，在并发事务不断增加的情况下，主机系统能够提高交易的处理速度，避免在联机事务处理系统中出现大量的进程排队，同时又能保证交易处理的逻辑正确性。
技术实现思路
为了解决现有技术中主机系统工作容量有限，不能及时反馈用户业务交易结果的问题，提出了一种联机小批量数据处理方法及系统，可以及时向用户反馈业务交易结果，并且提高了联机业务处理服务器的效率。 本专利技术实施例提供了一种联机小批量数据处理方法，包括: 根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤； 将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。 根据本专利技术实施例所述的一种联机小批量数据处理方法的一个进一步的方面，所述待处理业务的特征包括，业务代码。 根据本专利技术实施例所述的一种联机小批量数据处理方法的再一个进一步的方面，所述联机原子步骤包括待处理业务中需要实时处理的步骤，所述批量原子步骤包括待处理业务中非实时处理的步骤。 根据本专利技术实施例所述的一种联机小批量数据处理方法的另一个进一步的方面，将联机处理的联机原子步骤发送给联机业务处理装置进行处理进一步包括，将所述待处理业务的处理结果显示给用户。 根据本专利技术实施例所述的一种联机小批量数据处理方法的另一个进一步的方面，将批量处理的批量原子步骤发送给批量业务处理装置进行处理进一步包括，在后台待处理缓冲池的队列中加入一个节点，并将所述批量原子步骤存储于该节点中。 根据本专利技术实施例所述的一种联机小批量数据处理方法的另一个进一步的方面，根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。 本专利技术实施例还提供了一种联机小批量数据处理系统，包括: 流程控制装置，用于根据待处理业务的特征，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置； 所述联机业务处理装置，用于处理所述联机原子步骤； 所述批量业务处理装置，用于处理所述批量原子步骤。 根据本专利技术实施例所述一种联机小批量数据处理系统的一个进一步的方面，所述流程控制装置进一步包括，业务定义单元，流程定义单元，数据存储单元，数据接收单元，流程判断单元，数据返回单元； 所述业务定义单元，用于对业务进行定义； 所述流程定义单元，用于对所述业务的步骤进行定义； 数据存储单元，用于存储所述业务定义单元和流程定义单元处理后的数据； 数据接收单元，用于接收待处理业务的特征； 流程判断单元，用于根据所述待处理业务特征和数据存储单元中的数据，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且由所述数据返回单元将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置。 根据本专利技术实施例所述一种联机小批量数据处理系统的再一个进一步的方面，所述联机业务处理装置进一步包括，业务接收单元，业务步骤处理单元，业务数据返回单元； 所述业务接收单元，用于接收用户输入的待处理业务信息，获得所述待处理业务的特征； 业务步骤处理单元，用于处理所述联机原子步骤； 业务数据返回单元，用于将联机原子步骤的处理结果反馈给用户端。 根据本专利技术实施例所述一种联机小批量数据处理系统的另一个进一步的方面，还包括后台待处理缓冲池，所述流程控制装置将批量原子步骤发送给所述后台待处理缓冲池，所述后台待处理缓冲池在队列中加入一个节点，并将所述批量原子步骤存储于该节点中。 根据本专利技术实施例所述一种联机小批量数据处理系统的另一个进一步的方面，所述后台待处理缓冲池还根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。 根据本专利技术实施例所述一种联机小批量数据处理系统的另一个进一步的方面，所述批量业务处理装置进一步包括，业务步骤处理单元和心跳监控单元， 所述业务步骤处理单元，用于处理批量原子步骤； 所述心跳监控单元用于监控所述批量业务处理装置是否正常运行，如果异常或终止，则发出报警。 通过上述实施例中的方法及系统，提高联机事务的处理速度，批量业务处理装置根据等待时间、优先级别对各个事务进行智能评分，按分数高低进行排队，确保紧急的事务最先完成。 【附图说明】 为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中: 图1所示为本专利技术实施例一种联机小批量数据处理方法的流程图； 图2所示为本专利技术实施例一种联机小批量数据处理系统的结构示意图； 图3所示为本专利技术实施例流程控制装置的结构示意图； 图4所示为本专利技术实施例联机业务处理装置的结构示意图； 图5所示为本专利技术实施例批量业务处理装置的结构示意图； 图6所示为本专利技术实施例一种联机小批量数据处理方法的整体流程图； 图7所示为本专利技术实施例原油业务的处理方法流程图。 【具体实施方式】 为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。 如图1所示为本专利技术实施例一种联机小批量数据处理方法的流程图。 包括步骤101，根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤。 步骤102，将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。 作为本专利技术的一个实施例，所述待处理业务的特征包括，业务代码或者业务名称、业务唯一标示符等。 作为本专利技术的一个实施例，所述联机原子本文档来自技高网...

【技术保护点】
一种联机小批量数据处理方法，其特征在于包括：根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤；将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。

【技术特征摘要】
1.一种联机小批量数据处理方法，其特征在于包括: 根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤； 将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。2.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，所述待处理业务的特征包括，业务代码。3.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，所述联机原子步骤包括待处理业务中需要实时处理的步骤，所述批量原子步骤包括待处理业务中非实时处理的步骤。4.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，将联机处理的联机原子步骤发送给联机业务处理装置进行处理进一步包括，将所述待处理业务的处理结果显示给用户。5.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，将批量处理的批量原子步骤发送给批量业务处理装置进行处理进一步包括，在后台待处理缓冲池的队列中加入一个节点，并将所述批量原子步骤存储于该节点中。6.根据权利要求5所述的一种联机小批量数据处理方法，其特征在于，根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。7.一种联机小批量数据处理系统，其特征在于包括: 流程控制装置，用于根据待处理业务的特征，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置； 所述联机业务处理装置，用于处理所述联机原子步骤； 所述批量业务处理装置，用于处理所述批量原子步骤。8.根据权利要求7所述的一种联机小批量数据处理系统，其特征在于，所述流程控制装置进一步包括，业务定义单元，流程定义单元，数据存储单元...

【专利技术属性】
技术研发人员：王刚，王卓成，罗浩，徐忠民，何晓，赵恒，李勇，黄志华，韩雪，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11