数据批量处理方法和装置制造方法及图纸

本申请提供了一种数据批量处理方法和装置，其中，该方法包括：业务前置系统接收多个分行前置系统发送的第一批量请求数据；业务前置系统对第一批量请求数据进行切片处理，得到多个第一数据切片；业务前置系统将多个第一数据切片发送至流处理系统；流处理系统对接收到的多个第一数据切片进行分布式流处理，生成第一处理结果文件。上述方案可以提高处理效率，实现大批量交易请求的实时处理。

【技术实现步骤摘要】
数据批量处理方法和装置
本申请涉及数据处理
，特别涉及一种数据批量处理方法和装置。
技术介绍
目前，实时性批量交易业务量日益增长，如分行批量还款、分行批量查询应还、公积金新旧模式转换、自动扣款批量入账等。随着银行业务的持续增长，前端上送的批量代理文件持续增大。传统批转单模式有两种：单AP单线程循环发送交易请求、单AP多线程循环发送交易请求。然而，传统的批转单模式存在实时性差且数据处理效率低的问题。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种数据处理
，以解决现有技术中批量数据处理的实时性差且处理效率低有限的问题。本申请实施例还提供了一种数据批量处理方法，包括：业务前置系统接收多个分行前置系统发送的第一批量请求数据；业务前置系统对第一批量请求数据进行切片处理，得到多个第一数据切片；业务前置系统将多个第一数据切片发送至流处理系统；流处理系统对接收到多个第一数据切片进行分布式流处理，生成第一处理结果文件。本申请实施例还提供了一种数据批量处理方法，应用于本文档来自技高网...

【技术保护点】
1.一种数据批量处理方法，其特征在于，包括：/n业务前置系统接收多个分行前置系统发送的第一批量请求数据；/n所述业务前置系统对所述第一批量请求数据进行切片处理，得到多个第一数据切片；/n所述业务前置系统将所述多个第一数据切片发送至流处理系统；/n所述流处理系统对接收到所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。/n

【技术特征摘要】
1.一种数据批量处理方法，其特征在于，包括：
业务前置系统接收多个分行前置系统发送的第一批量请求数据；
所述业务前置系统对所述第一批量请求数据进行切片处理，得到多个第一数据切片；
所述业务前置系统将所述多个第一数据切片发送至流处理系统；
所述流处理系统对接收到所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。


2.一种数据批量处理方法，其特征在于，所述方法应用于业务前置系统，包括：
接收多个分行前置系统发送的第一批量请求数据；
对所述第一批量请求数据进行切片处理，得到多个第一数据切片；
将所述多个第一数据切片发送至流处理系统，其中，所述流处理系统对所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。


3.根据权利要求2所述的方法，其特征在于，在将所述多个第一数据切片发送至流处理系统之后，还包括：
接收所述流处理系统发送的第一处理结果文件；
获取所述多个分行前置系统中各分行前置系统的结果文件配置信息；
根据所述第一处理结果文件和所述各分行前置系统的结果文件配置信息，生成所述各分行前置系统对应的第一结果文件；
将所述各分行前置系统对应的第一结果文件发送至对应的分行前置系统。


4.根据权利要求2所述的方法，其特征在于，对所述第一批量请求数据进行切片处理，得到多个第一数据切片，包括：
读取所述第一批量请求数据至数据库；
创建定时处理任务，并根据所述定时处理任务从所述数据库中读取所述第一批量请求数据；
对所述第一批量请求数据进行切片处理，得到多个第一数据切片。


5.根据权利要求3所述的方法，其特征在于，在将所述各分行前置系统对应的第一结果文件发送至对应的分行前置系统之后，还包括：
接收所述各分行前置系统发送的第二批量请求数据，其中，所述第二批量请求数据是根据所述各分行前置系统对应的第一结果文件生成的；
对所述第二批量请求数据进行切片处理，得到多个第二数据切片；
将所述多个第二数据切片发送至流处理系统，其中，所述流处理系统对所述多个第二数据切片进行分布式流处理，生成第二处理结果文件。


6.根据权利要求2所述的方法，其特...

【专利技术属性】
技术研发人员：邱俊凌，杨健，何翔飞，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11