大数据量批处理系统和大数据量批处理方法技术方案

本发明专利技术提供了一种大数据量批处理系统，包括：中间件单元用于向一级缓存装置发送查询请求，以及接收来自二级缓存装置的二级分页主键集合，根据二级分页主键集合向数据库查询待处理数据并在对待处理数据进行计算处理后，向数据库发送持久化数据请求；一级缓存装置用于向数据库查询符合查询请求的主键集合，以及根据主键集合生成一级分页主键集合并将一级分页主键集合返回至二级缓存装置；二级缓存装置用于根据一级分页主键集合生成二级分页主键集合并将二级分页主键集合返回至中间件单元。本发明专利技术还提供了一种大数据量批处理方法。根据本发明专利技术的技术方案，可大大提高系统海量数据的处理速度，降低系统处理时间，进而提升系统的综合性能。

【技术实现步骤摘要】

本专利技术涉及计算机
，具体而言，涉及一种大数据量批处理系统和一种大数据量批处理方法。
技术介绍
目前大型的联机事务处理系统(OLTP)中，衡量其系统性能好坏的指标，往往是一些关键核心算法在大数据量应用场景下的处理速度，而处理速度的快慢直接影响整个系统的性能。一个大型的信息化系统，往往都有一些自己比较复杂业务处理逻辑、业务处理算法，当这些复杂的业务处理在小数据量应用场景下效率问题往往都被忽视，因为这种场景下系统响应速度是比较快的，而在大数据量情况下可能就会出现系统处理性能的瓶颈，长时间无响应或者直接宕机等严重情况，那么其中比较共性和核心的问题就是第一，如果数据量过大，程序一次性读到内存中可能造成系统内存溢出；第二，如果不是一次性读取数据到内存中，循环读取一条一条数据在进行处理，则算法由批处理变成了循环单个处理，也必定大大影响系统的性能。对此，现有技术使用后台分页技术来解决这样的问题。现有的分页技术都是在数据库端实现分页技术，一种是直接利用SQL语句来进行分页，例如第一次取第1-50条记录，第二次取第51-100条记录等等依次类推，这种方式虽然达到了每次读取有限的记录加载到内存本文档来自技高网...

【技术保护点】
一种大数据量批处理系统，其特征在于，包括：中间件单元、一级缓存装置和二级缓存装置，其中，所述中间件单元用于向所述一级缓存装置发送查询请求，以及接收来自所述二级缓存装置的二级分页主键集合，根据所述二级分页主键集合向数据库查询待处理数据并在对所述待处理数据进行计算处理后，向所述数据库发送持久化数据请求；所述一级缓存装置用于向所述数据库查询符合所述查询请求的主键集合，以及根据所述主键集合生成一级分页主键集合并将所述一级分页主键集合返回至所述二级缓存装置；所述二级缓存装置用于根据所述一级分页主键集合生成二级分页主键集合并将所述二级分页主键集合返回至所述中间件单元。

【技术特征摘要】
1.一种大数据量批处理系统，其特征在于，包括中间件单元、一级缓存装置和二级缓存装置，其中， 所述中间件单元用于向所述一级缓存装置发送查询请求，以及接收来自所述二级缓存装置的二级分页主键集合，根据所述二级分页主键集合向数据库查询待处理数据并在对所述待处理数据进行计算处理后，向所述数据库发送持久化数据请求； 所述一级缓存装置用于向所述数据库查询符合所述查询请求的主键集合，以及根据所述主键集合生成一级分页主键集合并将所述一级分页主键集合返回至所述二级缓存装置； 所述二级缓存装置用于根据所述一级分页主键集合生成二级分页主键集合并将所述二级分页主键集合返回至所述中间件单元。2.根据权利要求1所述的大数据量批处理系统，其特征在于，还包括第一设置单元，设置所述一级缓存装置的一级缓存阈值； 所述一级缓存装置还用于在所述主键集合的数据量小于等于所述一级缓存阈值时，直接将所述一级分页主键集合返回至所述二级缓存装置，以及在所述主键集合的数据量大于所述一级缓存阈值时，建立并插入临时表，对所述临时表进行分页并将获取的主键返回至所述二级缓存装置。3.根据权利要求1所述的大数据量批处理系统，其特征在于，还包括 第二设置单元，设置所述二级缓存装置的二级缓存阈值； 所述二级缓存装置还用于在所述一级分页主键的数据量小于等于所述二级缓存阈值时，直接将所述二级分页主键集合返回至所述中间件单元，以及在所述主键集合的数据量大于所述二级缓存阈值时，将所述二级分页主键集合暂存于内存，从所述内存中取出每一页主键数据，根据所述每一页主键数据查询所述待处理数据。4.根据权利要求3所述的大数据量批处理系统，其特征在于，所述中间件单元包括 事务建立子单元，用于建立独立事务； 加锁子单元，用于对所述待处理数据添加中间件单元级别主键锁，对所述待处理数据进行处理，在处理结束后，对所述中间件单元级别锁进行解锁。5.根据权利要求1至4中任一项所述的大数据量批处理系统，其特征在于，还包括自识别装置...

【专利技术属性】
技术研发人员：张成，
申请(专利权)人：用友软件股份有限公司，
类型：发明
国别省市：