一种实现数据处理批量入库的方法和系统技术方案

本发明专利技术公开了一种实现数据处理批量入库的方法，该方法包括以下步骤：启动数据处理服务，然后将SQL脚本解析并存储到内存中；按照接口形态配置解析后的SQL脚本；将多个请求中的数据按照接口形态归类；将归类的数据压入队列；将配置后的SQL脚本与数据进行匹配；以及将具有同一接口形态的数据与配置后的SQL脚本进行拼接。本发明专利技术的方法解决了服务端并发请求数过高的情况，使服务端处理数据的吞吐量增加，并且解决了服务端处理并发数据中断异常和数据处理不安全的问题。

【技术实现步骤摘要】
一种实现数据处理批量入库的方法和系统
本专利技术涉及数据库存储领域，更具体地，特别是指一种实现数据处理批量入库的方法和系统。
技术介绍
在现代信息化系统中，根据实际业务需要往往需要将大量的数据集中存储，而数据库系统就是一种能够实现上述目的的应用系统。数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。简单来说是本身可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等操作。在现有技术中，数据的采集和写入数据库通常采用同步方式，这种在数据库层面实现数据同步的方式的问题及缺点是：1.如果在高并发的情况下，读写不一致(读的快，写的慢)会造成数据丢失；2.同步插入数据，需要处理完成后，接口才能返回，系统响应慢，吞吐量低，并发低。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种实现数据处理批量入库的方法和系统，能够解决服务端接口并发请求数过高的问题，使服务端处理数据的吞吐量增加，并且能够解决服务端处理并发数据中断异常和数据处理不安全的问题。基于上述目的，本专利技术实施例的一方面提供了一种实现数据处理批量入库的方法，所述方法包本文档来自技高网...

【技术保护点】
一种实现数据处理批量入库的方法，其特征在于，所述方法包括以下步骤：启动数据处理服务，然后将SQL脚本解析并存储到内存中；按照接口形态配置解析后的所述SQL脚本；将多个请求中的数据按照所述接口形态归类；将归类的所述数据压入队列；将配置后的所述SQL脚本与所述数据进行匹配；以及将具有同一接口形态的所述数据与配置后的所述SQL脚本进行拼接。

【技术特征摘要】
1.一种实现数据处理批量入库的方法，其特征在于，所述方法包括以下步骤：启动数据处理服务，然后将SQL脚本解析并存储到内存中；按照接口形态配置解析后的所述SQL脚本；将多个请求中的数据按照所述接口形态归类；将归类的所述数据压入队列；将配置后的所述SQL脚本与所述数据进行匹配；以及将具有同一接口形态的所述数据与配置后的所述SQL脚本进行拼接。2.根据权利要求1所述的方法，其特征在于，采用异步线程将所述SQL脚本解析。3.根据权利要求1所述的方法，其特征在于，将所述SQL脚本解析为SqlElement对象并将所述SqlElement对象存储到内存中。4.根据权利要求1所述的方法，其特征在于，每一种接口形态对应一种业务数据的上报结构。5.根据权利要求1所述的方法，其特征在于，对压入队列的所述数据进行轮询解析，并根据所述接口形态将配置后的所述S...

【专利技术属性】
技术研发人员：拜山峰，高林武，毕永东，
申请(专利权)人：北京北信源软件股份有限公司，
类型：发明
国别省市：北京,11