一种大批量同质数据的批量入库方法技术

本发明专利技术公开了一种大批量同质数据的批量入库方法，包括如下步骤：S1，针对每张表创建存储线程，并为其建立对应的存库队列，对于所有的需要入库的表准备预编译的插入和更新命令；S2，当收到需要入库的数据时，取出入库数据转换为数据记录实体；S3，将数据记录实体加入对应的存库队列；S4，存储线程从对应的存库队列取出相应的数据记录实体，对其中字段类型进行匹配，加入对应的插入或者删除预编译队列。本发明专利技术，利于数据库的预编译、批量提交技术，结合单条提交的传统方案实现数据高效入库的同时保证数据完整性，从而实现大批量同质数据高效、完整入库的问题，降低数据库服务器压力。

【技术实现步骤摘要】
一种大批量同质数据的批量入库方法
本专利技术涉及数据库
，具体为一种大批量同质数据的批量入库方法。
技术介绍
对于海量数据入库的场景，因为数据提供者往往是通过不同渠道、不同方式提供数据，而且存在服务端不易控制的高并发情况，因此高效完整的保存数据是大数据平台必须解决的问题。当需要对数据库进行数据插入、更新或者删除的时候，程序会发送整个SQL语句给数据库处理和执行。数据库处理一个SQL语句，需要完成解析SQL语句、检查语法和语义以及生成代码；一般说来，处理时间要比执行语句所需要的时间长。预编译语句在创建的时候已经是将指定的SQL语句发送给了数据库，完成了解析、检查、编译等工作。因此，当一个SQL语句需要执行多次时，使用预编译语句可以减少处理时间，提高执行效率，这种技术对于海量的同质数据入库场景带来的效率提升是非常客观的。但单一的批量提交入库对于数据完整度要求高的场景也会存在风险，如果单条数据异常造成无法入库就会本次批量提交的所有数据无法入库，造成数据丢失。有鉴于此，我们设计并实现了结合预处理、批量提交、单条提交技术，针本文档来自技高网...

【技术保护点】
1.一种大批量同质数据的批量入库方法，其特征在于包括如下步骤：/nS1，针对每张表创建存储线程，并为其建立对应的存库队列，对于所有的需要入库的表准备预编译的插入和更新命令；/nS2，当收到需要入库的数据时，取出入库数据转换为数据记录实体；/nS3，将数据记录实体加入对应的存库队列；/nS4，存储线程从对应的存库队列取出相应的数据记录实体，对其中字段类型进行匹配，加入对应的插入或者删除预编译队列；/nS5，预编译队列中数据记录数超过配置值时提交批处理命令，进入步骤S7；/nS6，当预编译队列中数据记录数不为0且等待时间大于配置值时提交批处理命令；/nS7，提交批处理命令；/nS8，判断执行是否成...

【技术特征摘要】
1.一种大批量同质数据的批量入库方法，其特征在于包括如下步骤：
S1，针对每张表创建存储线程，并为其建立对应的存库队列，对于所有的需要入库的表准备预编译的插入和更新命令；
S2，当收到需要入库的数据时，取出入库数据转换为数据记录实体；
S3，将数据记录实体加入对应的存库队列；
S4，存储线程从对应的存库队列取出相应的数据记录实体，对其中字段类型进行匹配，加入对应的插入或者删除预编译队列；
S...

【专利技术属性】
技术研发人员：李诗华，任海军，徐荣华，王文军，罗海强，
申请(专利权)人：上海真兰仪表科技股份有限公司，
类型：发明
国别省市：上海;31