System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 批量数据入库方法、装置、计算机设备及存储介质制造方法及图纸_技高网

批量数据入库方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:40762639 阅读:2 留言:0更新日期:2024-03-25 20:14
本发明专利技术涉及数据存储技术领域,提供了一种批量数据入库方法、装置、计算机设备及存储介质,所述方法包括:在预设数据库接收到批量数据的入库操作请求时,将所述批量数据中部分批量数据对应的第一主键I D写入至预设队列;通过所述预设队列中第一主键I D形成与所述批量数据对应的第二主键I D,并将带有所述第二主键I D的批量数据存储至所述预设数据库。本发明专利技术能够在批量数据入库的过程中,无需增加额外的字段,提高批量数据的查询速度,无需考虑历史数据清洗的问题。

【技术实现步骤摘要】

本专利技术涉及数据存储,尤其揭露了一种批量数据入库方法、装置、计算机设备及存储介质


技术介绍

1、目前为了提高性能,充分利用数据库连接池,所以选择了批量入库数据,但是在一些应用场景里面,无法批量入库,因为需要入库的数据还依赖于其他数据的主键,而其他数据也是批量的形式,要想使用其他的主键必须等到入库后才能得到,并且得到后还不方便重新映射回来之前的数据关系,此时在大数据情况下,通过这种方式做数据库交互的话,很容易出现接口超时,性能变慢等的问题;

2、现有技术使用uuid或者各种分布式id的获取方法,放弃通过表的主键id来维护关系,而采用多增加一个uuid字段的方式来维护这种多对多的关系,并且同时均要求入库的需求;但会存在以下方面:需要额外在表中增加一个字段;由于两张表存在较强的关联关系,所以关联查询的场景很多,使用uuid类型的字段查询性能较差,占用索引空间较多,降低了查询速度;对于一些历史数据,还必须考虑到历史数据清洗的过程;

3、因此,本领域技术人员亟需寻找一种新的技术方案来解决上述的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种批量数据入库方法、装置、计算机设备及存储介质,在批量数据入库的过程中,无需增加额外的字段,提高批量数据的查询速度,无需考虑历史数据清洗的问题。

2、一种批量数据入库方法,所述方法包括:

3、在预设数据库接收到批量数据的入库操作请求时,将所述批量数据中部分批量数据对应的第一主键id写入至预设队列;

4、通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id,并将带有所述第二主键id的批量数据存储至所述预设数据库。

5、一种批量数据入库装置,所述装置包括:

6、写入模块,用于在预设数据库接收到批量数据的入库操作请求时,将所述批量数据中部分批量数据对应的第一主键id写入至预设队列;

7、存储模块,用于通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id,并将带有所述第二主键id的批量数据存储至所述预设数据库。

8、一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述一种批量数据入库方法。

9、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种批量数据入库方法。

10、上述批量数据入库方法、装置、计算机设备及存储介质,属于数据存储领域,在预设数据库接收到批量数据的入库操作请求时,将所述批量数据中部分批量数据对应的第一主键id写入至预设队列;通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id,并将带有所述第二主键id的批量数据存储至所述预设数据库;通过第一主键id形成第二主键id,不用额外地新增一个字段,对历史数据或者老系统的升级改造比较友好;部分批量数据中的数据表跟批量数据中的数据表之间的关系还是依赖主键id,以在做关联查询的时候可提高性能,并且建立索引的时候也可以很好的节省空间,提高索引的命中速度,也即提高查询速度;更多的场景是为了在批量数据上新增主键id,并用于批量数据的入库,所以不必考虑不停服情况下数据清洗以及备份过程中的数据兼容问题。

本文档来自技高网...

【技术保护点】

1.一种批量数据入库方法,其特征在于,所述方法包括:

2.根据权利要求1所述的批量数据入库方法,其特征在于,所述将所述批量数据中部分批量数据对应的第一主键ID写入至预设队列,包括:

3.根据权利要求1所述的批量数据入库方法,其特征在于,所述通过所述预设队列中第一主键ID形成与所述批量数据对应的第二主键ID之前,还包括:

4.根据权利要求1所述的批量数据入库方法,其特征在于,所述通过所述预设队列中第一主键ID形成与所述批量数据对应的第二主键ID,包括:

5.根据权利要求4所述的批量数据入库方法,其特征在于,所述在所述第一主键ID进行赋值,形成所述批量数据中的第二主键ID,包括:

6.根据权利要求1所述的批量数据入库方法,其特征在于,所述将带有所述第二主键ID的第二批量数据存储至所述预设数据库之后,还包括:

7.根据权利要求1所述的批量数据入库方法,其特征在于,所述方法,还包括:

8.一种批量数据入库装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述一种批量数据入库方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述一种批量数据入库方法。

...

【技术特征摘要】

1.一种批量数据入库方法,其特征在于,所述方法包括:

2.根据权利要求1所述的批量数据入库方法,其特征在于,所述将所述批量数据中部分批量数据对应的第一主键id写入至预设队列,包括:

3.根据权利要求1所述的批量数据入库方法,其特征在于,所述通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id之前,还包括:

4.根据权利要求1所述的批量数据入库方法,其特征在于,所述通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id,包括:

5.根据权利要求4所述的批量数据入库方法,其特征在于,所述在所述第一主键id进行赋值,形成所述批量数据中的第二主键id,包括:

6.根据权...

【专利技术属性】
技术研发人员:周和兵
申请(专利权)人:中国平安人寿保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1