一种跨数据库批量传导数据的方法与装置制造方法及图纸

本发明专利技术公开了一种跨数据库批量传导数据的方法与装置，包括：对第一数据库中待传导的数据分段，依次生成多个数据切片；在每个数据切片被生成后，立即将该数据切片导出到内存中；当内存中存在的数据切片达到指定数量时，将数据切片并行地同时导入第二数据库。本发明专利技术的技术方案能够针对不同数据或不同类型的数据进行跨数据库批量传导，提高数据批量传输效率，降低传输时间。

【技术实现步骤摘要】
一种跨数据库批量传导数据的方法与装置
本专利技术涉及数据传输领域，并且更具体地，特别是涉及一种跨数据库批量传导数据的方法与装置。
技术介绍
现有技术中最常用的大数据搜索引擎是ElasticSearch(ES)，加载进ES的数据可以快速地被搜索和查询。ES数据来源之一是从关系型数据库(如K-DB数据库)。现有技术中缺乏将数据从K-DB快速批量载入ES的方案。现有技术是把数据从K-DB数据库查询出并生成数据文件(即所谓的文件落地)，再把落地的数据文件导入ES中，由于导入是全量导入，在数据量大时导入效率较低。针对现有技术中缺乏跨数据库快速批量传导数据方法的问题，目前尚未有有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种跨数据库批量传导数据的方法与装置，能够针对不同数据或不同类型的数据进行跨数据库批量传导，提高数据批量传输效率，降低传输时间。基于上述目的，本专利技术实施例的一方面提供了一种跨数据库批量传导数据的方法，包括以下步骤：对第一数据库中待传导的数据分段，依次生成多个数据切片；在每个数据切片被生成后，立即将该数据切片导出到内存中；当内存中存在的数据切片达到指定数本文档来自技高网...

【技术保护点】
1.一种跨数据库批量传导数据的方法，其特征在于，包括以下步骤：对第一数据库中待传导的数据分段，依次生成多个数据切片；在每个所述数据切片被生成后，立即将该所述数据切片导出到内存中；当所述内存中存在的所述数据切片达到指定数量时，将所述数据切片并行地同时导入第二数据库。

【技术特征摘要】
1.一种跨数据库批量传导数据的方法，其特征在于，包括以下步骤：对第一数据库中待传导的数据分段，依次生成多个数据切片；在每个所述数据切片被生成后，立即将该所述数据切片导出到内存中；当所述内存中存在的所述数据切片达到指定数量时，将所述数据切片并行地同时导入第二数据库。2.根据权利要求1所述的方法，其特征在于，将所述数据切片并行地同时导入所述第二数据库包括：将所述指定数量的数据切片并行地同时导入第二数据库。3.根据权利要求1所述的方法，其特征在于，对所述第一数据库中待传导的所述数据分段包括：获取数据切片阈值，并将传导的所述数据按照所述数据切片阈值来分割成指定大小的多个所述数据切片。4.根据权利要求1所述的方法，其特征在于，将所述数据切片存储在所述内存的缓冲区中，并且不为所述数据切片生成相应的切片文件。5.根据权利要求1所述的方法，其特征在于，将所述数据切片并行地同时导入所述第二数据库包括：将所述内存中的所有所述数据切片并行地同时导入所述第二数据库。6.根据权利要求1所述的方法，其特征在于，在所述第一数据库依次生...

【专利技术属性】
技术研发人员：魏本帅，杜彦魁，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41