数据批量导入方法、系统、计算机装置及可存储介质制造方法及图纸

本发明专利技术提供了一种数据批量导入方法、系统、计算机装置及可读存储介质，所述方法包括加载程序加载根据业务对象模型的导入模板，按需向导入模板内填充数据，匹配程序根据模板的列名匹配业务对象的字段的对应关系，将列的数据作为到业务对象的字段值，多线程读取

【技术实现步骤摘要】
数据批量导入方法、系统、计算机装置及可存储介质


[0001]本专利技术涉及数据导入
，特别涉及一种数据批量导入方法、系统、计算机装置及可存储介质。

技术介绍

[0002]数据导入作为系统常用的功能，几乎所有的系统都应该支持，主要用于系统初期，大批量初始化数据，或者需要输入的数据行比较多的情况。
[0003]导入模板是开发设计阶段时设计好的，行列的位置是固定的，再由程序按照这个设定进行读取数据和处理数据。
[0004]数据导入的一般过程是，用户按照模板格式Excel文件，然后程序读取这个文件，根据列进行对应，逐行将数据写入到系统中；
[0005]一、CN102750368B公开了一种数据库集群数据高速导入方法，其通过将数据导入功能封装为独立的数据导入驱动组件，通过数据导入驱动组件和数据库集群的控制节点中的交互控制模块相互配合实现数据高速导入功能，将数据导入对CPU、内存与网络资源的使用转移至客户端，从而解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求；
[0006]二、CN110737636B公开了一种数据导入方法和装置以及设备，其通选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件，对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该文件传输协议目录下的文件格式，为该解析成的可扩展标记语言数据文件创建表结构，获取该经创建表结构后的可扩展标记语言数据文件的定量数据，根据该定量数据，对该经创建表结构后的可扩展标记语言数据文件进行准确性校验得到校验结果，将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中；
[0007]三、CN107145537B公开了一种表格数据导入方法及系统，其通过将有共同点的数据进行分组，然后使用批量验证的方式，提高了验证效率，节约了计算机资源；采用一个分组共用一个ORM对象，提高了内存使用效率，减少了内存消耗；
[0008]上述技术方案提出了对数据导入的改进，但是，现有技术在数据批量导入领域，仍然存在以下问题：
[0009]1、以现有技术“一”为例，现有技术中，虽然通过采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，但是业务对象的导入模板固定，不能自定义，不够灵活；
[0010]2、以现有技术“一”为例，现有技术中，虽然能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中，但是如果批量导入的数据量大，处理效率不高；
[0011]3、以现有技术“一”为例，现有技术中，虽然过将有共同点的数据进行分组，然后使用批量验证的方式，提高了验证效率，节约了计算机资源，但是还存在业务系统达到一定规模时，业务对象间会有很多引用关系，批量导入数据时需要解决引用字段的数据转换问题，会影响导入的性能和效率问题；
[0012]为此，提出数据批量导入方法、系统、计算机装置及可存储介质。

技术实现思路

[0013]有鉴于此，本专利技术实施例希望提供数据批量导入方法、系统、计算机装置及可存储介质，以解决或缓解现有技术中存在的技术问题，至少提供一种有益的选择。
[0014]专业术语解释：
[0015]业务对象，指的是领域内的概念类或现实世界中对象的可视化表示。
[0016]单据头，一个业务对象必须有且只有一个单据头。可以有多个子单据头，单据头和子单据头是1:1，相当于拆分表；
[0017]单据体，一个业务对象可以有0个或多个单据体。单据头和每个单据体都是1:N。单据体之间没有关联；
[0018]本专利技术实施例的技术方案是这样实现的：数据批量导入方法，包括以下步骤：
[0019]S1、加载程序加载根据业务对象模型的导入模板：所述导入模板包括业务对象的所有可导入字段；
[0020]S2、按需向导入模板内填充数据：按需保留需要导入的字段(列)，并填充数据；
[0021]S3、匹配程序根据模板的列名匹配业务对象的字段的对应关系，将列的数据作为到业务对象的字段值；
[0022]S4、多线程读取
‑
转换数据：
[0023]读取数据：从模板中读取数据，填充到业务对象的数据实体内；
[0024]转换数据，根据业务对象的编码或名称，从数据库中获取业务对象的id进行填充；
[0025]S5、批量保存数据到数据库：保存处理单元从并发队列中批量获取数据，保存到数据库中。
[0026]进一步优选的：所述S1中，导入模板将单据头和单据体进行拉平处理。
[0027]进一步优选的：所述S3中，导入模板配置时，还包括设置行的匹配查找字段，用于匹配已有数据并覆盖数据。
[0028]进一步优选的：所述S4中，读取数据步骤和转换数据步骤时，通过多线程执行，并行处理。
[0029]进一步优选的：所述读取数据步骤和转换数据步骤后，数据加入到并发队列中。
[0030]进一步优选的：所述S5中，数据保存至到数据库时，按单据头和单据体，分别填充到业务对象的数据实体里。
[0031]进一步优选的：所述数据保存时，控制批量处理的数据。
[0032]一种数据批量导入系统，包括：
[0033]加载模块，所述加载模块用于根据业务对象模型加载导入模板，所述导入模板包括业务对象的所有可导入字段；
[0034]填充模块，所述填充模块用于按需向导入模板内填充数据；
[0035]匹配模块，所述匹配模块用于根据模板的列名匹配业务对象的字段的对应关系，将列的数据作为到业务对象的字段值；
[0036]读取模块，所述读取模块用于从导入模块中，填充到业务对象的数据实体内；
[0037]转换模块，所述转换模块用于根据业务对象的编码或名称，从数据库中获取业务对象的id进行填充；
[0038]存储模块，所述存储模块用于从并发队列中批量获取数据，保存到数据库中。
[0039]一种计算机设备，所述计算机设备包括处理器、与所述处理器耦接的存储器，所述存储器中存储有程序指令，所述程序指令被所述处理器执行时，使得所述处理器执行如上述中任一项所述的数据批量导入方法的步骤。
[0040]一种存储介质，存储有能够实现如上述任一项所述的数据批量导入方法的程序指令。
[0041]本专利技术实施例由于采用以上技术方案，其具有以下优点：
[0042]一、本专利技术通过生成导入模板，并按需向导入模板内填充数据，相比现有技术的定制导入模板，本办法中的自定义模板灵活性更高，适用性更强。
[0043]二、本专利技术通过根据匹配程序根据模板的列名匹配业务对象的字段的对应关系，将列的数据作为到业务对象的字段值，进行导入，在批量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据批量导入方法，其特征在于，包括以下步骤：S1、加载程序加载根据业务对象模型的导入模板：所述导入模板包括业务对象的所有可导入字段；S2、按需向导入模板内填充数据：按需保留需要导入的字段，并填充数据；S3、匹配程序根据模板的列名匹配业务对象的字段的对应关系，将列的数据作为到业务对象的字段值；S4、多线程读取
‑
转换数据：读取数据：从模板中读取数据，填充到业务对象的数据实体内；转换数据，根据业务对象的编码或名称，从数据库中获取业务对象的id进行填充；S5、批量保存数据到数据库：保存处理单元从并发队列中批量获取数据，保存到数据库中。2.根据权利要求1所述的数据批量导入方法，其特征在于：所述S1中，导入模板将单据头和单据体进行拉平处理。3.根据权利要求1所述的数据批量导入方法，其特征在于：所述S3中，导入模板配置时，还包括设置行的匹配查找字段，用于匹配已有数据并覆盖数据。4.根据权利要求1所述的数据批量导入方法，其特征在于：所述S4中，读取数据步骤和转换数据步骤时，通过多线程执行，并行处理。5.根据权利要求4所述的数据批量导入方法，其特征在于：所述读取数据步骤和转换数据步骤后，数据加入到并发队列中。6.根据权利要求1所述的数据批量导入方法，其特征在于：所述S5中，数据保存至到数据库...

【专利技术属性】
技术研发人员：尹学良，
申请(专利权)人：广东杰诺软件科技有限公司，
类型：发明
国别省市：