【技术实现步骤摘要】
数据导入方法、装置、计算机设备和存储介质
[0001]本申请涉及数据处理
,特别是涉及一种数据导入方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着信息化技术的发展,以文件形式进行数据交换的场景越来越多,在不同系统之间进行数据交换时,需要将文件数据格式化后统一导入数据库,以便于后续在数据库中查询获取标准化数据进行统计分析。为了保证双方系统间文件的顺利传输录入,在双方进行数据交换之前,需要预先约定文件格式类型、编码规则以及字段内容等,接收方根据约定的录入规则,接收并解析指定格式、编码以及字段顺序的文件数据。
[0003]然而,由于文件的格式多样,文件大小不一,预先设定录入规则的数据库,无法支持多种不同类型的文件数据,无法统一处理多种文件格式,且文件中若有脏数据或者异常数据(例如,数据多列或少列)等,会导致数据导入全部失败。
技术实现思路
[0004]基于此,有必要针对上述技术问题,提供一种数据导入方法、装置、计算机设备和存储介质。
[0005]一种数据导入方法,所述方法包括:< ...
【技术保护点】
【技术特征摘要】
1.一种数据导入方法,其特征在于,所述方法包括:响应于上传的文件列表,根据所述文件列表中不同类型的文件,分类型读取并显示文件列表中各文件的特征信息;响应于生成导入任务指令,将目标文件生成对应的文件导入任务,所述目标文件是基于所述各文件的特征信息标注确定的;执行所述文件导入任务,读取所述文件导入任务所对应的目标文件中的数据列属性信息,根据预设的数据列属性信息与数据表属性字段的对应关系,将所述目标文件的各数据列中的数据导入数据库数据表对应的属性字段下。2.根据权利要求1所述的方法,其特征在于,所述响应于上传的文件列表,根据所述文件列表中不同类型的文件,分类型读取并显示文件列表中各文件的特征信息,包括:响应于用户上传的文件列表,读取所述文件列表中每一文件的文件格式;若所述文件列表中存在文件格式为压缩文件格式的文件,则对所述压缩文件格式的文件进行解压处理,得到均为解压文件格式的文件列表;分类型读取并显示所述解压文件格式的文件列表中各文件的特征信息。3.根据权利要求1所述的方法,其特征在于,在所述响应于生成导入任务指令,将目标文件生成对应的文件导入任务之后,所述方法还包括:根据获取到的数据表属性需求信息,生成数据表属性标签;将所述数据表属性标签与所述文件导入任务进行匹配,得到携带有数据表属性标签的文件导入任务,作为待处理的文件导入任务;根据所述待处理的文件导入任务携带的任务标识顺序,生成并显示所述待处理的文件导入任务列表;所述执行所述文件导入任务,读取所述文件导入任务所对应的目标文件中的数据列属性信息,根据预设的数据列属性信息与数据表属性字段的对应关系,将所述目标文件的各数据列中的数据导入数据库数据表对应的属性字段下,包括:在所述待处理的文件导入任务列表中,根据所述任务标识顺序,依次执行所述待处理的文件导入任务;针对每一所述待处理的文件导入任务,读取所述待处理的文件导入任务所对应的目标文件中的数据列属性信息,根据预设的数据列属性信息与数据表属性字段的对应关系,将所述目标文件的各数据列中的数据导入数据库数据表对应到的属性字段下。4.根据权利要求3所述的方法,其特征在于,所述针对每一所述待处理的文件导入任务,读取所述待处理的文件导入任务所对应的目标文件中的数据列属性信息,根据预设的数据列属性信息与数据表属性字段的对应关系,将所述目标文件的各数据列中的数据导入数据库数据表对应到的属性字段下,包括:针对每一所述待处理的文件导入任务,对所述待处理的文件导入任务进行标签配置检查;若所述待处理的文件导入任务匹配的数据表属性标签满足预设的标签配置规则,则读取所述待处理的文件导入任务所对应的目标文件中的数据列属性信息,根据预设的数据列属性信息与数据表属性字段的对应关系,将所述目标文件的各数据列中的数据导入数据库数据表对应到的属性字段下。
5.根据权利要求1所述的...
【专利技术属性】
技术研发人员:罗晨,苑立英,杨李,顾树华,李峥,王文聪,
申请(专利权)人:中国人寿再保险有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。