【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种文件数据导入方法、装置、设备及存储介质。
技术介绍
1、随着大数据应用技术的不断发展，涌现出了多种多样的大数据存储及加工分析技术，分布式文件存储系统是大数据存储常用技术之一，提供大量数据的存储能力。分布式存储系统具有高可靠、高性能、面向列、可伸缩等优良特性，能够支持数十亿行，百万列数据的存储以及高并发查询。
2、现有针对批量数据导入分部署数据库的基本流程为：每次接收到一种新的文件，需要根据文件格式、文件要素内容和文件加工需求等进行应用程序开发、测试、上线工作。然而，这种方式可能存在如下问题：针对每一批次的文件，都需要提交导入任务进行加工，针对每一个导入任务都需要针对文件进行特定的开发，应用逻辑耦合严重，且功能无法复用，文件数据导入的灵活性较低，无法全面性的考虑文件导入方的各种需求。
技术实现思路
1、本专利技术提供了一种文件数据导入方法、装置、设备及存储介质，以提高批量文件导入的灵活性，实现文件导入功能的复用和解耦。
2、根据本专利技术的一方面，提供了一种文件数据导入方法，所述方法包括：
3、获取文件入库发起方发送的文件入库请求；所述文件入库请求中包括入库执行流程需求和待入库文件；
4、根据所述入库执行流程需求，从至少一个预设的候选流程模板中选取参考流程模板；
5、将所述参考流程模板发送至所述文件入库发起方，以供所述文件入库发起方根据所述参考流程模板，确定目标流程模板；
6、
7、根据本专利技术的另一方面，提供了一种文件数据导入装置，所述装置包括：
8、入库请求获取模块，用于获取文件入库发起方发送的文件入库请求；所述文件入库请求中包括入库执行流程需求和待入库文件；
9、流程模板选取模块，用于根据所述入库执行流程需求，从至少一个预设的候选流程模板中选取参考流程模板；
10、目标模板确定模块，用于将所述参考流程模板发送至所述文件入库发起方，以供所述文件入库发起方根据所述参考流程模板，确定目标流程模板；
11、文件导入模块，用于根据所述目标流程模板中的目标上传执行流程方式，将所述待入库文件导入至预设的文件数据库中。
12、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
13、至少一个处理器；以及
14、与所述至少一个处理器通信连接的存储器；其中，
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的文件数据导入方法。
16、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的文件数据导入方法。
17、本专利技术实施例技术方案通过获取文件入库发起方发送的文件入库请求，文件入库请求中包括入库执行流程需求和待入库文件，根据入库执行流程需求，从至少一个预设的候选流程模板中选取参考流程模板，将参考流程模板发送至文件入库发起方，以供文件入库发起方根据参考流程模板，确定目标流程模板，根据目标流程模板中的目标上传执行流程方式，将待入库文件导入至预设的文件数据库中，实现了对批量数据的数据导入，采用选取并执行流程模板的方式将批量数据导入至分布式数据库中，提高了批量文件的导入灵活性和可配置性，能够满足需求方各种灵活多变的需求，同时，采用模板的方式进行文件导入实现了文件导入功能的复用和解耦。
18、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种文件数据导入方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述入库执行流程需求，从至少一个预设的候选流程模板中选取参考流程模板，包括：
3.根据权利要求1所述的方法，其特征在于，所述目标上传执行流程方式包括目标文件上传方式、目标数据映射方式、目标数据清洗方式、目标数据转换方式、目标标识提取方式和目标文件入库方式；
4.根据权利要求3所述的方法，其特征在于，所述目标数据清洗方式为空值过滤方式或异常值过滤方式；
5.根据权利要求3所述的方法，其特征在于，所述目标数据转换方式为数据脱敏转换方式或数据拆分转换方式；
6.根据权利要求3所述的方法，其特征在于，所述目标标识提取方式为字段组合提取方式或摘要生成提取方式；
7.一种文件数据导入装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，所述流程模板选取模块，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质
...【技术特征摘要】
1.一种文件数据导入方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述入库执行流程需求，从至少一个预设的候选流程模板中选取参考流程模板，包括：
3.根据权利要求1所述的方法，其特征在于，所述目标上传执行流程方式包括目标文件上传方式、目标数据映射方式、目标数据清洗方式、目标数据转换方式、目标标识提取方式和目标文件入库方式；
4.根据权利要求3所述的方法，其特征在于，所述目标数据清洗方式为空值过滤方式或异常值过滤方式；
5.根据权利要求3所述的方法，其特征在于，所述目标...
【专利技术属性】
技术研发人员：陈绍猛，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。