数据入库方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据入库方法，该方法包括：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。本发明专利技术还公开了一种数据入库装置、设备和计算机可读存储介质。本发明专利技术通过对数据源的数据结构和系统数据库的数据结构进行分析对比，构建数据转换模型，并通过该数据转换模型自动完成数据入库，从而做到无人工干预即可实现数据的自动入库，提高了工作效率。

【技术实现步骤摘要】
数据入库方法、装置、设备及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据入库方法、装置、设备及计算机可读存储介质。
技术介绍
随着技术的发展，市面上开始出现基于计算机风控引擎的风险评估方法，这种方法是依靠互联网积累大量的用户数据，并根据这些数据和计算机风控模型得出评估结果，进而决定是否放贷。在采用这种大数据评估方法时，需要先将这些在网络上获取的大量原始数据导入到系统数据库中。但由于这些数据的来源渠道多样，其具有结构相异、数据冗余程度高、非线性等特点；而数据库所要求的数据存储格式往往与这些原始数据格式不一样，这就导致了数据入库过程极其繁琐的，需要工作人员人工将原有数据的格式转换为系统数据库所要求的格式，增加工作人员将数据入库的工作量。
技术实现思路
本专利技术的主要目的在于提供一种数据入库方法、装置、设备及计算机可读存储介质，旨在解决实现数据自动入库，提高工作效率。为实现上述目的，本专利技术提供一种数据入库方法，所述数据入库方法包括以下步骤：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；本文档来自技高网...

【技术保护点】
一种数据入库方法，其特征在于，所述数据入库方法包括以下步骤：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。

【技术特征摘要】
1.一种数据入库方法，其特征在于，所述数据入库方法包括以下步骤：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。2.如权利要求1所述的数据入库方法，其特征在于，所述根据所述输入样本数据和数据库模板数据生成对应的数据转换模型的步骤包括：分别将所述输入样本数据和数据库模板数据作为输入训练集和输出训练集，并基于所述输入训练集和输出训练集对初始机器学习模型进行分析训练，构造得到数据转换模型，其中所述数据转换模型包括所述输入样本数据和模板数据之间转换逻辑。3.如权利要求1所述的数据入库方法，其特征在于，所述存储数据中包括数据类型标识，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：根据所述数据类型标识在所述数据库中查找同类存储数据，并将所述同类存储数据进行几何运算，得到组合特征数据，以对数据维度进行扩展。4.如权利要求1所述的数据入库方法，其特征在于，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：根据所述存储数据的导入情况对所述数据库的数据索引文件进行更新。5.如权利要求1至4中任一项所述的数据入库方法，其特征在于，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：在接收到数据调用请求时，向数据调用端分配所述数据库的数据调用接口，以供所述数据调用端进行数据调用。6.如...

【专利技术属性】
技术研发人员：李天平，
申请(专利权)人：上海壹账通金融科技有限公司，
类型：发明
国别省市：上海,31