数据入库方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据入库方法，该方法包括：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。本发明专利技术还公开了一种数据入库装置、设备和计算机可读存储介质。本发明专利技术通过对数据源的数据结构和系统数据库的数据结构进行分析对比，构建数据转换模型，并通过该数据转换模型自动完成数据入库，从而做到无人工干预即可实现数据的自动入库，提高了工作效率。

【技术实现步骤摘要】
数据入库方法、装置、设备及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据入库方法、装置、设备及计算机可读存储介质。
技术介绍
随着技术的发展，市面上开始出现基于计算机风控引擎的风险评估方法，这种方法是依靠互联网积累大量的用户数据，并根据这些数据和计算机风控模型得出评估结果，进而决定是否放贷。在采用这种大数据评估方法时，需要先将这些在网络上获取的大量原始数据导入到系统数据库中。但由于这些数据的来源渠道多样，其具有结构相异、数据冗余程度高、非线性等特点；而数据库所要求的数据存储格式往往与这些原始数据格式不一样，这就导致了数据入库过程极其繁琐的，需要工作人员人工将原有数据的格式转换为系统数据库所要求的格式，增加工作人员将数据入库的工作量。
技术实现思路
本专利技术的主要目的在于提供一种数据入库方法、装置、设备及计算机可读存储介质，旨在解决实现数据自动入库，提高工作效率。为实现上述目的，本专利技术提供一种数据入库方法，所述数据入库方法包括以下步骤：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。可选地，所述根据所述输入样本数据和数据库模板数据生成对应的数据转换模型的步骤包括：分别将所述输入样本数据和数据库模板数据作为输入训练集和输出训练集，并基于所述输入训练集和输出训练集对初始机器学习模型进行分析训练，构造得到数据转换模型，其中所述数据转换模型包括所述输入样本数据和模板数据之间转换逻辑。可选地，所述存储数据中包括数据类型标识，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：根据所述数据类型标识在所述数据库中查找同类存储数据，并将所述同类存储数据进行几何运算，得到组合特征数据，以对数据维度进行扩展。可选地，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：根据所述存储数据的导入情况对所述数据库的数据索引文件进行更新。可选地，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：在接收到数据调用请求时，向数据调用端分配所述数据库的数据调用接口，以供所述数据调用端进行数据调用。可选地，所述在接收到数据调用请求时，向数据调用端分配所述数据库的数据调用接口，以供所述数据调用端进行数据调用的步骤包括：在接收到数据调用请求时，向数据调用端分配所述数据库的数据调用接口，并通过所述数据调用接口获取所述数据调用端发送的脚本文件；根据所述脚本文件执行对应的调用操作，以在所述数据库中获得调用数据，并将所述调用数据发送至所述数据。可选地，所述在接收到数据调用请求时，向数据调用端分配所述数据库的数据调用接口，以供所述数据调用端进行数据调用的步骤包括：在接收到数据调用请求时，根据所述数据调用请求中的身份标识对所述数据调用端的身份进行验证；当所述数据调用端的身份通过验证时，向数据调用端分配所述数据库的数据调用接口，以供所述数据调用端进行数据调用。此外，为实现上述目的，本专利技术还提供一种数据入库装置，所述数据入库装置包括：模型生成模块，用于获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；数据输入模块，用于获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；数据导入模块，用于通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。此外，为实现上述目的，本专利技术还提供一种数据入库设备，所述数据入库设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据入库程序，其中所述数据入库程序被所述处理器执行时，实现如上述的数据入库方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据入库程序，其中所述数据入库程序被处理器执行时，实现如上述的数据入库方法的步骤。本专利技术通过获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。通过以上方式，本专利技术通过对数据源的数据结构和系统数据库的数据结构进行分析对比，构建数据转换模型，并通过该数据转换模型扫描数据源接口，对数据结构进行自主识别，并自动完成数据入库，从而不需人为对原始数据进行识别、解析及进一步的封装，而通过计算机模型自动进行转接，做到无人工干预即可实现数据的自动入库，减少了数据入库的人工操作量，提高了工作效率。附图说明图1是本专利技术实施例方案涉及的数据入库设备的硬件结构示意图；图2为本专利技术数据入库方法第一实施例的流程示意图；图3为本专利技术数据入库方法第二实施例的流程示意图；图4为本专利技术数据入库方法第三实施例的流程示意图；图5为本专利技术数据入库方法第四实施例的流程示意图；图6为本专利技术数据入库装置第一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例方案的主要思路是：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。本专利技术实施例涉及的数据入库方法主要应用于数据入库设备。参照图1，图1为本专利技术实施例方案中涉及的数据入库设备的硬件结构示意图。本专利技术实施例中，数据入库设备可以包括处理器1001(例如CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。可选地，该数据入库设备还可以包括摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器，环境光传感器可根据环境光线的明暗来调节显示屏的亮度。作为运动传感器的一种，重力加速度传感器可检测各个方向本文档来自技高网...

【技术保护点】
一种数据入库方法，其特征在于，所述数据入库方法包括以下步骤：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。

【技术特征摘要】
1.一种数据入库方法，其特征在于，所述数据入库方法包括以下步骤：获取与数据源具有相同数据结构的输入样本数据和对应的数据库模板数据，并根据所述输入样本数据和数据库模板数据生成对应的数据转换模型；获取所述数据源的原始数据，并将所述原始数据输入至所述数据转换模型；通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库。2.如权利要求1所述的数据入库方法，其特征在于，所述根据所述输入样本数据和数据库模板数据生成对应的数据转换模型的步骤包括：分别将所述输入样本数据和数据库模板数据作为输入训练集和输出训练集，并基于所述输入训练集和输出训练集对初始机器学习模型进行分析训练，构造得到数据转换模型，其中所述数据转换模型包括所述输入样本数据和模板数据之间转换逻辑。3.如权利要求1所述的数据入库方法，其特征在于，所述存储数据中包括数据类型标识，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：根据所述数据类型标识在所述数据库中查找同类存储数据，并将所述同类存储数据进行几何运算，得到组合特征数据，以对数据维度进行扩展。4.如权利要求1所述的数据入库方法，其特征在于，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：根据所述存储数据的导入情况对所述数据库的数据索引文件进行更新。5.如权利要求1至4中任一项所述的数据入库方法，其特征在于，所述通过所述数据转换模型将所述数据源的原始数据转换为对应的存储数据，并将所述存储数据导入所述数据库的步骤之后，还包括：在接收到数据调用请求时，向数据调用端分配所述数据库的数据调用接口，以供所述数据调用端进行数据调用。6.如...

【专利技术属性】
技术研发人员：李天平，
申请(专利权)人：上海壹账通金融科技有限公司，
类型：发明
国别省市：上海,31