本发明专利技术提供一种数据处理方法及装置、存储介质及电子设备，该方法包括：获取原始数据，并确定原始数据的数据种类；当原始数据的数据种类为非结构化数据时，基于原始数据的描述信息确定解析规则；基于解析规则对原始数据进行解析，得到属性数据，将属性数据保存至非结构化数据库；当原始数据的数据种类为结构化数据时，获取原始数据的明文数据；获取明文数据中的各个变量；基于每个变量的变量类型，对每个变量进行处理，得到变量数据，将变量数据保存至结构化数据库。基于原始数据的数据种类，对原始数据进行处理，从而得到对应的数据，可以减少工作人员的工作量，减少应用原始数据的困难，提高数据的可用性，进而提高对数据的利用率和使用效率。率和使用效率。率和使用效率。
【技术实现步骤摘要】
数据处理方法及装置、存储介质及电子设备
[0001]本专利技术涉及计算机
，特别涉及一种数据处理方法及装置、存储介质及电子设备。
技术介绍
[0002]随着计算机的广泛应用，计算机开始应用在各行各业中。随着计算机在工作生活中的应用，产生了大量的数据，特别是金融和互联网行业，在日常工作中会接收到大量的用户数据、风险策略数据、用户行为数据等数据。
[0003]目前这些数据通常是未经过处理的原始数据，开发人员在使用原始数据进行对应的开发工作或是对原始数据进行挖掘时，未经过处理的原始数据难以被直接利用，加大了开发人员的工作量，降低了数据的利用率和使用效率。
技术实现思路
[0004]有鉴于此，本专利技术提供一种数据处理方法及装置、存储介质及电子设备，本专利技术可以对原始数据进行处理，进而从原始数据提取出相应的数据，以便于开发人员可以直接利用从原始数据中提取出的数据，减少开发人员的工量，提高数据的利用率。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术第一方面公开一种数据处理方法，包括：
[0007]获取原始数据，并确定所述原始数据的数据种类；
[0008]当所述原始数据的数据种类为非结构化数据时，获取所述原始数据的描述信息，并基于所述描述信息确定解析规则；
[0009]基于所述解析规则对所述原始数据进行解析，得到所述原始数据中的属性数据，并调用预设的数据存储模块将属性数据保存至非结构化数据库；
[0010]当所述原始数据的数据种类为结构化数据时，获取所述原始数据的明文数据；
[0011]获取所述明文数据中的各个变量，并确定每个所述变量的变量类型；
[0012]基于每个所述变量的变量类型，对每个所述变量进行处理，得到变量数据，将所述变量数据保存至结构化数据库。
[0013]上述的方法，可选的，所述获取所述原始数据的明文数据，包括：
[0014]判断所述原始数据是否为加密数据；
[0015]若所述原始数据为加密数据，则对所述原始数据进行解密处理，并将解密得到的数据确定为所述原始数据的明文数据；
[0016]若所述原始数据不为加密数据，则将所述原始数据确定为明文数据。
[0017]上述的方法，可选的，所述获取原始数据，并确定所述原始数据的数据种类，包括：
[0018]获取用户发送的请求指令；
[0019]将所述请求指令发送至预设的数据前端处理模块；
[0020]获取所述数据前端处理模块基于所述请求指令获取的响应数据，将所述响应数据
确定为原始数据，并确定该原始数据的数据种类为结构化数据。
[0021]上述的方法，可选的，所述获取原始数据，并确定所述原始数据的数据种类，包括：
[0022]通过数据接口获取携带描述信息的上传数据，将所述上传数据确定为原始数据，并确定该原始数据的数据种类为非结构化数据。
[0023]上述的方法，可选的，所述基于每个所述变量的变量类型，对每个所述变量进行处理，得到变量数据，包括：
[0024]对于变量类型为重命名类型的每个变量，使用每个变量的关键字进行重命名处理，得到每个变量的第一重名命变量；
[0025]对于变量类型为衍生类型的各个变量，将各个变量进行合并处理，得到衍生变量；
[0026]对于变量类型为数组类型的各个变量，为每个变量的变量名添加数字，以对每个变量进行重命名，得到每个变量的第二重命名变量；
[0027]将各个第一重命名变量、衍生变量以及各个第二重命名变量均确定为变量数据。
[0028]上述的方法，可选的，数据前端处理装置基于所述请求指令获取响应数据的过程，包括：
[0029]对所述请求指令进行解析，确定所述请求指令的数据请求方式以及数据内容格式；
[0030]基于所述数据请求方式以及数据内容格式，生成与所述请求指令对应的请求报文；
[0031]通过预设的代理服务器将所述请求报文发送至远程服务器，使得所述远程服务器生成与所述请求报文对应的响应数据；
[0032]通过所述代理服务器获取所述远程服务器反馈的所述响应数据。
[0033]本专利技术第二方面公开一种数据处理装置，包括：
[0034]第一获取单元，用于获取原始数据，并确定所述原始数据的数据种类；
[0035]第二获取单元，用于当所述原始数据的数据种类为非结构化数据时，获取所述原始数据的描述信息，并基于所述描述信息确定解析规则；
[0036]调用单元，用于基于所述解析规则对所述原始数据进行解析，得到所述原始数据中的属性数据，并调用预设的数据存储模块将属性数据保存至非结构化数据库；
[0037]第三获取单元，用于当所述原始数据的数据种类为结构化数据时，获取所述原始数据的明文数据；
[0038]第四获取单元，用于获取所述明文数据中的各个变量，并确定每个所述变量的变量类型；
[0039]处理单元，用于基于每个所述变量的变量类型，对每个所述变量进行处理，得到变量数据，将所述变量数据保存至结构化数据库。
[0040]上述的装置，可选的，所述第三获取单元，包括：
[0041]判断子单元，用于判断所述原始数据是否为加密数据；
[0042]解密子单元，用于若所述原始数据为加密数据，则对所述原始数据进行解密处理，并将解密得到的数据确定为所述原始数据的明文数据；
[0043]第一确定子单元，用于若所述原始数据不为加密数据，则将所述原始数据确定为明文数据。
[0044]上述的装置，可选的，所述第一获取单元，包括：
[0045]第一获取子单元，用于获取用户发送的请求指令；
[0046]发送子单元，用于将所述请求指令发送至预设的数据前端处理模块；
[0047]第二获取子单元，用于获取所述数据前端处理模块基于所述请求指令获取的响应数据，将所述响应数据确定为原始数据，并确定该原始数据的数据种类为结构化数据。
[0048]上述的装置，可选的，所述第一获取单元，包括：
[0049]第二确定子单元，用于通过数据接口获取携带描述信息的上传数据，将所述上传数据确定为原始数据，并确定该原始数据的数据种类为非结构化数据。
[0050]上述的装置，可选的，所述处理单元，包括：
[0051]第一重名命子单元，用于对于变量类型为重命名类型的每个变量，使用每个变量的关键字进行重命名处理，得到每个变量的第一重名命变量；
[0052]合并子单元，用于对于变量类型为衍生类型的各个变量，将各个变量进行合并处理，得到衍生变量；
[0053]第二重名命子单元，用于对于变量类型为数组类型的各个变量，为每个变量的变量名添加数字，以对每个变量进行重命名，得到每个变量的第二重命名变量；
[0054]第三确定子单元，用于将各个第一重命名变量、衍生变量以及各个第二重命名变量均确定为变量数据。
...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取原始数据，并确定所述原始数据的数据种类；当所述原始数据的数据种类为非结构化数据时，获取所述原始数据的描述信息，并基于所述描述信息确定解析规则；基于所述解析规则对所述原始数据进行解析，得到所述原始数据中的属性数据，并调用预设的数据存储模块将属性数据保存至非结构化数据库；当所述原始数据的数据种类为结构化数据时，获取所述原始数据的明文数据；获取所述明文数据中的各个变量，并确定每个所述变量的变量类型；基于每个所述变量的变量类型，对每个所述变量进行处理，得到变量数据，将所述变量数据保存至结构化数据库。2.根据权利要求1所述的方法，其特征在于，所述获取所述原始数据的明文数据，包括：判断所述原始数据是否为加密数据；若所述原始数据为加密数据，则对所述原始数据进行解密处理，并将解密得到的数据确定为所述原始数据的明文数据；若所述原始数据不为加密数据，则将所述原始数据确定为明文数据。3.根据权利要求1所述的方法，其特征在于，所述获取原始数据，并确定所述原始数据的数据种类，包括：获取用户发送的请求指令；将所述请求指令发送至预设的数据前端处理模块；获取所述数据前端处理模块基于所述请求指令获取的响应数据，将所述响应数据确定为原始数据，并确定该原始数据的数据种类为结构化数据。4.根据权利要求1所述的方法，其特征在于，所述获取原始数据，并确定所述原始数据的数据种类，包括：通过数据接口获取携带描述信息的上传数据，将所述上传数据确定为原始数据，并确定该原始数据的数据种类为非结构化数据。5.根据权利要求1所述的方法，其特征在于，所述基于每个所述变量的变量类型，对每个所述变量进行处理，得到变量数据，包括：对于变量类型为重命名类型的每个变量，使用每个变量的关键字进行重命名处理，得到每个变量的第一重名命变量；对于变量类型为衍生类型的各个变量，将各个变量进行合并处理，得到衍生变量；对于变量类型为数组类型的各个变量，为每个变量的变量名添加数字，以对每个变量进行重命名，得到每个变量的第二重命名变量；将各个第一重命名变量、衍生变量以及各个第...
【专利技术属性】
技术研发人员：吕佳诚，娄岩，
申请(专利权)人：吉林亿联银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。