适用于大数据的数据处理方法、装置、设备及存储介质制造方法及图纸

本申请涉及大数据技术领域，揭示了一种适用于大数据的数据处理方法、装置、设备及存储介质，其中方法包括：根据同步数据存储地址从预设的数据同步层中确定每个字段对应的单字段数据；根据目标数据源标识和目标单字段数据对应的字段标识，从预设的解密信息列表中查询解密信息，得到目标查询结果；若目标查询结果为成功时，将为成功的目标查询结果对应的解密信息作为命中解密信息，根据命中解密信息和目标单字段数据确定待清洗字段数据；若目标查询结果为失败时，将目标单字段数据作为待清洗字段数据；对待清洗字段数据进行数据清洗，得到待存储字段数据；将待存储字段数据存储到数据清洗层中。从而使本申请适用于对数据安全性要求较高的应用场景。求较高的应用场景。求较高的应用场景。

【技术实现步骤摘要】
适用于大数据的数据处理方法、装置、设备及存储介质


[0001]本申请涉及到大数据
，特别是涉及到一种适用于大数据的数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着数据库技术的发展和数据量的剧增，数据仓库得到广泛的应用。传统的数据仓库分为数据同步层、数据清洗层、数据集市层，只能对上游系统的数据进行数据清洗和聚合，从而不适用于对数据安全性要求较高的应用场景。

技术实现思路

[0003]本申请的主要目的为提供一种适用于大数据的数据处理方法、装置、设备及存储介质，旨在解决目前的数据仓库只能对上游系统的数据进行数据清洗和聚合，从而不适用于对数据安全性要求较高的应用场景的技术问题。
[0004]为了实现上述专利技术目的，本申请提出一种适用于大数据的数据处理方法，所述方法包括：
[0005]获取目标数据源标识对应的同步数据存储地址；
[0006]根据所述同步数据存储地址，从预设的数据同步层中提取每个字段的数据，得到每个字段对应的单字段数据；
[0007]根据所述目标数据源标识和目标单字段数据对应的字段标识，从预设的解密信息列表中查询解密信息，得到目标查询结果，其中，所述目标单字段数据是任一个所述单字段数据；
[0008]若所述目标查询结果为成功时，将为成功的所述目标查询结果对应的所述解密信息作为命中解密信息，根据所述命中解密信息和所述目标单字段数据，确定待清洗字段数据；
[0009]若所述目标查询结果为失败时，将所述目标单字段数据作为所述待清洗字段数据；
[0010]对所述待清洗字段数据进行数据清洗，得到待存储字段数据；
[0011]将所述待存储字段数据存储到数据清洗层中。
[0012]进一步的，所述根据所述目标数据源标识和目标单字段数据对应的字段标识，从预设的解密信息列表中查询解密信息，得到目标查询结果的步骤，包括：
[0013]将所述目标数据源标识在所述解密信息列表的各个数据源标识中进行查找，得到标识查找结果；
[0014]若所述标识查找结果为成功，则将所述标识查找结果在所述解密信息列表中对应的各条数据记录作为命中数据记录集，将所述目标单字段数据对应的字段标识在所述命中数据记录集中查询解密信息，得到所述目标查询结果；
[0015]若所述标识查找结果为失败，则确定所述目标查询结果为失败。
[0016]进一步的，所述根据所述命中解密信息和所述目标单字段数据，确定待清洗字段数据的步骤，包括：
[0017]根据所述命中解密信息和所述目标单字段数据生成解密请求；
[0018]将所述解密请求发送给解密系统，其中，所述解密系统用于根据所述解密请求携带的所述命中解密信息，从预设的解密函数库中查找解密函数，得到命中解密函数，采用所述命中解密函数，对所述解密请求携带的所述目标单字段数据进行解密，得到解密后单字段数据，根据所述解密后单字段数据生成解密响应值；
[0019]获取所述解密系统根据所述解密请求发送的所述解密响应值；
[0020]对所述解密响应值进行字段数据解析，得到所述待清洗字段数据。
[0021]进一步的，所述对所述待清洗字段数据进行数据清洗，得到待存储字段数据的步骤，包括：
[0022]采用预设的脏数据处理规则，对所述待清洗字段数据进行脏数据处理，得到待标准化字段数据；
[0023]获取所述待标准化字段数据对应的目标数据标准化处理规则；
[0024]采用所述目标数据标准化处理规则，对所述待标准化字段数据进行数据标准化处理，得到所述待存储字段数据。
[0025]进一步的，所述将所述待存储字段数据存储到数据清洗层中的步骤之后，包括：
[0026]从所述数据清洗层中获取数据，作为待处理数据；
[0027]采用预设的业务领域列表，对所述待处理数据进行划分，得到多个单领域数据；
[0028]将目标领域数据存储到数据模型层中的与待存储业务领域对应的存储区域中，其中，所述目标领域数据是所述待存储业务领域对应的所述单领域数据，所述待存储业务领域是所述业务领域列表中的任一个业务领域。
[0029]进一步的，所述将目标领域数据存储到数据模型层中的与待存储业务领域对应的存储区域中的步骤之后，包括：
[0030]获取数据聚合请求，其中，所述数据聚合请求携带有待处理业务领域、字段配置及聚合方法配置；
[0031]根据所述字段配置和所述待处理业务领域，从所述数据模型层中获取数据，作为待聚合数据；
[0032]根据所述聚合方法配置，对所述待聚合数据进行聚合计算，得到待存储聚合数据；
[0033]将所述待存储聚合数据存储到数据集市层中的与所述待处理业务领域对应的所述存储区域中。
[0034]进一步的，所述数据聚合请求还携带有用户信息，所述根据所述字段配置和所述待处理业务领域，从所述数据模型层中获取数据，作为待聚合数据的步骤，包括：
[0035]根据所述字段配置中的每个字段标识，从所述数据模型层对应的字段领域列表中获取业务领域，作为单字段业务领域；
[0036]判断是否存在所述单字段业务领域与所述待处理业务领域不相同；
[0037]若是，则根据所述待处理业务领域、与所述待处理业务领域不相同的所述单字段业务领域生成业务领域不匹配信号，将所述业务领域不匹配信号发送给所述数据聚合请求对应的客户端；
[0038]若否，则将所述用户信息和所述字段配置中的每个所述字段标识，从所述数据模型层对应的授权信息列表中进行授权信息查找，得到单字段授权结果；
[0039]判断是否存在所述单字段授权结果为失败；
[0040]若是，则根据为失败的各个所述单字段授权结果对应的各个所述字段生成字段权限不通过信号，将所述字段权限不通过信号发送给所述数据聚合请求对应的所述客户端；
[0041]若否，则根据所述字段配置和所述待处理业务领域，从所述数据模型层中获取数据，得到所述待聚合数据。
[0042]本申请还提出了一种适用于大数据的数据处理装置，所述装置包括：
[0043]同步数据存储地址获取模块，用于获取目标数据源标识对应的同步数据存储地址；
[0044]单字段数据确定模块，用于根据所述同步数据存储地址，从预设的数据同步层中提取每个字段的数据，得到每个字段对应的单字段数据；
[0045]目标查询结果确定模块，用于根据所述目标数据源标识和目标单字段数据对应的字段标识，从预设的解密信息列表中查询解密信息，得到目标查询结果，其中，所述目标单字段数据是任一个所述单字段数据；
[0046]第一数据处理模块，用于若所述目标查询结果为成功时，将为成功的所述目标查询结果对应的所述解密信息作为命中解密信息，根据所述命中解密信息和所述目标单字段数据，确定待清洗字段数据；
[0047]第二数据处理模块，用于若所述目标查询结果为失败时，将所述目标单字段数据作为所述待清洗字段数据；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于大数据的数据处理方法，其特征在于，所述方法包括：获取目标数据源标识对应的同步数据存储地址；根据所述同步数据存储地址，从预设的数据同步层中提取每个字段的数据，得到每个字段对应的单字段数据；根据所述目标数据源标识和目标单字段数据对应的字段标识，从预设的解密信息列表中查询解密信息，得到目标查询结果，其中，所述目标单字段数据是任一个所述单字段数据；若所述目标查询结果为成功时，将为成功的所述目标查询结果对应的所述解密信息作为命中解密信息，根据所述命中解密信息和所述目标单字段数据，确定待清洗字段数据；若所述目标查询结果为失败时，将所述目标单字段数据作为所述待清洗字段数据；对所述待清洗字段数据进行数据清洗，得到待存储字段数据；将所述待存储字段数据存储到数据清洗层中。2.根据权利要求1所述的适用于大数据的数据处理方法，其特征在于，所述根据所述目标数据源标识和目标单字段数据对应的字段标识，从预设的解密信息列表中查询解密信息，得到目标查询结果的步骤，包括：将所述目标数据源标识在所述解密信息列表的各个数据源标识中进行查找，得到标识查找结果；若所述标识查找结果为成功，则将所述标识查找结果在所述解密信息列表中对应的各条数据记录作为命中数据记录集，将所述目标单字段数据对应的字段标识在所述命中数据记录集中查询解密信息，得到所述目标查询结果；若所述标识查找结果为失败，则确定所述目标查询结果为失败。3.根据权利要求1所述的适用于大数据的数据处理方法，其特征在于，所述根据所述命中解密信息和所述目标单字段数据，确定待清洗字段数据的步骤，包括：根据所述命中解密信息和所述目标单字段数据生成解密请求；将所述解密请求发送给解密系统，其中，所述解密系统用于根据所述解密请求携带的所述命中解密信息，从预设的解密函数库中查找解密函数，得到命中解密函数，采用所述命中解密函数，对所述解密请求携带的所述目标单字段数据进行解密，得到解密后单字段数据，根据所述解密后单字段数据生成解密响应值；获取所述解密系统根据所述解密请求发送的所述解密响应值；对所述解密响应值进行字段数据解析，得到所述待清洗字段数据。4.根据权利要求1所述的适用于大数据的数据处理方法，其特征在于，所述对所述待清洗字段数据进行数据清洗，得到待存储字段数据的步骤，包括：采用预设的脏数据处理规则，对所述待清洗字段数据进行脏数据处理，得到待标准化字段数据；获取所述待标准化字段数据对应的目标数据标准化处理规则；采用所述目标数据标准化处理规则，对所述待标准化字段数据进行数据标准化处理，得到所述待存储字段数据。5.根据权利要求1所述的适用于大数据的数据处理方法，其特征在于，所述将所述待存储字段数据存储到数据清洗层中的步骤之后，包括：
从所述数据清洗层中获取数据，作为待处理数据；采用预设的业务领域列表，对所述待处理数据进行划分，得到多个单领域数据；将目标领域数据存储到数据模型层中的与待存储业务领域对应的存储区域中，其中，所述目标领域数据是所述待存储业务领域对应的所述单领域数据，所述待存储业务领域是所述业务领域列...

【专利技术属性】
技术研发人员：陈龙，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：