一种基于大数据平台数据的数据多级输出处理方法技术

本发明专利技术涉及大数据平台数据加解密领域，尤其涉及一种基于大数据平台数据的数据多级输出处理方法，包括：

【技术实现步骤摘要】
一种基于大数据平台数据的数据多级输出处理方法


[0001]本专利技术涉及大数据平台数据加解密领域，具体涉及一种基于大数据平台数据的数据多级输出处理方法
。

技术介绍

[0002]大数据平台是一种通过内容共享
、
资源共用
、
渠道共建和数据共通等形式来进行服务的网络平台，但由于其平台数据来源多样，数据格式和结构复杂，准确地识别所有敏感字段并不容易，需要投入大量时间和资源进行识别和验证
。
其次，针对不同的敏感字段，需要选择合适的算法和策略进行加密或脱敏，这需要开发人员根据具体情况进行设计和编写，对技术要求较高，同时由于数据格式和结构的不断变化，加密算法也需要不断更新和维护，进一步增加了开发成本和难度
。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供了一种基于大数据平台数据的数据多级输出处理方法，通过聚类算法与多级验证处理，可以提高加解密的准确性和效率，减少数据泄露的风险为实现上述目的，本专利技术提供了一种基于大数据平台数据的数据多级输出处理方法，包括：
S1、
利用大数据平台数据进行抽样分析处理得到大数据平台数据抽样分析结果；
S2、
利用所述大数据平台数据抽样分析结果基于聚类分析得到大数据平台数据聚类分析结果；
S3、
利用所述大数据平台数据聚类分析结果得到数据多级输出处理结果
。
[0004]优选的，所述利用大数据平台数据进行抽样分析处理得到大数据平台数据抽样分析结果包括：
S1
‑
1、
获取大数据平台数据对应源数据；
S1
‑
2、
利用所述大数据平台数据对应源数据基于水塘抽样法进行抽样处理得到源数据抽样结果；
S1
‑
3、
利用所述源数据抽样结果进行数据向量化处理得到源数据向量结果；
S1
‑
4、
利用所述源数据向量结果作为大数据平台数据抽样分析结果；其中，所述源数据包括数据字段名称与基础源数据
。
[0005]进一步的，利用所述源数据抽样结果进行数据向量化处理得到源数据向量结果包括：
S1
‑3‑
1、
分别获取源数据抽样结果对应数据类型与数据字段名称作为源数据第一特征与源数据第二特征；
S1
‑3‑
2、
利用所述源数据第一特征对源数据抽样结果进行向量化处理得到源数据第一向量结果；
S1
‑3‑
3、
利用所述源数据第二特征对源数据抽样结果进行向量化处理得到源数据第二向量结果；
S1
‑3‑
4、
判断所述源数据第一向量结果与源数据第二向量结果是否完整对应，若是，则利用所述源数据第一向量结果与源数据第二向量结果作为源数据向量结果，否则，执行
S1
‑3‑5；
S1
‑3‑
5、
判断所述源数据第一特征与大数据平台数据是否对应，若是，则返回
S1
‑3‑3，否则，执行
S1
‑3‑6；
S1
‑3‑
6、
判断所述源数据第二特征与大数据平台数据是否对应，若是，则返回
S1
‑3‑4，否则，执行
S1
‑3‑
1。
[0006]进一步的，利用所述大数据平台数据抽样分析结果基于聚类分析得到大数据平台数据聚类分析结果包括：
S2
‑
1、
根据所述大数据平台数据抽样分析结果对应数据字段名称与基础源数据分别作为第一聚类特征与第二聚类特征；
S2
‑
2、
利用所述大数据平台数据抽样分析结果根据第一聚类特征与第二聚类特征基于
K
‑
means
聚类分析算法得到大数据平台数据聚类分析结果
。
[0007]优选的，利用所述大数据平台数据聚类分析结果得到数据多级输出处理结果包括：
S3
‑
1、
利用所述大数据平台数据聚类分析结果进行加密分类处理得到大数据平台数据加密分类结果；
S3
‑
2、
利用所述大数据平台数据加密分类结果进行修正处理得到大数据平台数据加密修正结果；
S3
‑
3、
利用所述大数据平台数据加密修正结果得到数据多级输出处理结果
。
[0008]进一步的，利用所述大数据平台数据聚类分析结果进行加密分类处理得到大数据平台数据加密分类结果包括：
S3
‑1‑
1、
利用所述大数据平台数据聚类分析结果对应源数据第一向量结果作为第一筛选阈值；
S3
‑1‑
2、
利用所述大数据平台数据聚类分析结果对应源数据第二向量结果作为第二筛选阈值；
S3
‑1‑
3、
判断所述第一筛选阈值是否大于第二筛选阈值，若是，则利用大于第一筛选阈值作为第一分类范围，大于第二筛选阈值且小于等于第一筛选阈值作为第二分类范围，小于等于第二筛选阈值作为第三分类范围，并执行
S3
‑1‑4，否则，返回
S3
‑1‑1；
S3
‑1‑
4、
判断所述大数据平台数据聚类分析结果是否对应第一分类范围，若是，则利用所述大数据平台数据聚类分析结果直接输出大数据平台数据加密分类结果，否则，执行
S3
‑1‑5；
S3
‑1‑
5、
判断所述大数据平台数据聚类分析结果是否对应第二分类范围，若是，执行
S3
‑1‑6，否则，利用所述大数据平台数据聚类分析结果对应数据字段名称作为大数据平台数据加密分类结果；
S3
‑1‑
6、
判断大数据平台数据聚类分析结果对应聚类分析结果或数据字段名称是否任一存在加密需求，若是，则根据所述聚类分析结果或数据字段名称作为大数据平台数
据加密分类结果，否则，利用所述大数据平台数据聚类分析结果对应数据字段名称作为大数据平台数据加密分类结果
。
[0009]进一步的，利用所述大数据平台数据加密分类结果进行修正处理得到大数据平台数据加密修正结果包括：
S3
‑2‑
1、
利用所述大数据平台数据加密分类结果进行多级处理得到大数据平台数据多级处理结果；
S3
‑2‑
2、
利用所述大数据平台数据多级处理结果进行数据对称性校验处理得到大数据平台数据加密修正结果
。
[0010]进一步的，利用所述大数据平台数据加密分类结果进行多级处理得到大数据平台数据多级处理结果包括：
S3
‑2‑1‑
1、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于大数据平台数据的数据多级输出处理方法，其特征在于，包括：
S1、
利用大数据平台数据进行抽样分析处理得到大数据平台数据抽样分析结果；
S2、
利用所述大数据平台数据抽样分析结果基于聚类分析得到大数据平台数据聚类分析结果；
S3、
利用所述大数据平台数据聚类分析结果得到数据多级输出处理结果
。2.
如权利要求1所述的一种基于大数据平台数据的数据多级输出处理方法，其特征在于，所述利用大数据平台数据进行抽样分析处理得到大数据平台数据抽样分析结果包括：
S1
‑
1、
获取大数据平台数据对应源数据；
S1
‑
2、
利用所述大数据平台数据对应源数据基于水塘抽样法进行抽样处理得到源数据抽样结果；
S1
‑
3、
利用所述源数据抽样结果进行数据向量化处理得到源数据向量结果；
S1
‑
4、
利用所述源数据向量结果作为大数据平台数据抽样分析结果；其中，所述源数据包括数据字段名称与基础源数据
。3.
如权利要求2所述的一种基于大数据平台数据的数据多级输出处理方法，其特征在于，利用所述源数据抽样结果进行数据向量化处理得到源数据向量结果包括：
S1
‑3‑
1、
分别获取源数据抽样结果对应数据类型与数据字段名称作为源数据第一特征与源数据第二特征；
S1
‑3‑
2、
利用所述源数据第一特征对源数据抽样结果进行向量化处理得到源数据第一向量结果；
S1
‑3‑
3、
利用所述源数据第二特征对源数据抽样结果进行向量化处理得到源数据第二向量结果；
S1
‑3‑
4、
判断所述源数据第一向量结果与源数据第二向量结果是否完整对应，若是，则利用所述源数据第一向量结果与源数据第二向量结果作为源数据向量结果，否则，执行
S1
‑3‑5；
S1
‑3‑
5、
判断所述源数据第一特征与大数据平台数据是否对应，若是，则返回
S1
‑3‑3，否则，执行
S1
‑3‑6；
S1
‑3‑
6、
判断所述源数据第二特征与大数据平台数据是否对应，若是，则返回
S1
‑3‑4，否则，执行
S1
‑3‑
1。4.
如权利要求1所述的一种基于大数据平台数据的数据多级输出处理方法，其特征在于，利用所述大数据平台数据抽样分析结果基于聚类分析得到大数据平台数据聚类分析结果包括：
S2
‑
1、
根据所述大数据平台数据抽样分析结果对应数据字段名称与基础源数据分别作为第一聚类特征与第二聚类特征；
S2
‑
2、
利用所述大数据平台数据抽样分析结果根据第一聚类特征与第二聚类特征基于
K
‑
means
聚类分析算法得到大数据平台数据聚类分析结果
。5.
如权利要求4所述的一种基于大数据平台数据的数据多级输出处理方法，其特征在于，利用所述大数据平台数据聚类分析结果得到数据多级输出处理结果包括：
S3
‑
1、
利用所述大数据平台数据聚类分析结果进行加密分类处理得到大数据平台数据加密分类结果；
S3
‑
2、
利用所述大数据平台数据加密分类结果进行修正处理得到大数据平台数据加密修正结果；
S3
‑
3、
利用所述大数据平台数据加密修正结果得到数据多级输出处理结果
。6.
如权利要求5所述的一种基于大数据平台数据的数据多级输出处理方法，其特征在于，利用所述大数据平台数据聚类分析结果进行加密分类处理得到大数据平台数据加密分类结果包括：
S3
‑1‑
1、
利用所述大数据平台数据聚类分析结果对应源数据第一向量结果作为第一筛选阈值；
S3
‑1‑
2、
利用所述大数据平台数据聚类分析结果对应源数据第二向量结果作为第二筛选阈值；
S3
‑1‑
3、
判断所述第一筛选阈值是否大于第二筛选阈值，若是，则利用大于第一筛选阈值作为第一分类范围，大于第二筛选阈值且小于等于第一筛选阈值作为第二分类范围，小于等于第二筛选阈值作为第三分类范围，并执行
S3
‑1‑4，否则，返回
S3
‑1‑1；
S3
‑1‑
4、
判断所述大数据平台数据聚类分析结果是否对应第一分类范围，若是，则利用所述大数据平台数据聚类分析结果直接输出大数据平台数据加密分类结果，否则，执行
S3
‑1‑5；
S3
‑1‑
5、
判断所述大数据平台数据聚类分析结果是否对应第二分类范围，若是，执行
S3
‑1‑6，否则，利用所述大数据平台数据聚类分...

【专利技术属性】
技术研发人员：赵志庆，侯玉柱，袁鹏文，余毛猛，王巍，董席峰，
申请(专利权)人：戎行技术有限公司，
类型：发明
国别省市：