一种基于大数据环境下的静态数据加解密方法技术

本发明专利技术公开了一种基于大数据环境下的静态数据加解密方法，在大数据环境下，采用加解密均衡策略与备份加解密均衡策略相结合的方式，通过对服务器的资源进行数学建模，计算各服务器的处理能力，而后利用贪心算法对数学建模结果进行分析，选择最优的服务器进行加解密操作；所述服务器包括加解密服务器和/或备份加解密服务器；针对加解密过程中，由于加解密服务器故障而导致加解密策略模块不可用的难题，引入冗余设计方案：即备份加解密策略模块及配置信息到备份加解密服务器，如果加解密策略模块所在加解密服务器出现故障，自动启用备份加解密服务器，极大地提升加解密功能的可靠性。

【技术实现步骤摘要】

本专利技术涉及大数据、数据安全传输等
，具体的说，是一种基于大数据环境下的静态数据加解密方法。
技术介绍
传统的大数据静态数据加解密实现中，加解密服务器部署加解密server(Java语言)，负责与各大数据节点加解密client(Java语言)进行交互。加解密server(Java语言)通过jni接口访问底层加密卡进行通信(C语言)，从而实现加解密功能。各大数据节点调用预先配置的加解密服务器集群中指定的加解密服务器进行数据加解密。如图1所示：NameNode(主节点)与加解密服务器0、DataNode(数据节点)0与加解密服务器1、DataNode(数据节点)1与加解密服务器2、DataNode(数据节点)2与加解密服务器3是一一对应关系。现以DataNode0(数据节点0)加解密操作为例：DataNode0(数据节点0)读取数据操作时，调用加解密服务器1进行数据解密(Step2-2获取加解密策略)。如果加解密服务器1出现故障，DataNode0(数据节点0)则调用备用的加解密服务器2进行数据解密(Step2-3获取备用加解密策略)。如果加解服务器2出现故障，DataNode0(数据节点0)则调用备用的加解服务器3进行数据解密(Step2-4获取备用加解密策略)。但现有大数据静态数据加解密实现时，存在如下问题：加解密服务器集群结构复杂、兼容性差。加解密服务器中，通过Javajni接口实现r>对底层加密卡C接口调用，耦合性过强，绑定了大数据平台与加密卡厂商，从而导致问题定位复杂。基于Java实现的加解密服务器server，不便于与外部接口进行调用，兼容性差。加解密服务器集群效率低。各数据节点业务压力存在差异，数据节点与加解密服务器一一对应的简单逻辑设计，导致各加解密服务器负载差异，影响了大数据平台的整体加解密效率。加解密服务器集群可靠性低。若加解密服务器单点故障，导致单个加解密服务器承担两个甚至多个大数据平台数据节点的加解密业务，从而加剧了加解密服务器负载差异，严重地影响了大数据平台的整体加解密效率。单个加解密服务器承载压力过大，将导致上层业务延时过高从而误判数据加解密失败。
技术实现思路
本专利技术的目的在于设计出一种基于大数据环境下的静态数据加解密方法，在大数据节点进行静态数据加解密时，通过加解密策略模块实现大数据节点的加解密任务的最优分配，有效地解决了大数据节点静态数据加解密负载不均衡的问题，并提升静态数据的加解密可靠性和效率。本专利技术通过下述技术方案实现：一种基于大数据环境下的静态数据加解密方法，在大数据环境下，采用加解密均衡策略与备份加解密均衡策略相结合的方式，通过对服务器的资源进行数学建模，计算各服务器的处理能力，而后利用贪心算法对数学建模结果进行分析，选择最优的服务器进行加解密操作；所述服务器包括加解密服务器和/或备份加解密服务器；所述加解密服务器的加解密策略模块内设置有初始化模块、能力计算模块、任务分配模块和备份模块，所述备份加解密服务器的加解密策略模块内设置有初始化模块、能力计算模块及任务分配模块。进一步的为更好的实现本专利技术，特别采用下述设置方式：包括以下具体步骤：(1)初始化：在加解密服务器中，初始化模块初始化加解密任务的工作队列，虚拟所有加解密服务器的计算能力，并对所有加解密服务器的加解密功能进行初始化；(2)经步骤(1)后，在加解密服务器中，能力计算模块通过加解密能力计算公式对所有加解密服务器的资源按照权重进行计算，从而计算出各加解密服务器的计算能力；(3)经步骤(2)后，在大数据环境下，通过贪心算法，选择计算能力最优的加解密服务器，而后在加解密服务器中，任务分配模块将大数据节点的加解密任务依次放入到工作队列中；(4)经步骤(3)后，持续循环步骤(2)和(3)。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述对所有加解密服务器的加解密功能进行初始化具体为：(1-1)依据加解密服务器的计算能力，设计加解密任务的最大数量和加解密服务器的最大数量；(1-2)经步骤(1-1)后，将相关初始化配置信息，由备份模块备份到备份加解密服务器；所述相关初始化配置信息包括初始化加解密任务的最大数量、加解密任务的最大数量、当前可处理的加解密任务数、当前可用的加密服务器数量、加解密策略模块所在的加密服务器。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述步骤(1)初始化，如果初始化失败，则直接切换到备份加解密服务器。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述通过贪心算法，选择计算能力最优的加解密服务器时，如果加解密服务器计算能力达到计算能力上限值，加解密策略模块不再进行任务分解，直至存在低于计算能力上限值的加解密服务器；所述计算能力上限值为最大计算能力的70％。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述服务器的资源包括服务器的CPU利用率、内存利用率、前端吞吐量和硬盘带宽。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述加解密服务器的资源包括加解密服务器是否可用、CPU利用率、内存利用率和前端吞吐量。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述加解密能力计算公式为： P o w e r = Σ i = 1 n G i * V i * P i ; ]]>其中，Power表示加解密服务器的计算能力；G表示加解密服务器是否可用，0表示不可用，1表示可用；Vi表示加解密服务器核心指标值；Pi表示核心指标的权重值。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述步骤(2)中，如果能力计算模块，通过加解密能力计算公式对所有加解密服务器的资源按照权重进行计算时，计算失败，则直接切换到备份加解密服务器，通过备份加解密服务器的能力计算模块进行计算。进一步的为更好的实现本专利技术，特别采用下述设置方式：所述大数据环境下的大数据平台数据流，通过socket与底层加密卡加密模块进行数据通信，由底层加密卡加密模块实现数据加解密操作。所述步骤(3)中，如果某加解密服务器出现故障，则启用备份加解密服务器，由备份加解密服务器进行任务分配。本专利技术与现有技术相比，具有以下优点及有益效果：本专利技术针对加解密过程中，由于加解密服务器故障本文档来自技高网...

【技术保护点】
一种基于大数据环境下的静态数据加解密方法，其特征在于：在大数据环境下，采用加解密均衡策略与备份加解密均衡策略相结合的方式，通过对服务器的资源进行数学建模，计算各服务器的处理能力，而后利用贪心算法对数学建模结果进行分析，选择最优的服务器进行加解密操作；所述服务器包括加解密服务器和/或备份加解密服务器。

【技术特征摘要】
1.一种基于大数据环境下的静态数据加解密方法，其特征在于：在大数据环境下，采用
加解密均衡策略与备份加解密均衡策略相结合的方式，通过对服务器的资源进行数学建
模，计算各服务器的处理能力，而后利用贪心算法对数学建模结果进行分析，选择最优的服
务器进行加解密操作；所述服务器包括加解密服务器和/或备份加解密服务器。
2.根据权利要求1所述一种基于大数据环境下的静态数据加解密方法，其特征在于：包
括以下具体步骤：
(1)初始化：在加解密服务器中，初始化模块初始化加解密任务的工作队列，虚拟所有
加解密服务器的计算能力，并对所有加解密服务器的加解密功能进行初始化；
(2)经步骤(1)后，在加解密服务器中，能力计算模块通过加解密能力计算公式对所有
加解密服务器的资源按照权重进行计算，从而计算出各加解密服务器的计算能力；
(3)经步骤(2)后，在大数据环境下，通过贪心算法，选择计算能力最优的加解密服务
器，而后在加解密服务器中，任务分配模块将大数据节点的加解密任务依次放入到工作队
列中；
(4)经步骤(3)后，持续循环步骤(2)和(3)。
3.根据权利要求2所述一种基于大数据环境下的静态数据加解密方法，其特征在于：所
述对所有加解密服务器的加解密功能进行初始化具体为：
(1-1)依据加解密服务器的计算能力，设计加解密任务的最大数量和加解密服务器的
最大数量；
(1-2)经步骤(1-1)后，将相关初始化配置信息，由备份模块备份到备份加解密服务器；
所述相关初始化配置信息包括初始化加解密任务的最大数量、加解密任务的最大数量、当
前可处理的加解密任务数、当前可用的加密服务器数量、加解密策略模块所在的加密服务
器。
4.根据权利要求2或3所述一种基于大数据环境下的静态数据加解密方法，其特征在
于：所述步骤(1)初始化，如果初始化失败，则直接切换到备份加解密服务器。
5.根据权利要求2或3所述一种基于大数据环境下的静态...

【专利技术属性】
技术研发人员：吴鸿钟，陈效友，张桂银，
申请(专利权)人：成都比特信安科技有限公司，
类型：发明
国别省市：四川;51