基于大数据的存储节点空间容量和安全性评估方法及系统技术方案

本发明专利技术属于数据安全技术领域，公开了一种基于大数据的存储节点空间容量和安全性评估方法及系统，包括：采集存储节点的基础信息、状态数据，筛选当前可用的数据存储节点；计算各可用数据存储节点的安全系数，对存储节点的性能进行评估；预估计算各存储节点的故障率；进行各个存储节点的安全性能评估；按照安全性能评估结果进行排序，并将各个存储节点的排序结果以及对应的存储节点的可利用存储空间大小生成存储参照表进行反馈；通过调用模块按照存储参照表进行存储节点的利用。本发明专利技术有效减少了数据的运算量，提高了评估的效率；提高了评估的准确性以及全面性，进而提高了数据存储的安全性和可靠性。安全性和可靠性。安全性和可靠性。

【技术实现步骤摘要】
基于大数据的存储节点空间容量和安全性评估方法及系统
[0001]

[0002]本专利技术属于数据安全
，尤其涉及一种基于大数据的存储节点空间容量和安全性评估方法及系统。
[0003]
技术介绍

[0004]目前，云存储是一种网上在线存储(英语：Cloud storage)的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。托管(hosting)公司运营大型的数据中心，需要数据存储托管的人，则透过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据用户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池(storage pool)的方式提供，客户便可自行使用此存储资源池来存放文件或对象。实际上，这些资源可能被分布在众多的服务器主机上。
[0005]现有技术针对云存储，主要关注于负载的均衡，即如何把负载合理地分布到各个节点；或者进一步地，通过对数据进行加密而分布式存储，即提高数据本身的可靠性来增强安全性。
[0006]然而现有技术并没有关注存储节点本身的性能、安全系数等判断或评估存储节点安全性的方法。
[0007]通过上述分析，现有技术存在的问题及缺陷为：现有技术对于存储节点的安全性评估结果只依赖负载因素，没有考虑内在因素，评估不准确。
[0008]
技术实现思路

[0009]针对现有技术存在的问题，本专利技术提供了一种基于大数据的存储节点空间容量和安全性评估方法及系统。
[0010]本专利技术是这样实现的，一种基于大数据的存储节点空间容量和安全性评估方法，所述基于大数据的存储节点空间容量和安全性评估方法包括：步骤一，通过基础信息采集模块采集存储节点的类型、数量、原始数据量及其他相关基础信息；通过状态数据获取模块获取存储节点的相关状态数据；通过筛选模块基于获取的存储节点的相关状态信息筛选当前可用的数据存储节点；步骤二，通过中央控制模块利用单片机或控制器控制安全系数计算模块计算各可用数据存储节点的安全系数；通过性能评估模块基于获取的存储节点的相关状态数据对存储节点的性能进行评估；步骤三，通过故障率预估模块预估计算各存储节点的故障率；通过安全性评估模块基于存储节点的基础信息、状态数据、安全系数、性能评估结果、故障率进行各个存储节点的
安全性能评估；步骤四，通过反馈模块按照安全性能评估结果进行排序，并将各个存储节点的排序结果以及对应的存储节点的可利用存储空间大小生成存储参照表进行反馈；通过调用模块按照存储参照表进行存储节点的利用；步骤二中，所述通过安全系数计算模块计算存储节点的安全系数包括：（1）获取存储节点的缺陷参数及风险参数，基于获取存储节点的缺陷参数及风险参数建立基于径向基函数神经网络的安全系数生成模型；（2）根据所述历史缺陷参数及历史风险参数确定所述缺陷参数及风险参数在所述安全系数生成模型的计算权重；（3）利用所述缺陷参数、风险参数相应计算权重及预先建立的基于径向基函数神经网络的安全系数生成模型生成所述存储节点的安全系数；步骤一中，所述筛选模块基于获取的存储节点的相关状态信息筛选当前可用的数据存储节点具体过程为：将存储节点的相关状态信息，建立对应的数据集；对数据集中的数据进行扫描，计算每个数据对象与其临近对象的距离, 累加求其距离和, 并计算出距离和均值；假设某个数据对象的距离和大于距离和均值, 则视该点为存储节点；把这个对象从数据集中移到存储节点集合中, 反复直到全部存储节点找到；步骤二中，所述性能评估模块基于获取的存储节点的相关状态数据对存储节点的性能进行评估包括：首先，获取存储节点的相关状态数据；并根据各个存储节点的状态数据中的负载率、原始性能值计算其剩余性能值以及最大占用带宽值；然后，根据各个所述未满载存储节点的剩余性能值获得所述存储系统的总剩余性能值；最后，根据各个存储节点的剩余性能值与全部存储节点的总剩余性能值的比值作为其性能容余率，基于性能容余率以及最大占用带宽值判断存储节点的性能。
[0011]进一步，步骤（1）中，所述基于获取存储节点的缺陷参数及风险参数建立基于径向基函数神经网络的安全系数生成模型包括：利用所述历史缺陷参数及历史风险参数训练所述基于径向基函数神经网络安全系数生成模型；利用所述历史缺陷参数及历史风险参数校正训练后的基于径向基函数神经网络安全系数生成模型。
[0012]进一步，所述最大占用带宽值计算方法包括：确定数据读写场景下存储节点的占用带宽的计算方式；基于确定的各个节点的占用带宽的计算方式，根据存储节点的原始数据量预估数据读写场景下各个节点的占用带宽；确定所述各个节点的占用带宽中的最大占用带宽。
[0013]进一步，所述基于性能容余率以及最大占用带宽值判断存储节点的性能包括：性能容余率越大代表性能状态越好；最大占用带宽值越小代表性能状态越好。
[0014]进一步，所述基于性能容余率以及最大占用带宽值判断存储节点的性能还包括：将性能容余率以及最大占用带宽值进行同向化处理，并分别设定性能容余率以及最大
占用带宽值在存储节点性能评估中的权重值，基于所述权重值以及得到的同向化处理性能容余率以及最大占用带宽值数据评估存储节点的性能。
[0015]进一步，步骤三中，所述通过故障率预估模块预估计算各存储节点的故障率包括：基于不同的存储节点介质类型确定各存储节点的读写擦除使用次数的上限值，基于获取的各存储节点不同区块的已输入输出读写信息、输入输出类异常信息以及上限值确定存储节点的故障概率。
[0016]进一步，步骤三中，所述通过安全性评估模块基于存储节点的基础信息、状态数据、安全系数、性能评估结果、故障率进行各个存储节点的安全性能评估包括：1）将存储节点的基础信息、状态数据、安全系数、性能评估结果、故障率作为存储节点的安全性评估指标，并对各安全性评估指标分配相应的权重；2）计算安全性评估指标的评分，基于安全性评估指标的权重，对安全性评估指标的评分进行加权平均得到安全性评估指标的评分；3）通过所述安全性评分与预设的安全性评估标准对比，得到被评估目标安全性评估结论。
[0017]本专利技术的另一目的在于提供一种实施所述基于大数据的存储节点空间容量和安全性评估方法的基于大数据的存储节点空间容量和安全性评估系统，所述基于大数据的存储节点空间容量和安全性评估系统包括：基础信息采集模块、状态数据获取模块、筛选模块、中央控制模块、安全系数计算模块、性能评估模块、故障率预估模块、安全性评估模块、反馈模块以及调用模块；基础信息采集模块，与中央控制模块连接，用于采集存储节点的类型、数量、原始数据量及其他相关基础信息；状态数据获取模块，与中央控制模块连接，用于获取存储节点的相关状态数据；筛选模块，与中央控制模块连接，用于基于获取的存储节点的相关状态信息筛选可用的数据存储节点；筛选模块基于获取的存储节点的相关状态信息筛选当前可用的数据存储节点具体过程为：将存储节点的相关状态信息，建立对应的数据集；对数据集中的数据进行扫描，计算每个数据对象与其临近对象的距离, 累加求其距离和, 并计算出距离和均值；假设某个数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的存储节点空间容量和安全性评估方法，其特征在于，所述基于大数据的存储节点空间容量和安全性评估方法包括：步骤一，通过基础信息采集模块采集存储节点的类型、数量、原始数据量及其他相关基础信息；通过状态数据获取模块获取存储节点的相关状态数据；通过筛选模块基于获取的存储节点的相关状态信息筛选当前可用的数据存储节点；步骤二，通过中央控制模块利用单片机或控制器控制安全系数计算模块计算各可用数据存储节点的安全系数；通过性能评估模块基于获取的存储节点的相关状态数据对存储节点的性能进行评估；步骤三，通过故障率预估模块预估计算各存储节点的故障率；通过安全性评估模块基于存储节点的基础信息、状态数据、安全系数、性能评估结果、故障率进行各个存储节点的安全性能评估；步骤四，通过反馈模块按照安全性能评估结果进行排序，并将各个存储节点的排序结果以及对应的存储节点的可利用存储空间大小生成存储参照表进行反馈；通过调用模块按照存储参照表进行存储节点的利用；步骤二中，所述通过安全系数计算模块计算存储节点的安全系数包括：（1）获取存储节点的缺陷参数及风险参数，基于获取存储节点的缺陷参数及风险参数建立基于径向基函数神经网络的安全系数生成模型；（2）根据所述历史缺陷参数及历史风险参数确定所述缺陷参数及风险参数在所述安全系数生成模型的计算权重；（3）利用所述缺陷参数、风险参数相应计算权重及预先建立的基于径向基函数神经网络的安全系数生成模型生成所述存储节点的安全系数；步骤一中，所述筛选模块基于获取的存储节点的相关状态信息筛选当前可用的数据存储节点具体过程为：将存储节点的相关状态信息，建立对应的数据集；对数据集中的数据进行扫描，计算每个数据对象与其临近对象的距离, 累加求其距离和, 并计算出距离和均值；假设某个数据对象的距离和大于距离和均值, 则视该点为存储节点；把这个对象从数据集中移到存储节点集合中, 反复直到全部存储节点找到；步骤二中，所述性能评估模块基于获取的存储节点的相关状态数据对存储节点的性能进行评估包括：首先，获取存储节点的相关状态数据；并根据各个存储节点的状态数据中的负载率、原始性能值计算其剩余性能值以及最大占用带宽值；然后，根据各个所述未满载存储节点的剩余性能值获得所述存储系统的总剩余性能值；最后，根据各个存储节点的剩余性能值与全部存储节点的总剩余性能值的比值作为其性能容余率，基于性能容余率以及最大占用带宽值判断存储节点的性能。2.如权利要求1所述基于大数据的存储节点空间容量和安全性评估方法，其特征在于，步骤（1）中，所述基于获取存储节点的缺陷参数及风险参数建立基于径向基函数神经网络的安全系数生成模型包括：
利用所述历史缺陷参数及历史风险参数训练所述基于径向基函数神经网络安全系数生成模型；利用所述历史缺陷参数及历史风险参数校正训练后的基于径向基函数神经网络安全系数生成模型。3.如权利要求1所述基于大数据的存储节点空间容量和安全性评估方法，其特征在于，所述最大占用带宽值计算方法包括：确定数据读写场景下存储节点的占用带宽的计算方式；基于确定的各个节点的占用带宽的计算方式，根据存储节点的原始数据量预估数据读写场景下各个节点的占用带宽；确定所述各个节点的占用带宽中的最大占用带宽。4.如权利要求1所述基于大数据的存储节点空间容量和安全性评估方法，其特征在于，所述基于性能容余率以及最大占用带宽值判断存储节点的性能包括：性能容余率越大代表性能状态越好；最大占用带宽值越小代表性能状态越好。5.如权利要求1所述基于大数据的存储节点空间容量和安全性评估方法，其特征在于，所述基于性能容余率以及最大占用带宽值判断存储节点的性能还包括：将性能容余率以及最大占用带宽值进行同向化处理，并分别设定性能容余率以及最大占用带宽值在存储节点性能评估中的权重值，基于所述权重值以及得到的同向化处理性能容余率以及最大占用带宽值数据评估存储节点的性能。6.如权利要求1所述基于大数据的存储节点空间容量和安全性评估方法，其特征在于，步骤三中，所述通过故障率预估模块预估计算各存储节点的故障率包括：基于不同的存储节点介质类型确定各存储节点的读写擦除使用次数的上限值，基于获取的各存储节点不同区块的已输入输出读写信息、输入输出类异常信息以及上限值确定存储节点的故障概...

【专利技术属性】
技术研发人员：ꢀ五一IntClG零六F三零六，
申请(专利权)人：周慧芳，
类型：发明
国别省市：