一种基于云计算的用户数据稳定储存装置制造方法及图纸

技术编号:34627634 阅读:18 留言:0更新日期:2022-08-20 09:36
本发明专利技术公开了一种基于云计算的用户数据稳定储存装置,涉及数据存储技术领域,包括数据分类模块、数据转存模块和数据存储中心;所述数据分类模块用于对私有云内存储的用户数据进行存储等级分析,并发起对应贵宾数据的转存;所述数据转存模块用于获取贵宾数据并将贵宾数据转存至数据存储中心;所述数据存储中心包括主存储节点和若干个备存储节点,首先主存储节点用于根据存储等级值确定编码数据块数量为m;再根据存配值大小选取排序前m个备存储节点作为选中节点;然后对待存储数据进行纠删码EC编码,生成EC条带;再将EC条带分布式存储于多个选中节点中,减小数据块被窃取、攻击的可能性,方便其他用户查询,大大提高数据的安全性。全性。全性。

【技术实现步骤摘要】
一种基于云计算的用户数据稳定储存装置


[0001]本专利技术涉及数据存储
,具体是一种基于云计算的用户数据稳定储存装置。

技术介绍

[0002]存储系统中,为了保证数据的安全,通常使用多副本存储技术来实现数据的冗余备份。多副本冗余技术就是对一份数据同时存储多份相同的副本,当一份数据丢失时,可以通过其他副本的数据将丢失的数据恢复出来,从而降低数据丢失的概率。副本个数的增加将会大大增加系统存储空间和网络带宽的消耗,从而增加数据存储的成本。如两副本情况下,用户真正可用空间是整个系统总存储空间的50%,而在三副本的情况下,用户真正可用空间则只有33%。
[0003]由于多副本存储技术存在存储空间浪费的缺点,现阶段的分布式存储系统越来越多的采用纠删码(EC,Erasure Code)技术对数据进行存储;相对副本而言,纠删码的编码技术无疑对存储空间利用率带来很大提升,但由于引入额外的编码、解码运算,对分布式存储系统的计算能力带来额外的要求;且在对用户数据进行分布式存储时,无法根据存储节点的存储情况和威胁情况合理选择对应的存储节点进行存储,减小用户数据被窃取、泄露的可能性,方便其他用户查询,进一步提高数据安全;针对以上不足,本专利技术提供了一种基于云计算的用户数据稳定储存装置。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此,本专利技术提出一种基于云计算的用户数据稳定储存装置。
[0005]为实现上述目的,根据本专利技术的第一方面的实施例提出一种基于云计算的用户数据稳定储存装置,包括私有云构建模块、数据分类模块、数据转存模块、数据存储中心以及数据库;
[0006]所述私有云构建模块用于将企业内部网络中各计算机节点上的闲置存储空间构建私有云;所述私有云用于存储用户数据;所述用户数据包括用户的身份信息以及用户的交易行为数据;
[0007]所述数据分类模块用于对私有云内存储的用户数据进行存储等级分析,若存储等级值YX≥存储阈值,则将对应用户数据标记为贵宾数据,并发起对应贵宾数据的转存;否则,对应用户数据继续存储于私有云;
[0008]所述数据转存模块与数据分类模块相连接,用于获取贵宾数据并将贵宾数据转存至数据存储中心;所述数据存储中心包括一个主存储节点和若干个备存储节点,用于将贵宾数据分布式存储于多个选中节点中;具体为:
[0009]S1:所述主存储节点用于获取待存储数据以及所述待存储数据的键key值,刷新所述key值对应的版本号;然后对待存储数据进行纠删码EC编码,生成EC条带;其中所述EC条
带包括m+k个EC块,其中m个EC块为数据块,k个EC块为校验块;k为预设值;
[0010]S2:所述主存储节点用于向各选中节点发送存储请求,所述存储请求携带有待存储数据所在的私有云地址、对应的key值、版本号以及分配给各选中节点的EC块数据;所述选中节点用于根据存储请求存储对应的EC块数据。
[0011]进一步地,所述数据分类模块的具体分析步骤为:
[0012]获取用户的身份信息,设定用户的财富值为CF;
[0013]在预设时间段内,统计用户的交易次数为CS;统计用户的交易总金额为ZS;将每次交易的交易金额标记为Yi,将相邻交易时间进行差值计算得到交易缓冲时长DTi,其中Yi与DTi一一对应;
[0014]设定若干个交易缓冲时长阈值,每个交易缓冲时长阈值均对应一个预设交易金额范围;根据交易金额Yi确定对应的交易缓冲时长阈值为Hm;将DTi与对应的交易缓冲时长阈值Hm相比较;当DTi小于Hm,则认为此时用户交易需求迫切,反馈高质信号至数据转存模块;
[0015]统计高质信号的出现次数为P2,将最近一次高质信号的出现时刻与系统当前时间进行差值计算得到高质缓冲时长HT;利用公式JX=(CS
×
g1+ZS
×
g2+P2
×
g3)/HT计算得到用户的交易吸引值JX,其中g1、g2、g3为系数因子;对用户的财富值CF和交易吸引值JX分配权重,计算得到对应用户数据的存储等级值YX。
[0016]进一步地,其中步骤S1中m值的确定方法为:获取待存储数据的存储等级值YX,根据存储等级值YX确定编码数据块数量为m;所述数据库内存储有存储等级值范围与编码数据块数量的映射关系表。
[0017]进一步地,其中,选中节点的具体获取方法为:
[0018]获取备存储节点的剩余内存为NC,自动从云平台中获取对应备存储节点的恶意吸引值EW,利用公式CP=(NC
×
b1)/(EW
×
b2)计算得到对应备存储节点的存配值CP,其中b1、b2均为系数因子;根据存配值CP大小对备存储节点进行排序,选取排序前m个备存储节点作为选中节点。
[0019]进一步地,所述数据库用于根据数据存储中心访问的具体环境,设定允许访问该数据存储中心的网络IP及其拥有的访问权限,生成该数据存储中心特有的网络访问白名单;并对已有的数据存储中心访问IP进行时间、空间特性和恶意性分析,并最终生成恶意IP组库。
[0020]进一步地,还包括节点分析模块;所述节点分析模块与数据存储中心相连接,用于对备存储节点进行恶意吸引值分析,具体分析步骤为:
[0021]采集备存储节点在预设时间段内的访问记录,所述访问记录包括访问时间和对应的访问IP;访问IP包括可信IP、可疑IP以及恶意IP;
[0022]统计可信IP、可疑IP以及恶意IP出现的次数占比,并依次标记为X1、X2和X3;截取最近一次可疑IP或者恶意IP的访问时间与系统当前时间之间的时间区间为辐射区间,统计辐射区间可信IP的出现次数为辐射次数F1;
[0023]利用公式EW=(X3
×
3+X2
×
2)/(X1+F1
×
g5)计算得到对应备存储节点的恶意吸引值EW,其中g5为系数因子;所述节点分析模块用于将备存储节点的恶意吸引值EW存储至云平台。
[0024]进一步地,所述可信IP指代白名单中IP;所述可疑IP指代既不在白名单,也不在恶
意IP组库中IP。
[0025]进一步地,所述数据存储中心还包括:
[0026]当所述选中节点存储失败时,所述主存储节点用于缓存分配给所述选中节点的EC块数据,并生成对应的元数据信息;所述元数据信息包括所述待存储数据所在的私有云地址、对应的key值以及版本号;
[0027]当所述选中节点故障恢复后,所述主存储节点用于将缓存的分配给所述选中节点的EC块数据以及对应的元数据信息发送给所述选中节点;
[0028]选中节点用于根据所述元数据信息存储对应的EC块数据。
[0029]与现有技术相比,本专利技术的有益效果是:
[0030]1、本专利技术中数据分类模块用于对私有云内存储的用户数据进行存储等级分析,若存储等级值YX≥存储阈值,则将对应用户数据标记为贵宾数据,并发起对应贵本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于云计算的用户数据稳定储存装置,其特征在于,包括私有云构建模块、数据分类模块、数据转存模块、数据存储中心以及数据库;所述私有云构建模块用于将企业内部网络中各计算机节点上的闲置存储空间构建私有云;所述私有云用于存储用户数据;所述用户数据包括用户的身份信息以及用户的交易行为数据;所述数据分类模块用于对私有云内存储的用户数据进行存储等级分析,若存储等级值YX≥存储阈值,则将对应用户数据标记为贵宾数据,并发起对应贵宾数据的转存;否则,对应用户数据继续存储于私有云;所述数据转存模块与数据分类模块相连接,用于获取贵宾数据并将贵宾数据转存至数据存储中心;所述数据存储中心包括一个主存储节点和若干个备存储节点,用于将贵宾数据分布式存储于多个选中节点中;具体为:S1:所述主存储节点用于获取待存储数据以及所述待存储数据的键key值,刷新所述key值对应的版本号;然后对待存储数据进行纠删码EC编码,生成EC条带;其中所述EC条带包括m+k个EC块,其中m个EC块为数据块,k个EC块为校验块;k为预设值;S2:所述主存储节点用于向各选中节点发送存储请求,所述存储请求携带有待存储数据所在的私有云地址、对应的key值、版本号以及分配给各选中节点的EC块数据;所述选中节点用于根据存储请求存储对应的EC块数据。2.根据权利要求1所述的一种基于云计算的用户数据稳定储存装置,其特征在于,所述数据分类模块的具体分析步骤为:获取用户的身份信息,设定用户的财富值为CF;在预设时间段内,统计用户的交易次数为CS;统计用户的交易总金额为ZS;将每次交易的交易金额标记为Yi,将相邻交易时间进行差值计算得到交易缓冲时长DTi,其中Yi与DTi一一对应;设定若干个交易缓冲时长阈值,每个交易缓冲时长阈值均对应一个预设交易金额范围;根据交易金额Yi确定对应的交易缓冲时长阈值为Hm;将DTi与对应的交易缓冲时长阈值Hm相比较;当DTi小于Hm,则认为此时用户交易需求迫切,反馈高质信号至数据转存模块;统计高质信号的出现次数为P2,将最近一次高质信号的出现时刻与系统当前时间进行差值计算得到高质缓冲时长HT;利用公式JX=(CS
×
g1+ZS
×
g2+P2
×
g3)/HT计算得到用户的交易吸引值JX,其中g1、g2、g3为系数因子;对用户的财富值CF和交易吸引值JX分配权重,计算得到对应用户数据的存储等级值YX。3.根据权利要求2所述的一种基于云计算的用户数据稳定储存装置,其特征在于,其中步骤S1中m值的确定方法为:获取待存储数据的存储等级值YX,根据存储等级值YX确定编...

【专利技术属性】
技术研发人员:梁晓阳段炜王萍
申请(专利权)人:烟台工程职业技术学院烟台市技师学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1