本发明专利技术公开了一种多时间窗口的混合容错云存储方法、装置及介质，采用多窗口文件热度计算方法对文件的热度值进行统计，把热度值从高到低依次排列，根据热度值的排名区分所对应文件的文件类型；采用混合容错方法分别对不同文件类型的文件进行存储；本发明专利技术能够对于不同访问热度的文件应用最符合该文件需求的存储方法，并使文件的访问热度更符合该文件的实际值，且保持稳定的运行状态，使文件的访问和存储均衡达到最优方法。储均衡达到最优方法。储均衡达到最优方法。
【技术实现步骤摘要】
一种多时间窗口的混合容错云存储方法、装置及介质
[0001]本专利技术涉及大数据云存储领域，特别是涉及一种多时间窗口的混合容错云存储方法、装置及介质。
技术介绍
[0002]随着大数据应用性的变高，大数据存储成为了大数据应用的关键，目前很多大数据文件都是通过云存储系统来进行储存的，数据量的增多总会导致不可避免的数据失效，所以云存储系统采用冗余备份的方法来存储文件以保证云存储系统的数据可靠性。
[0003]现有的冗余备份容错技术为副本技术和纠删码技术。副本技术将每个存储的文件进行完全复制，复制得到三个副本存储于不同的数据地址中，副本技术的存储结构简单，当部分数据失效时，可以在其他的数据地址中访问保存好的副本数据，该存储方法对用户的访问采取就近分配，减少访问延迟，但随着云存储数据越来越多，此方法占用的空间越来越大；纠删码技术将每个存储的文件进行编码生成冗余数据存储，当部分数据失效时，可以通过剩下的冗余数据进行译码来恢复数据，纠删码技术的代码储存恢复方法对于副本技术的分布式存储方法来说，其消耗的存储空间较少，但其编码译码需要消耗更多的时间和更大的数据传输开销；现有技术中常用这两种方法结合文件的访问热度情况来对文件进行冗余备份，例如专利号为CN109783016A的《一种分布式存储系统中的弹性多维度冗余方法》中，其判断文件的热度一般以最近文件的访问频率作为评判的标准，这种标准对于文件热度的判断很不准确，导致没有办法对于云存储文件进行最平衡的冗余备份。
技术实现思路
[0004]本专利技术主要解决的技术问题是提供一种一种多时间窗口的混合容错云存储方法、装置及介质，能够解决系统无法对于云存储文件进行最平衡的冗余备份的问题。
[0005]为解决上述技术问题，本专利技术采用的一个技术方案是：一种多时间窗口的混合容错云存储方法，包括：
[0006]采用多窗口文件热度计算方法对文件的热度值进行统计，把热度值从高到低依次排列，根据热度值的排名区分所对应文件的文件类型；采用混合容错方法分别对不同文件类型的文件进行存储；
[0007]所述多窗口文件热度计算方法为：设置文件的更新周期、访问频率、若干统计周期和若干访问次数，系统每隔所述更新周期对文件的访问次数进行更新，根据统计周期内的访问频率，得出文件的热度值；
[0008]所述混合容错方法包括：副本容错方法、纠删码容错方法和混合冗余容错方法；所述副本容错方法为：将文件划分为若干个副本并将副本存储在不同的数据地址中；所述纠删码容错方法为：将文件划分为若干个副本将副本编码存储在不同的数据地址中；所述混合冗余容错方法为：将文件划分为若干个副本，将部分副本编码存储在不同的数据地址中，将剩余部分副本编码存储在不同的数据地址中。
[0009]进一步，所述副本容错方法具体为：将文件划分成若干数据块，每个数据块包含文件至少三个相同的副本，每个副本分别存储在不同数据节点中，每个数据节点分别存储在不同的数据地址中；
[0010]所述纠删码容错方法具体为：将文件划分成若干数据块，每个数据块包含文件一个相同的副本，每个数据块对应的副本分别存储在不同数据节点中，数据节点被编码存储到不同的数据地址中；
[0011]所述混合冗余容错方法具体为：将文件划分成若干数据块，每个数据块包含文件两个相同的副本，每个副本分别存储在不同数据节点中，每个数据节点分别存储在不同的数据地址中，将相同的数据节点分为两组，选取其中一组数据节点根据纠删码容错方法进行编码存储，剩余的一组数据节点根据副本容错方法进行存储。
[0012]进一步，所述统计周期为更新周期的整数倍，每个访问次数对应每个统计周期，访问频率为统计周期和其对应的访问次数的商，文件的热度值为所述统计周期内的访问频率的加权求和的值。
[0013]进一步，所述文件类型包括热点文件、普通文件和冷门文件，文件类型通过文件热度值排名的百分比来定义。
[0014]进一步，当文件类型为热点文件时，采用所述副本容错方法对文件进行存储；当文件类型为普通文件时，采用混合冗余容错方法对文件进行存储；当文件类型为冷门文件时，采用纠删码容错方法对文件进行存储。
[0015]进一步，当系统每隔更新周期对文件的访问次数进行更新时，文件的热度值随着访问次数的更新而更新。
[0016]进一步，当文件的热度值随着访问次数的更新而更新时，若文件更新后的热度值大于或小于文件更新前的热度值，则该文件进入考察状态；
[0017]当文件进入考察状态时，若文件更新后的热度值在每个统计周期中大于或小于文件更新前的热度值，则系统切换存储该文件的混合容错方法。
[0018]一种多时间窗口的混合容错云存储装置，包括：
[0019]统计模块、排列模块、识别模块和存储模块，统计模块与排列模块连接，排列模块与识别模块连接，识别模块和存储模块连接；所述统计模块用于将文件的热度值通过多窗口文件热度计算方法进行统计；所述排列模块用于把所述文件的热度值从高到低依次排列；所述识别模块用于根据所述热度值的排名区分所对应文件的文件类型；所述存储模块用于对不同文件类型的文件通过混合容错方法进行存储。
[0020]一种多时间窗口的混合容错云存储介质，用于储存为所述多时间窗口的混合容错云存储方法所用的软件指令，其包含用于执行上述为多时间窗口的混合容错云存储方法所设计的程序。
[0021]本专利技术的有益效果是：本专利技术能够对于不同访问热度的文件应用最符合该文件需求的存储方法，并使文件的访问热度更符合该文件的实际值，且保持稳定的运行状态，使文件的访问和存储均衡达到最优方法。
附图说明
[0022]图1是本专利技术提供的一种多时间窗口的混合容错云存储方法的流程示意图；
[0023]图2是一种多时间窗口的混合容错云存储方法中的混合冗余容错方法的布局示意图；
[0024]图3是一种多时间窗口的混合容错云存储方法中的容错模式与考察状态转换的流程示意图；
[0025]图4是一种多时间窗口的混合容错云存储装置的结构示意图。
具体实施方式
[0026]下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0027]本专利技术实施例包括：
[0028]第一方面，见图1至图3，一种多时间窗口的混合容错云存储方法，包括：
[0029]设计混合冗余容错方法，该方法结合现有的副本技术容错错以及纠删码技术容错，将所有文件进行分块存储，每个文件为一个数据块，复制该文件的两个副本文件，每个数据块存储两个副本文件，并将每个副本文件保存到两组不同的数据节点中，选取其中一组数据节点，对数据节点中的副本文件根据纠删码技术进行编码存储，为了方便编码，把数据块分成了容量更小的数据片，将数据块按纠删码技术组织成二维矩阵，将编码的冗余数据与源数据一同保存到磁盘中，数据的存储由元数据服务器节点组织和控制，元数据服务器节点记录着数据块的起始位置本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多时间窗口的混合容错云存储方法，其特征在于，包括：采用多窗口文件热度计算方法对文件的热度值进行统计，把热度值从高到低依次排列，根据热度值的排名区分所对应文件的文件类型；采用混合容错方法分别对不同文件类型的文件进行存储；所述多窗口文件热度计算方法为：设置文件的更新周期、访问频率、若干统计周期和若干访问次数，系统每隔所述更新周期对文件的访问次数进行更新，根据统计周期内的访问频率，得出文件的热度值；所述混合容错方法包括：副本容错方法、纠删码容错方法和混合冗余容错方法；所述副本容错方法为：将文件划分为若干个副本并将副本存储在不同的数据地址中；所述纠删码容错方法为：将文件划分为若干个副本将副本编码存储在不同的数据地址中；所述混合冗余容错方法为：将文件划分为若干个副本，将部分副本编码存储在不同的数据地址中，将剩余部分副本编码存储在不同的数据地址中。2.根据权利要求1中所述的一种多时间窗口的混合容错云存储方法，其特征在于，所述副本容错方法具体为：将文件划分成若干数据块，每个数据块包含文件至少三个相同的副本，每个副本分别存储在不同数据节点中，每个数据节点分别存储在不同的数据地址中；所述纠删码容错方法具体为：将文件划分成若干数据块，每个数据块包含文件一个相同的副本，每个数据块对应的副本分别存储在不同数据节点中，数据节点被编码存储到不同的数据地址中；所述混合冗余容错方法具体为：将文件划分成若干数据块，每个数据块包含文件两个相同的副本，每个副本分别存储在不同数据节点中，每个数据节点分别存储在不同的数据地址中，将相同的数据节点分为两组，选取其中一组数据节点根据纠删码容错方法进行编码存储，剩余的一组数据节点根据副本容错方法进行存储。3.根据权利要求1中所述的一种多时间窗口的混合容错云存储方法，其特征在于，所述统计周期为更新周期的整数倍，每个访问次数对应每个统计周期，访问频率为统计周期和其对应的...
【专利技术属性】
技术研发人员：张杰，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。