云计算平台中数据存储与管理方法技术

本发明专利技术提供的一种云计算平台中数据存储与管理方法，包括a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块编号；c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合成完整的文件发送至请求服务器；本发明专利技术提供的云计算平台中数据存储与管理方法，针对不同的存储设备的存储空间情况，存储之后随着用户访问对象数据的变化，改变文件存储的位置使得用户能够最快的访问所需文件，提高了存储系统的访问效率，从而提高了云存储系统的服务效率。

【技术实现步骤摘要】

本专利技术涉及计算机领域，尤其涉及一种云计算平台中数据存储与管理方法。
技术介绍
云存储是一个越来越受欢迎的网上服务归档、备份、共享数据、多设备同步数据的服务,有可能在未来成为最主要的存数据的形式。现在有很多的供应商提供了很多形式的服务基础设施，例如AmazonS3，MicrosoftAzureBlobStorage，NirvanixSDN等等。这些云存储服务为用户提供接口，提供面向块存储的服务。这些服务专注于企业用户，因为时间和位置是相互独立的，所以可用于作为存储后端的任意应用程序来提高可用性。当用户端通过缓存技术和弱一致性模型来避免每一个操作都会访问云端看起来还是比较实际的。这些服务通常是作为面向终端用户也作为存储服务基础设施给用户提供简单的数据外包和与其他用户共享数据。随着网络带宽和存储价格的降低，一些大公司例如谷歌，微软和亚马逊，分别开始建立他们的数据中心的服务，并通过一个高带宽的网络向全球范围内提供服务。而且这种趋势还在不断的蔓延中。这种新的提供计算服务的模式就是为云计算服务。在云计算服务中，云存储不仅是一个扩展云服务的重要组件，同时还在服务计费管理模式中提供虚拟存储的基础设施。然而，数据中心中存储的数据量的增长速度已经超过了摩尔定律的预测，海量数据的存储使得云存储系统在保证数据完整性方面面临更大的挑战。尽管云存储系统中无处不可数据访问，即时可伸缩以及计费模式的优势十分明显，但仍然有一些没有被大量普及。这些问题主要集中在对安全性和隐私保护等相关功能，需要用户对云服务供应商予以足够的信任才能够解决。在云存储环境中，文件数据往往存储在由第三方供应商提供的物理设备中。供应商提供的存储空间由集成管理器统一进行整合和管理。一般通用的存储协议包括NetworkAttachedStorage(NAS)和StorageAreaNetwork(SAN)。随着云计算的发展，用户数量越来越多，网络环境中硬件设备也越来越多，管理平台不能有效的管理数量巨大的存储节点，从而管理硬件设施和管理网络之间通信变得很复杂，导致系统的存储性能降低。在数据存储方面，虽然有许多策略已经提出了文件分块和数据压缩，文件存储以后对数据文件的维护常常被忽略。例如，一个文件，从源文件服务器复制到本地服务器后，选择好合适的存储位置后一直放在固定的位置。此外，云网络覆盖了很大的范围和领域，由不同的用户写的存储设备的数据可能是相似的或相同的，并且由于用户习惯和可用资源，大多数用户访问类似的数据，操作相同的功能，或重复类似的行为。因此，系统管理器不能保证云系统中每个存储节点的最佳状态。
技术实现思路
有鉴于此，本专利技术提供一种云计算平台中数据存储与管理方法，以解决上述问题。本专利技术提供的云计算平台中数据存储与管理方法，包括a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块编号；c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合成完整的文件发送至请求服务器。进一步，步骤c之后还包括：d.所述请求服务器接收文件后，根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内。进一步，所述步骤d具体包括：d1.所述请求服务器接收源服务器的文件副本；d2.所述请求服务器根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内；d3.根据文件副本所在的存储块和分割块的起始编号，利用如下公式获取分割块最大编号：PartitionNum=BlockSizeParTitionSize]]>其中，PartitionNum为分割块最大编号，BlockSize为存储块大小，PartitionSize为分割块大小。d4.根据如下公式获取文件长度：Length=FileSizePartitionSize]]>其中，FileSize为文件大小，Length为文件长度，PartitionSize为分割块大小；d5.更新请求服务器的文件索引目录，增加新文件的位置信息。进一步，所述步骤c具体包括：c1.查询所述本地服务器是否存储有被请求的文件，若存在，则根据文件数据块存储的位置查找到对应的文件响应用户请求；若不存在，则查找所需文件源文件所在的服务器位置并向源服务器发送请求复制文件副本至本地服务器的请求信息；c2.所述源服务器接收到请求服务器的复制文件请求后，将被请求文件的大小信息反馈至请求服务器；c3.根据被请求文件的大小确认所述请求服务器是否具备相应的存储空间：如存储空间满足需求，则源服务器复制所有分割块内容并组合成完整的文件发送至请求服务器。进一步，所述步骤c3中，如果存储空间不够，所述请求服务器将其内部存储的部分文件删除。进一步，确定所述请求服务器内部存储的被访问频率相对最低的文件，若所述被访问频率最低的文件为初始源文件，则不允许删除。进一步，将请求服务器的存储空间划分为热区域和冷区域两个区域，将被访问次数最多的部分文件放置在热区域内。进一步，周期性统计所有存储在本地的文件块的被访问次数，确定被访问次数最多的文件，若其存储在冷区域，则转存储到热区域并替换热区域内访问次数最少的文件。进一步，优先删除从源服务器复制的被访问最少的文件副本。进一步，当需要查找文件时，通过文件索引目录获取文件所在存储块起始编号并根据文件长度直接读取全部文件。本专利技术的有益效果：本专利技术提供的云计算平台中数据存储与管理方法，针对不同的存储设备的存储空间情况，按照固定的大小尺寸将存储空间划分为相同的存储块，再对每个存储块按照自定义的大小划分方便存储各种大小尺寸的数据文件，通过设置热区域和冷区域，分别存储受访问频率高的文件和受访问频率低的文件，使数据在存储之后随着用户访问对象数据的变化，改变文件存储的位置使得用户能够最快的访问所需文件，提高了存储系统的访问效率，从而提高了云存储系统的服务效率，附图说明下面结合附图和实施例对本专利技术作进一步描述：图1是本专利技术的原理示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步描述：图1是本专利技术的原理示意图。如图1所示，本实施例提供了一种云计算平台中数据存储与管理方法，包括：a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；b.将每个存储块按照固定大小本文档来自技高网...

【技术保护点】
一种云计算平台中数据存储与管理方法，其特征在于：包括a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块编号；c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合成完整的文件发送至请求服务器。

【技术特征摘要】
1.一种云计算平台中数据存储与管理方法，其特征在于：包括
a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编
号；
b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块
编号；
c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合
成完整的文件发送至请求服务器。
2.根据权利要求1所述的云计算平台中数据存储与管理方法，其特征在于：
步骤c之后还包括：
d.所述请求服务器接收文件后，根据其自身分割块大小将文件划分为若干
分割块并存储在相应的空余存储空间内。
3.根据权利要求2所述的云计算平台中数据存储与管理方法，其特征在于：
所述步骤d具体包括：
d1.所述请求服务器接收源服务器的文件副本；
d2.所述请求服务器根据其自身分割块大小将文件划分为若干分割块并存
储在相应的空余存储空间内；
d3.根据文件副本所在的存储块和分割块的起始编号，利用如下公式获取分
割块最大编号：
PartitionNum=BlockSizePartitionSize]]>其中，PartitionNum为分割块最大编号，BlockSize为存储块大小，
PartitionSize为分割块大小。
d4.根据如下公式获取文件长度：
Length=FileSizePartitionSize]]>其中，FileSize为文件大小，Length为文件长度，PartitionSize为分割

\t块大小；
d5.更新请求服务器的文件索引目录，增加新文件的位置信息。
4.根据权利要求1所述的云计算平台中数据存储与管理方法，其特征在于：
所述步骤c具体包括：
c1.查询本地服务器是否存储有被请求的文件，
...

【专利技术属性】
技术研发人员：常涛，朱韵攸，王晨，郑元兵，吴维农，张兴，
申请(专利权)人：国家电网公司，国网重庆市电力公司信息通信分公司，
类型：发明
国别省市：北京;11