一种数据存储方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据存储方法、装置、设备及存储介质，涉及分布式文件系统、块存储系统领域，所述方法包括：根据待存储的业务数据，确定所述业务数据大小；根据所述业务数据大小，确定适合所述业务数据大小的存储单位；按照所述存储单位，将所述业务数据保存至所述块存储系统。本发明专利技术实施例的块存储系统支持多种规格的存储单位，能够根据存储数据大小，智能切换存储单位，不仅大大提高了块存储的存储空间使用率，而且能够提高读写性能，增加分布式文件系统的应用范围。

【技术实现步骤摘要】
一种数据存储方法、装置、设备及存储介质
本专利技术涉及分布式文件系统、块存储系统领域，特别涉及一种数据存储方法、装置、设备及存储介质。
技术介绍
如今是信息爆炸时代，人们可以获取的数据成指数倍增长，计算机通过文件系统管理和存储数据，单纯通过增加硬盘个数来扩展计算机文件系统存储容量的方式已不能满足目前的应用场景，并且在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题。块存储系统作为分布式文件系统的物理存储单元，是非常重要的一个模块。块存储系统的性能和存储方式等特性对分布式文件系统起了决定性的作用。目前常见的块存储系统的存储单位在启动时是固定的。这样无论存储小数据还是大数据，都使用相同的存储单位来存储，造成存储资源的浪费。
技术实现思路
本专利技术实施例提供的一种数据存储方法、装置、设备及存储介质，通过实现块存储系统的存储单位的智能切换，解决存储资源浪费的问题。根据本专利技术实施例提供的一种数据存储方法，包括：根据待存储的业务数据，确定所述业务数据大小；根据所述业务数据大小，确定适合所述业务数据大小的存储单位；按照所述存储单位，将所述业务数据保存至所述块存储系统。优选地，在所述根据待存储的业务数据，确定所述业务数据大小之前，还包括：根据存储器容量和预设的数据页大小，确定用于存储数据的数据页区和用于管理所述数据页区的元数据区；其中，所述元数据区包括具有区EXTENT描述符的EXTENT描述符区和具有段描述符的段描述符区。优选地，所述根据存储器容量和预设的数据页大小，确定用于存储数据的数据页区和用于管理所述数据页区的元数据区之后，还包括：从所述段描述符区申请空闲的段描述符，并将已创建的逻辑块组CHUNKGROUP的基本信息写入所述段描述符中。优选地，所述根据所述业务数据大小，确定适合所述业务数据大小的存储单位包括：在向所述CHUNKGROUP写入业务数据期间，当根据所述业务数据大小连续申请的EXTENT描述符对应的EXTENT均大于或均小于当前的存储单位时，重新确定适合所述业务数据大小的存储单位。优选地，所述根据所述业务数据大小，确定适合所述业务数据大小的存储单位包括：在向所述CHUNKGROUP写入业务数据期间，分析所述业务数据的模型，根据所述业务数据的模型，重新确定适合所述业务数据大小的存储单位。优选地，所述按照所述存储单位，将所述业务数据保存至所述块存储系统包括：按照重新确定的适合所述业务数据大小的所述存储单位，从所述EXTENT描述符区为已创建的所述CHUNKGROUP申请空闲的EXTENT描述符；按照所述存储单位，将所述业务数据写入所述EXTENT描述符对应的EXTENT；其中，所述存储单位的大小是所述数据页的大小的2的N次方倍，所述N为大于或等于0的整数。优选地，还包括：将已申请的空闲的所述EXTENT描述符写入已申请的所述段描述符中的空闲EXTENT页链表；若所述EXTENT描述符对应的EXTENT未写满，则将所述EXTENT描述符写入已申请的所述段描述符中的可用EXTENT页链表；若所述EXTENT描述符对应的EXTENT已写满，则将所述EXTENT描述符写入已申请的所述段描述符中的满EXTENT页链表。根据本专利技术实施例提供的一种数据存储装置，包括：数据量确定模块，用于根据待存储的业务数据，确定所述业务数据大小；存储单位选择模块，用于根据所述业务数据大小，确定适合所述业务数据大小的存储单位；业务数据存储模块，用于按照所述存储单位，将所述业务数据保存至所述块存储系统。根据本专利技术实施例提供的一种数据存储设备，所述设备包括：处理器，以及与所述处理器耦接的存储器；所述存储器上存储有可在所述处理器上运行的数据存储程序，所述数据存储程序被所述处理器执行时实现上述的的数据存储方法的步骤。根据本专利技术实施例提供的一种存储介质，其上存储有数据存储程序，所述数据存储程序被处理器执行时实现如上述的数据存储方法的步骤。本专利技术实施例提供的技术方案具有如下有益效果：本专利技术实施例的块存储系统支持多种规格的存储单位，能够根据存储数据大小，智能切换存储单位，不仅大大提高了块存储的存储空间使用率，而且能够提高读写性能，增加分布式文件系统的应用范围。附图说明图1是本专利技术实施例提供的数据存储流程图；图2是本专利技术实施例提供的数据存储装置框图；图3是本专利技术实施例提供的存储介质的存储布局图；图4是本专利技术实施例提供的段描述符页的结构图；图5是本专利技术实施例提供的区描述符页的结构图；图6是本专利技术实施例提供的区描述符页位图(BITMAP)的结构图。具体实施方式以下结合附图对本专利技术的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1是本专利技术实施例提供的数据存储流程图，如图1所示，步骤包括：步骤S101：在块存储系统运行期间，根据待存储的业务数据，确定所述业务数据大小。在步骤S101之前，进行格式化处理，具体地说，根据存储器容量和预设的数据页大小，确定用于存储数据的数据页区和用于管理所述数据页区的元数据区。其中，所述元数据区包括具有EXTENT描述符的EXTENT描述符区和具有段描述符的段描述符区。进一步地，还需要对EXTENT描述符区和段描述符区进行格式化处理。然后创建CHUNKGROUP(逻辑块组)，并从所述段描述符区申请空闲的段描述符，将已创建的CHUNKGROUP的基本信息写入所述段描述符中。步骤S102：根据所述业务数据大小，确定适合所述业务数据大小的存储单位。步骤S102的目的在于，选择符合实际数据大小的存储单元，即若是大数据量数据，设置大的存储单位，若是小数据量数据，设置小的存储单位，若是包含大数据量和小数据量的混合数据，则根据数据模型，设置合适的存储单位。具体地说，在向所述CHUNKGROUP写入业务数据期间，当根据所述业务数据大小连续申请的EXTENT描述符对应的EXTENT均大于或均小于当前的存储单位时，重新确定适合所述业务数据大小的存储单位。或者，在向所述CHUNKGROUP写入业务数据期间，分析所述业务数据的模型，根据所述业务数据的模型，重新确定适合所述业务数据大小的存储单位。步骤S103：按照所述存储单位，将所述业务数据保存至所述块存储系统。步骤S103包括：按照重新确定的适合所述业务数据大小的所述存储单位，从所述EXTENT描述符区为已创建的所述CHUNKGROUP申请空闲的EXTENT描述符，按照所述存储单位，将所述业务数据写入所述EXTENT描述符对应的EXTENT。其中，将已申请的空闲的所述EXTENT描述符写入已申请的所述段描述符中的空闲EXTENT页链表，随着数据写入，若所述EXTENT描述符对应的EXTENT未写满，则将所述EXTENT描述符写入已申请的所述段描述符中的可用EXTENT页链表，若所述EXTENT描述符对应的EXTENT已写满，则将所述EXTENT描述符写入已申请的所述段描述符中的满EXTENT页链表。上述存储单位的大小是所述数据页的大小的2的N次方倍，所述N为大于或等于0的整数。本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：根据待存储的业务数据，确定所述业务数据大小；根据所述业务数据大小，确定适合所述业务数据大小的存储单位；按照所述存储单位，将所述业务数据保存至所述块存储系统。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：根据待存储的业务数据，确定所述业务数据大小；根据所述业务数据大小，确定适合所述业务数据大小的存储单位；按照所述存储单位，将所述业务数据保存至所述块存储系统。2.根据权利要求1所述的方法，其特征在于，在所述根据待存储的业务数据，确定所述业务数据大小之前，还包括：根据存储器容量和预设的数据页大小，确定用于存储数据的数据页区和用于管理所述数据页区的元数据区；其中，所述元数据区包括具有区EXTENT描述符的EXTENT描述符区和具有段描述符的段描述符区。3.根据权利要求2所述的方法，其特征在于，所述根据存储器容量和预设的数据页大小，确定用于存储数据的数据页区和用于管理所述数据页区的元数据区之后，还包括：从所述段描述符区申请空闲的段描述符，并将已创建的逻辑块组CHUNKGROUP的基本信息写入所述段描述符中。4.根据权利要求3所述的方法，其特征在于，所述根据所述业务数据大小，确定适合所述业务数据大小的存储单位包括：在向所述CHUNKGROUP写入业务数据期间，当根据所述业务数据大小连续申请的EXTENT描述符对应的EXTENT均大于或均小于当前的存储单位时，重新确定适合所述业务数据大小的存储单位。5.根据权利要求3所述的方法，其特征在于，所述根据所述业务数据大小，确定适合所述业务数据大小的存储单位包括：在向所述CHUNKGROUP写入业务数据期间，分析所述业务数据的模型，根据所述业务数据的模型，重新确定适合所述业务数据大小的存储单位。6.根据权利要求4或5所述的方法，其特征在于，所述按照所述存储单位，将所述业务...

【专利技术属性】
技术研发人员：王涵毅，屠要峰，黄震江，高洪，韩银俊，郭斌，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44