一种分布式存储系统中单节点上数据物理位置映射方法技术方案

本发明专利技术公开了一种分布式存储系统中单节点上数据物理位置映射方法，将待存储的数据分为预定大小的数据对象，并生成每个数据对象的数据摘要值；将数据对象和对应的数据摘要值写入到活跃区段中；其中，活跃区段为存储节点中用于写入当前数据对象的区段；当活跃区段写满数据后，将其存储至当前存储节点中，并生成数据对象的物理地址；其中，物理地址包括物理设备的设备ID、活跃区段存储时对应的区段号和数据对象在活跃区段中的偏移量；本发明专利技术通过活跃区段存储满后，再统一存储至物理设备中，将原有的小块数据随机存转化为大块数据顺序存储，降低物理磁盘的写入放大，提升物理磁盘性能。

A method of data physical location mapping on single node in distributed storage system

【技术实现步骤摘要】
一种分布式存储系统中单节点上数据物理位置映射方法
本专利技术属于计算机存储
，尤其涉及一种分布式存储系统中单节点上数据物理位置映射方法。
技术介绍
随着大数据时代的降临，业务应用对存储空间的需求越来越大，性能越来越高。海量的数据对存储的要求已经远远超出了传统的多控存储系统所能承受的范围。没有哪一套单机的存储能够提供如此大的数据存储能力。存储系统正在向着大规模、分布式、虚拟化方向发展。在现有节点中，进行数据存储时均是将数据分为多个小的数据对象，然后随机存储在节点上，这样一来，由于数据的小块随机存储会给存储节点带来写入放大，进而导致物理磁盘性能降低。
技术实现思路
本专利技术的目的是提供一种分布式存储系统中单节点上数据物理位置映射方法，通过将数据的小块随机存储转变为大块顺序存储，降低物理磁盘的写入放大，提升物理磁盘性能。本专利技术采用以下技术方案：一种分布式存储系统中单节点上数据物理位置映射方法，包括：将待存储的数据分为预定大小的数据对象，并生成每个数据对象的数据摘要值；将数据对本文档来自技高网...

【技术保护点】
1.一种分布式存储系统中单节点上数据物理位置映射方法，其特征在于，包括：/n将待存储的数据分为预定大小的数据对象，并生成每个数据对象的数据摘要值；/n将所述数据对象和对应的数据摘要值写入到活跃区段中；其中，所述活跃区段为存储节点中用于写入当前数据对象的区段；/n当所述活跃区段写满数据后，将其存储至当前存储节点中，并生成所述数据对象的物理地址；其中，所述物理地址包括所述物理设备的设备ID、活跃区段存储时对应的区段号和数据对象在活跃区段中的偏移量。/n

【技术特征摘要】
1.一种分布式存储系统中单节点上数据物理位置映射方法，其特征在于，包括：
将待存储的数据分为预定大小的数据对象，并生成每个数据对象的数据摘要值；
将所述数据对象和对应的数据摘要值写入到活跃区段中；其中，所述活跃区段为存储节点中用于写入当前数据对象的区段；
当所述活跃区段写满数据后，将其存储至当前存储节点中，并生成所述数据对象的物理地址；其中，所述物理地址包括所述物理设备的设备ID、活跃区段存储时对应的区段号和数据对象在活跃区段中的偏移量。


2.如权利要求1所述的一种分布式存储系统中单节点上数据物理位置映射方法，其特征在于，生成所述数据对象的物理地址后还包括：
获取所述数据对象对应的数据摘要值和物理地址；
将所述数据摘要值和物理地址存储至索引分区的对应索引桶中；
截取所述数据摘要值中的部分内容生成下标，存储至所述对应索引桶中的下标区中。


3.如权利要求1所述的一种分布式存储系统中单节点上数据物理位置映射方法，其特征在于，所述活跃区段的生成方...

【专利技术属性】
技术研发人员：陈鹏，赵靖荣，于超，
申请(专利权)人：西安奥卡云数据科技有限公司，
类型：发明
国别省市：陕西;61