一种基于分布式存储数据的内存优化方法及其系统技术方案

本发明专利技术公开了一种基于分布式存储数据的内存优化方法及其系统，优化方法步骤包括：客户端读取数据，分布式存储单元在每一块数据块中提取客户端所需读取的实际内容数据，并将各个实际内容数据进行合并后发送给客户端，数据读写收集模块对实际内容数据大小进行记录；重复上步骤，数据读写收集模块对每一块数据块的实际内容数据大小进行记录并形成历史记录，在历史记录中得到每一块数据块的实际内容数据中最大的实际内容数据大小；客户端再一次读取数据，分布式存储单元从存储设备中提取数据对应的数据块，对每一块数据块，根据最大的实际内容数据大小在内存单元中进行缓冲。本发明专利技术通过压缩缓冲数据占用的内存空间，达到节省内存空间效果。

A memory optimization method and its system based on distributed storage data

【技术实现步骤摘要】
一种基于分布式存储数据的内存优化方法及其系统
本专利技术涉及分布式数据的读取
，特别涉及一种基于分布式存储数据的内存优化方法及其系统。
技术介绍
缓存通常是一种用于加速读或者写的方法，场景是把需要读写硬盘的内容放到速度较快的内存，然后直接对内存数据进行读写操作，定时再把内存数据同步到硬盘。对于分布式存储ceph集群来说，现有对数据缓存的采用的方式，一般为在ceph存储体系里面，所有内容都被划分成大小相同的数据块，默认每块大小是4MB；但启用缓存之后，内存里面存放的是数据块为最小粒度单位，假如缓存了100个数据块，那么占用的内存空间为100*4MB=400MB。然而，在一些小文件存储的场景之下，比如存放图片、小音频，这些文件通常都小于4MB，但是由于ceph的分块特性，无论实际保存的文件是超过4MB还是小于4MB，都以4MB为一个数据块的方式保存和缓存，因此在这些场景之下会导致缓存内存空间浪费。
技术实现思路
本专利技术要解决的技术问题在于，提供一种基于分布式存储数据的内存优化方法及其系统，在分布式存储数本文档来自技高网...

【技术保护点】
1.一种基于分布式存储数据的内存优化方法，其特征在于，包括以下步骤：/n步骤S1、客户端读取数据，分布式存储单元从存储设备中提取数据对应的数据块，并在内存单元中对数据块进行缓冲，然后将数据块进行合并后发送给客户端进行读取；其中，数据块在内存单元进行缓冲时，分布式存储单元在每一块数据块中提取客户端所需读取的实际内容数据，并将各个实际内容数据进行合并后发送给客户端进行读取，数据读写收集模块对实际内容数据大小进行记录，各个实际内容数据大小是小于或等于其对应的数据块；/n步骤S2、重复步骤S1，直至分布式存储单元内所有数据块的读取次数大于或等于1次，数据读写收集模块对每一块数据块的实际内容数据大小进行...

【技术特征摘要】
1.一种基于分布式存储数据的内存优化方法，其特征在于，包括以下步骤：
步骤S1、客户端读取数据，分布式存储单元从存储设备中提取数据对应的数据块，并在内存单元中对数据块进行缓冲，然后将数据块进行合并后发送给客户端进行读取；其中，数据块在内存单元进行缓冲时，分布式存储单元在每一块数据块中提取客户端所需读取的实际内容数据，并将各个实际内容数据进行合并后发送给客户端进行读取，数据读写收集模块对实际内容数据大小进行记录，各个实际内容数据大小是小于或等于其对应的数据块；
步骤S2、重复步骤S1，直至分布式存储单元内所有数据块的读取次数大于或等于1次，数据读写收集模块对每一块数据块的实际内容数据大小进行记录并形成历史记录，在历史记录中得到每一块数据块的实际内容数据中最大的实际内容数据大小；
步骤S3、客户端再一次读取数据，分布式存储单元从存储设备中提取数据对应的数据块，对每一块数据块，根据最大的实际内容数据大小在内存单元中进行缓冲，分布式存储单元在每一块数据块中提取客户端所需读取的实际内容数据，并将各个实际内容数据进行合并后发送给客户端进行读取。


2.根据权利要求1所述的一种基于分布式存储数据的内存优化方法，其特征在于，所述步骤S1前还包括步骤S0、客户端写入数据至分布式存储单元，分布式存储单元将数据均分成若干块数据块，并将数据块分散存储于存储设备中。


3.一种...

【专利技术属性】
技术研发人员：麦剑，史伟，闵宇，
申请(专利权)人：广东睿江云计算股份有限公司，
类型：发明
国别省市：广东;44