一种集群存储系统的读写性能动态优化框架及方法技术方案

本申请公开了一种集群存储系统的读写性能动态优化框架及方法，该优化框架包括：配置符生成器，用于在客户端上根据实时的应用场景，生成相应的配置符；适配器，用于将配置符生成器实时发送的配置符主动推送至读写控制器；读写控制器，用于当适配器最近一次主动推送的配置符为第一配置符时，采取大型文件读写机制对集群存储系统进行文件读写控制；当适配器最近一次主动推送的配置符为第二配置符时，则采取小型文件读写机制对集群存储系统进行文件读写控制。本申请无需对文件大小进行判断，只需根据客户端的实时应用场景，灵活地对文件读写机制进行动态的调整，避免了每接收到一个文件读写请求均需进行文件大小判断的现象，提高了系统性能。

【技术实现步骤摘要】

本专利技术涉及数据存储
，特别涉及一种集群存储系统的读写性能动态优化框架及方法。
技术介绍
当前，服务器集群存储系统中通常包括元数据存储模块和数据存储模块。而服务器集群存储系统一般基于两种存储机制对外部请求进行响应，这两种存储机制分别为大型文件读写机制和小型文件读写机制。在大型文件读写机制下，当接收到客户端发送的针对大型文件的文件写入请求时，需先将上述大型文件发送至元数据存储模块，通过元数据存储模块将上述大型文件中转至上述数据存储模块，以利用数据存储模块对大型文件进行存储；当接收到客户端发送的针对大型文件的文件读取请求时，则通过元数据存储模块将数据存储模块中存储的相应的大型文件中转至客户端。在小型文件读写机制下，当接收到客户端发送的针对小型文件的文件写入请求时，是将客户端发送的小型文件直接存储至元数据存储模块；当接收到客户端发送的针对小型文件的文件读取请求时，元数据存储模块将自身存储的相应的小型文件直接发送至客户端。然而，当服务器集群存储系统接收到客户端发送的文件读写请求时，均需要先对与该文件读写请求对应的文件进行文件大小判断，以确定究竟是采用哪种文件读写机制对该文件读写请求进行响应。这种每接收到一个文件读写请求均需进行文件大小判断的做法显然会加重系统的负担，尤其是当存在大量的客户端同时向服务器集群存储系统发起文件读写请求时，系统的负担将会变得异常巨大，从而降低了服务器集群存储系统的性能。综上所述可以看出，如何避免每接收到一个文件读写请求均需进行文件大小判断的现象，以提高系统性能是目前亟待解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种集群存储系统的读写性能动态优化框架及方法，避免了每接收到一个文件读写请求均需进行文件大小判断的现象，从而提高了系统性能。其具体方案如下：一种集群存储系统的读写性能动态优化框架，所述集群存储系统包括元数据存储模块和数据存储模块；所述优化框架包括配置符生成器、适配器和读写控制器；其中，所述配置符生成器，用于在客户端上根据实时的应用场景，生成相应的配置符；其中，该配置符为与大型文件应用场景相对应的第一配置符，或与小型文件应用场景相对应的第二配置符；所述大型文件为文件大小大于预设值的文件；所述小型文件为文件大小小于或等于所述预设值的文件；所述适配器，用于将所述配置符生成器实时发送的配置符主动推送至所述读写控制器；所述读写控制器，用于当所述适配器最近一次主动推送的配置符为所述第一配置符时，采取大型文件读写机制对所述集群存储系统进行文件读写控制；当所述适配器最近一次主动推送的配置符为所述第二配置符时，则采取小型文件读写机制对所述集群存储系统进行文件读写控制。优选的，所述集群存储系统为位于分布式存储系统或云存储系统中的子系统；所述配置符生成器位于所述客户端；所述适配器和所述读写控制器均位于所述集群存储系统。优选的，所述读写控制器包括：配置符接收模块，用于接收所述适配器主动推送的配置符；文件读取控制模块，用于当所述配置符接收模块最近一次接收到的配置符为所述第一配置符时，控制所述元数据存储模块将所述数据存储模块中存储的相应的大型文件中转至所述客户端；当所所述配置符接收模块最近一次接收到的配置符为所述第二配置符时，控制所述元数据存储模块将自身存储的相应的小型文件直接发送至所述客户端；文件写入控制模块，用于当所述配置符接收模块最近一次接收到的配置符为所述第一配置符时，控制所述元数据存储模块将所述客户端发送的大型文件中转至所述数据存储模块；当所述配置符接收模块最近一次接收到的配置符为所述第二配置符时，控制所述元数据存储模块直接获取并存储所述客户端发送的小型文件。优选的，所述适配器包括：配置符获取单元，用于获取所述配置符生成器实时发送的配置符；配置符主动推送单元，用于当所述配置符获取单元获取到配置符时，将该配置符实时推送至所述读写控制器。优选的，所述配置符生成器包括：配置符生成单元，用于提供配置信息输入接口，通过所述配置信息输入接口获取所述客户端的用户输入的与应用场景对应的配置信息，并根据该配置信息生成与应用场景对应的配置符；配置符发送单元，用于将所述配置符生成单元生成的配置符发送至所述适配器。优选的，所述配置符生成器包括：应用场景识别单元，用于对所述客户端的应用场景进行实时自动识别；配置符生成单元，用于根据所述应用场景识别单元识别到的应用场景，实时生成相应的配置符；配置符发送单元，用于将所述配置符生成单元实时生成的配置符发送至所述适配器。本专利技术还公开了一种集群存储系统的读写性能动态优化方法，所述集群存储系统包括元数据存储模块和数据存储模块；所述优化方法包括：在客户端上根据实时的应用场景，生成相应的配置符，并实时地将该配置符主动推送至读写控制器；其中，该配置符为与大型文件应用场景相对应的第一配置符，或与小型文件应用场景相对应的第二配置符；所述大型文件为文件大小大于预设值的文件；所述小型文件为文件大小小于或等于所述预设值的文件；当最近一次主动推送至所述读写控制器的配置符为所述第一配置符时，通过所述读写控制器，采取大型文件读写机制对所述集群存储系统进行文件读写控制；当最近一次主动推送至所述读写控制器的配置符为所述第二配置符时，通过所述读写控制器，采取小型文件读写机制对所述集群存储系统进行文件读写控制。优选的，所述采取大型文件读写机制对所述集群存储系统进行文件读写控制的过程，包括：通过所述读写控制器，控制所述元数据存储模块将所述数据存储模块中存储的相应的大型文件中转至所述客户端，或者控制所述元数据存储模块将所述客户端发送的大型文件中转至所述数据存储模块；所述采取小型文件读写机制对所述集群存储系统进行文件读写控制的过程，包括：通过所述读写控制器，控制所述元数据存储模块将自身存储的相应的小型文件直接发送至所述客户端，或者控制所述元数据存储模块直接获取并存储所述客户端发送的小型文件。优选的，所述在客户端上根据实时的应用场景，生成相应的配置符的过程，包括：提供配置信息输入接口，通过所述配置信息输入接口获取所述客户端的用户输入的与应用场景对应的配置信息，并根据该配置信息，生成与应用场景对应的配置符。优选的，所述在客户端上根据实时的应用场景，生成相应的配置符的过程，包括：...

【技术保护点】
一种集群存储系统的读写性能动态优化框架，其特征在于，所述集群存储系统包括元数据存储模块和数据存储模块；所述优化框架包括配置符生成器、适配器和读写控制器；其中，所述配置符生成器，用于在客户端上根据实时的应用场景，生成相应的配置符；其中，该配置符为与大型文件应用场景相对应的第一配置符，或与小型文件应用场景相对应的第二配置符；所述大型文件为文件大小大于预设值的文件；所述小型文件为文件大小小于或等于所述预设值的文件；所述适配器，用于将所述配置符生成器实时发送的配置符主动推送至所述读写控制器；所述读写控制器，用于当所述适配器最近一次主动推送的配置符为所述第一配置符时，采取大型文件读写机制对所述集群存储系统进行文件读写控制；当所述适配器最近一次主动推送的配置符为所述第二配置符时，则采取小型文件读写机制对所述集群存储系统进行文件读写控制。

【技术特征摘要】
1.一种集群存储系统的读写性能动态优化框架，其特征在于，所述集群
存储系统包括元数据存储模块和数据存储模块；所述优化框架包括配置符生
成器、适配器和读写控制器；其中，
所述配置符生成器，用于在客户端上根据实时的应用场景，生成相应的
配置符；其中，该配置符为与大型文件应用场景相对应的第一配置符，或与
小型文件应用场景相对应的第二配置符；所述大型文件为文件大小大于预设
值的文件；所述小型文件为文件大小小于或等于所述预设值的文件；
所述适配器，用于将所述配置符生成器实时发送的配置符主动推送至所
述读写控制器；
所述读写控制器，用于当所述适配器最近一次主动推送的配置符为所述
第一配置符时，采取大型文件读写机制对所述集群存储系统进行文件读写控
制；当所述适配器最近一次主动推送的配置符为所述第二配置符时，则采取
小型文件读写机制对所述集群存储系统进行文件读写控制。
2.根据权利要求1所述的集群存储系统的读写性能动态优化框架，其特
征在于，
所述集群存储系统为位于分布式存储系统或云存储系统中的子系统；
所述配置符生成器位于所述客户端；
所述适配器和所述读写控制器均位于所述集群存储系统。
3.根据权利要求2所述的集群存储系统的读写性能动态优化框架，其特
征在于，所述读写控制器包括：
配置符接收模块，用于接收所述适配器主动推送的配置符；
文件读取控制模块，用于当所述配置符接收模块最近一次接收到的配置
符为所述第一配置符时，控制所述元数据存储模块将所述数据存储模块中存
储的相应的大型文件中转至所述客户端；当所所述配置符接收模块最近一次
接收到的配置符为所述第二配置符时，控制所述元数据存储模块将自身存储
的相应的小型文件直接发送至所述客户端；
文件写入控制模块，用于当所述配置符接收模块最近一次接收到的配置
符为所述第一配置符时，控制所述元数据存储模块将所述客户端发送的大型
文件中转至所述数据存储模块；当所述配置符接收模块最近一次接收到的配

\t置符为所述第二配置符时，控制所述元数据存储模块直接获取并存储所述客
户端发送的小型文件。
4.根据权利要求3所述的集群存储系统的读写性能动态优化框架，其特
征在于，所述适配器包括：
配置符获取单元，用于获取所述配置符生成器实时发送的配置符；
配置符主动推送单元，用于当所述配置符获取单元获取到配置符时，将
该配置符实时推送至所述读写控制器。
5.根据权利要求1至4任一项所述的集群存储系统的读写性能动态优化
框架，其特征在于，所述配置符生成器包括：
配置符生成单元，用于提供配置信息输入接口，通过所述配置信息输入
接口获取所述客户端的用户输入的与应用场景对应的配置信息，并根据该配
置信息生成与应用场景对...

【专利技术属性】
技术研发人员：程瑶，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11