一种数据块读写性能优化方法、系统、终端及存储介质技术方案

技术编号:26478356 阅读:23 留言:0更新日期:2020-11-25 19:22
本发明专利技术提供一种数据块读写性能优化方法、系统、终端及存储介质,包括:创建第一核池和第二核池,并分别为所述第一核池和所述第二核池分配CPU核;根据数据块大小将数据块划分为第一等级和第二等级,并设定第一核池绑定第一等级数据块,第二核池绑定第二等级数据块;截取读写请求,并根据所述读写请求的数据块大小获取所述读写请求的数据块等级;将所述读写请求分配至与所述数据块等级绑定的核池,由分配的核池中的CPU核对所述读写请求进行处理。本发明专利技术针对用户多数据类型的场景,依据不同数据块流量调整CPU核分配,能够大大提升前端业务效率,提升存储设备整体性能。

【技术实现步骤摘要】
一种数据块读写性能优化方法、系统、终端及存储介质
本专利技术属于数据存储
,具体涉及一种数据块读写性能优化方法、系统、终端及存储介质。
技术介绍
随着互联网技术的发展,用户场景的多样化增多,数据量增大,数据请求的并发数越来越大,数据类型不同等因素对存储产品的性能要求越来越严格。为了应对大量复杂数据业务的需求,只能通过使用性能更好的硬件规格,如处理能力更强的CPU、读写性能更好的SSD、NVMe硬盘等,或者在软件处调优,即提高队列深度、调整缓存策略等。但是提高硬件规格会带来成本的提升,单一的提高队列深度,同样无法避免多线程并发下,有的线程一直无法获取IO,导致IO饿死;调整缓存策略会带来性能的提升,但该策略只对存在大量热点数据的场景有显著效果。
技术实现思路
针对现有技术的上述不足,本专利技术提供一种数据块读写性能优化方法、系统、终端及存储介质,以解决上述技术问题。第一方面,本专利技术提供一种数据块读写性能优化方法,包括:创建第一核池和第二核池,并分别为所述第一核池和所述第二核池分配CPU本文档来自技高网...

【技术保护点】
1.一种数据块读写性能优化方法,其特征在于,包括:/n创建第一核池和第二核池,并分别为所述第一核池和所述第二核池分配CPU核;/n根据数据块大小将数据块划分为第一等级和第二等级,并设定第一核池绑定第一等级数据块,第二核池绑定第二等级数据块;/n截取读写请求,并根据所述读写请求的数据块大小获取所述读写请求的数据块等级;/n将所述读写请求分配至与所述数据块等级绑定的核池,由分配的核池中的CPU核对所述读写请求进行处理。/n

【技术特征摘要】
1.一种数据块读写性能优化方法,其特征在于,包括:
创建第一核池和第二核池,并分别为所述第一核池和所述第二核池分配CPU核;
根据数据块大小将数据块划分为第一等级和第二等级,并设定第一核池绑定第一等级数据块,第二核池绑定第二等级数据块;
截取读写请求,并根据所述读写请求的数据块大小获取所述读写请求的数据块等级;
将所述读写请求分配至与所述数据块等级绑定的核池,由分配的核池中的CPU核对所述读写请求进行处理。


2.根据权利要求1所述的方法,其特征在于,所述将读写请求分配至与所述数据块等级绑定的核池,包括:
预先创建所述第一核池的第一任务队列,并创建所述第二核池的第二任务队列;
若所述读写请求的数据块为第一等级,则将所述读写请求分配至第一核池的第一任务队列中;
若所述读写请求的数据块为第二等级,则将所述读写请求分配至第二核池的第二任务队列中。


3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
采集所述第一任务队列和所述第二任务队列中的读写请求的目标地址;
将同一队列内的目标地址相邻的读写请求合并。


4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
设定对所述第一任务队列和第二任务队列的监控周期;
根据所述监控周期定期采集所述第一任务队列和第二任务队列的平均数据块大小、平均CPU核利用率和请求平均响应时间;
将第一任务队列的平均数据块大小与第二任务队列的平均数据块大小之商作为比例系数;
分别计算第一任务队列和第二任务队列的平均CPU核利用率标准差,并将第一任务队列的平均CPU核利用率标准差与第二任务队列的平均CPU核利用率标准差的商作为CPU核利用率标准差偏离系数;
分别计算第一任务队列和第二任务队列的请求平均响应时间标准差,并将第一任务队列的请求平均响应时间标准差与第二任务队列的请求平均响应时间标准差的商作为响应时间标准差偏离系统;
根据所述比例系数、CPU核利用率标准差偏离系数和响应时间标准差偏离系统计算偏离度,并根据所述偏离度调整所述第一核池和第二核池的CPU核数量。


5.一种数据块读写性能优化系统,其特征在于,包括:
核池创建单元,配置用于创建第一核池和第二核池,并分别为所述第一核池和所述第二核池分配CPU核;
数据绑定单元,配置用于根据数据块大小将数据块划分为第一等级和第二等级,并设定第一核池绑定第一等级数据块,第二核池绑定第二等级数据块;
...

【专利技术属性】
技术研发人员:吴丙涛
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1