【技术实现步骤摘要】
一种基于IO场景识别的读加速方法、装置及电子设备
本申请涉及云计算
,更具体地,涉及一种基于IO场景识别的读加速方法、装置及电子设备。
技术介绍
在云计算环境下,采用分布式存储系统读写数据时,通常以数据块为单位,数据块从KB到MB不等。一个文件或大块数据写入到分布式存储系统中,通常要对数据块进行再分块,并随机分布到各个服务器的磁盘中。由于普通机械磁盘读写速度通常比较慢,特别是随机读,如果数据块在KB级别,每秒钟也就几MB。
技术实现思路
鉴于上述问题,本申请提出了一种基于IO场景识别的读加速方法、装置及电子设备,已解决上述技术问题。本申请实施例提供了一种基于IO场景识别的读加速方法,应用于分布式存储系统,所述方法包括:接收IO读请求;将所述IO读请求的场景与IO场景分组集合进行相似度匹配,确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库;启动IO场景预读,将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存;响应所述IO读请求,对预读的内存缓存进行读取,返回所述IO读请求对应的数据。本申请实施例还提供了一种基于IO场景识别的读加速装置,所述装置包括:接收模块、处理模块、预读模块以及响应模块,其中,所述接收模块用于接收IO读请求;所述处理模块用于将所述IO读请求的场景与IO场景分组集合进行相似度匹配,确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库;所述预读模块用于启动IO场景预读,将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所 ...
【技术保护点】
1.一种基于IO场景识别的读加速方法,其特征在于,应用于分布式存储系统,所述方法包括:接收IO读请求;将所述IO读请求的场景与IO场景分组集合进行相似度匹配,确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库;启动IO场景预读,将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存;响应所述IO读请求,对预读的内存缓存进行读取,返回所述IO读请求对应的数据。
【技术特征摘要】
2018.06.05 CN 20181056868581.一种基于IO场景识别的读加速方法,其特征在于,应用于分布式存储系统,所述方法包括:接收IO读请求;将所述IO读请求的场景与IO场景分组集合进行相似度匹配,确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库;启动IO场景预读,将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存;响应所述IO读请求,对预读的内存缓存进行读取,返回所述IO读请求对应的数据。2.如权利要求1所述的方法,其特征在于,所述将所述IO读请求的场景与IO特征场景分组集合进行相似度匹配,确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库,包括:初始化时间窗口t1;统计所述时间窗口t1内所述IO读请求的场景特征;将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库进行匹配;获取与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。3.如权利要求2所述的方法,其特征在于,所述时间窗口t1初始化为分析窗口t的N%。4.如权利要求2所述的方法,其特征在于,所述将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库进行匹配对应的IO场景分组特征库,包括:扫描所述IO场景分组集合,将所述IO读请求的场景特征与所述IO场景分组集合中的IO场景分组库进行相似度匹配;确定与所述IO读请求的场景特征匹配成功的IO场景分组库对应的IO场景分组特征库。5.如权利要求4所述,其特征在于,所述扫描所述IO场景分组集合,将所述IO读请求的场景特征与所述IO场景分组集合中的IO场景分组库进行相似度匹配,包括:设定次数tc,统计所述IO场景分组集合的平均偏移值a0;以第一个IO偏移为基础,在连续的所述次数tc内,获得所述IO读请求在所述时间窗口t1内的偏移平均值a1,计算a1与所述平均偏移值a0相减的差,再除以所述平均偏移值a0的商值,比较所述商值与0的大小;如果所述商值等于0,判定所述IO读请求的场景与所述IO场景分组库匹配成功,则将所述IO请求的第一个IO对应的偏移值作为索引参数;如果所述商值不等于0,继续在下一个连续的所述次数tc内计算,直到找不到匹配偏移。6.如权利要求1所述的方法,其特征在于,所述启动IO场景预读,将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存,包括:启动IO场景预读;将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据保存到内存缓存;设定时间K,当在所述设定时间K内对所述内存缓存无访问,释放所述内存缓存。7.如权利要求1所述的方法,其特征在于,接收IO读请求,将所述IO读请求的场景与IO特征场景分组集合进行相似度匹配,确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库,启动IO场景预读,将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存,响应所述IO读请求,对预读的内存缓存进行读取,返回所述IO读请求对应的数据,包括:访问包含与所述IO读请求的场景匹配的IO场景分组库的内存缓存;如果所述访问的内存缓存中不存在与所述IO读请求的场景匹配的IO场景分组库,则继续向存储节点发起读取请求;如果所述访问的内存缓存中存在与所述IO读请求的场景匹配的IO场景分组库,则返回所述...
【专利技术属性】
技术研发人员:陈元强,李文祥,吴建辉,吕定灿,
申请(专利权)人:深圳市木浪云数据有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。