一种大数据混合存储系统、方法和可读存储介质技术方案

技术编号:42871569 阅读:26 留言:0更新日期:2024-09-27 17:31
本申请涉及一种大数据混合存储系统、方法和可读存储介质,其中,大数据混合存储系统包括:第一文件系统,用于存储活跃数据;基于对象存储的第二文件系统,用于存储不活跃数据;混合存储协议端,用于对所述第一文件系统以及所述第二文件系统进行数据自动路由读写;数据同步服务端,用于解析所述第一文件系统的审计日志,获得文件使用统计信息;并启动定时任务扫描所述第一文件系统及所述第二文件系统,获得对应的第一文件列表及第二文件列表;基于所述文件使用统计信息以及所述第一文件列表与所述第二文件列表的差异,确定是否将所述第一文件系统中的数据镜像同步至所述第二文件系统中,实现了数据存储成本降压,并减小了对象存储访问压力。

【技术实现步骤摘要】

本申请涉及大数据存储,特别是涉及一种大数据混合存储系统、方法和可读存储介质


技术介绍

1、当前大数据存储技术方案中,数据只存在于一种存储服务中,无法充分利用各存储服务的长处形成互补,如hdfs文件系统基于本地块存储其性能更好,但存储成本更高,juicefs文件系统是基于对象存储,存储成本低廉但无法大量并发运行作业,io性能差,适合批量读写。在实际大数据场景中,活跃数据占比很小,如果数据只存储于hdfs文件系统,存储成本较高,如果数据只存储于对象存储中,其性能无法得到保障。

2、针对相关技术中,大数据存储技术只能将数据存储在一个文件系统,无法充分利用各存储服务的长处形成互补的问题,目前尚未提出有效的解决方案。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种大数据混合存储系统、方法和可读存储介质。

2、第一方面,本申请实施例提供了一种大数据混合存储系统,所述系统包括:

3、基于本地块存储的第一文件系统,用于存储活跃数据;

4、基于对象存储的第二文件系统本文档来自技高网...

【技术保护点】

1.一种大数据混合存储系统,其特征在于,所述系统包括:

2.根据权利要求1所述的系统,其特征在于,所述混合存储协议端包括:

3.根据权利要求2所述的系统,其特征在于,所述数据读取模块包括:

4.根据权利要求1所述的系统,其特征在于,所述混合存储协议端还包括:

5.根据权利要求1所述的系统,其特征在于,所述数据同步服务端包括:

6.根据权利要求5所述的系统,其特征在于,所述同步模块还用于:

7.根据权利要求5所述的系统,其特征在于,所述同步模块还用于:

8.根据权利要求1所述的系统,其特征在于,所述第二文件...

【技术特征摘要】

1.一种大数据混合存储系统,其特征在于,所述系统包括:

2.根据权利要求1所述的系统,其特征在于,所述混合存储协议端包括:

3.根据权利要求2所述的系统,其特征在于,所述数据读取模块包括:

4.根据权利要求1所述的系统,其特征在于,所述混合存储协议端还包括:

5.根据权利要求1所述的系统,其特征在于,所述数据同步服务端包括:

6.根据权利要求5所述的系统,其特征在于,所述同步模块还用于:<...

【专利技术属性】
技术研发人员:莫旭强
申请(专利权)人:天翼视联科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1