【技术实现步骤摘要】
本申请涉及大数据存储,特别是涉及一种大数据混合存储系统、方法和可读存储介质。
技术介绍
1、当前大数据存储技术方案中,数据只存在于一种存储服务中,无法充分利用各存储服务的长处形成互补,如hdfs文件系统基于本地块存储其性能更好,但存储成本更高,juicefs文件系统是基于对象存储,存储成本低廉但无法大量并发运行作业,io性能差,适合批量读写。在实际大数据场景中,活跃数据占比很小,如果数据只存储于hdfs文件系统,存储成本较高,如果数据只存储于对象存储中,其性能无法得到保障。
2、针对相关技术中,大数据存储技术只能将数据存储在一个文件系统,无法充分利用各存储服务的长处形成互补的问题,目前尚未提出有效的解决方案。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种大数据混合存储系统、方法和可读存储介质。
2、第一方面,本申请实施例提供了一种大数据混合存储系统,所述系统包括:
3、基于本地块存储的第一文件系统,用于存储活跃数据;
4、基于对
...【技术保护点】
1.一种大数据混合存储系统,其特征在于,所述系统包括:
2.根据权利要求1所述的系统,其特征在于,所述混合存储协议端包括:
3.根据权利要求2所述的系统,其特征在于,所述数据读取模块包括:
4.根据权利要求1所述的系统,其特征在于,所述混合存储协议端还包括:
5.根据权利要求1所述的系统,其特征在于,所述数据同步服务端包括:
6.根据权利要求5所述的系统,其特征在于,所述同步模块还用于:
7.根据权利要求5所述的系统,其特征在于,所述同步模块还用于:
8.根据权利要求1所述的系统,其特
...【技术特征摘要】
1.一种大数据混合存储系统,其特征在于,所述系统包括:
2.根据权利要求1所述的系统,其特征在于,所述混合存储协议端包括:
3.根据权利要求2所述的系统,其特征在于,所述数据读取模块包括:
4.根据权利要求1所述的系统,其特征在于,所述混合存储协议端还包括:
5.根据权利要求1所述的系统,其特征在于,所述数据同步服务端包括:
6.根据权利要求5所述的系统,其特征在于,所述同步模块还用于:<...
【专利技术属性】
技术研发人员:莫旭强,
申请(专利权)人:天翼视联科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。