【技术实现步骤摘要】
本申请实施例涉及数据存储领域,特别涉及一种数据存储系统及方法。
技术介绍
1、在数据存储领域中,通过数据库对数据进行读取操作和写入操作。通常情况下,对数据的读取和写入是分开进行的,数据库会将读取操作和写入操作分配给不同的节点来处理,以优化资源利用和系统性能。
2、相关技术中,通常将数据存储在redis(remote dictionary server,远程字典服务)中,redis作为开源的内存数据库支持读写分离,采用主从分离的结构。其中主库负责处理所有的写入操作,例如新增、修改、删除等事务性操作,从库同步主库的数据,负责读取操作,例如查询操作。
3、然而,相关技术存在一些限制,比如redis对数据的吞吐量较小,无法同时处理大规模数据的读取操作和写入操作。
技术实现思路
1、本申请提供了一种数据存储系统及方法,所述技术方案如下:
2、根据本申请的一方面,提供了一种数据存储系统,所述数据存储系统包括:构建节点、主控节点、至少两个数据节点、访问节点;
< ...【技术保护点】
1.一种数据存储系统,其特征在于,所述数据存储系统包括:构建节点、主控节点、至少两个数据节点、访问节点;
2.根据权利要求1所述的系统,其特征在于,所述构建节点,用于将所述待存储的数据文件划分为所述至少两个分片文件;从所述主控节点获取所述至少两个分片文件的数据分配信息;将所述至少两个分片文件按照从所述主控节点获取的数据分配信息存储至所述至少两个数据节点中。
3.根据权利要求2所述的系统,其特征在于,所述构建节点,用于将所述待存储的数据文件划分为至少两个分片数据;生成所述至少两个分片数据分别对应的索引数据;将每个所述分片数据以及所述分片数据对应的
...【技术特征摘要】
1.一种数据存储系统,其特征在于,所述数据存储系统包括:构建节点、主控节点、至少两个数据节点、访问节点;
2.根据权利要求1所述的系统,其特征在于,所述构建节点,用于将所述待存储的数据文件划分为所述至少两个分片文件;从所述主控节点获取所述至少两个分片文件的数据分配信息;将所述至少两个分片文件按照从所述主控节点获取的数据分配信息存储至所述至少两个数据节点中。
3.根据权利要求2所述的系统,其特征在于,所述构建节点,用于将所述待存储的数据文件划分为至少两个分片数据;生成所述至少两个分片数据分别对应的索引数据;将每个所述分片数据以及所述分片数据对应的索引数据作为一个分片文件,得到所述至少两个分片文件。
4.根据权利要求2所述的系统,其特征在于,所述构建节点,用于将所述至少两个分片文件中的每个分片文件,按照从所述主控节点获取的数据分配信息存储至不同的数据节点中,以得到所述分片文件的分片文件副本。
5.根据权利要求2所述的系统,其特征在于,所述系统还包括:备份节点:
6.根据权利要求5所述的系统,其特征在于,所述备份节点包括支持不同数据格式的至少两个备份节点;
7.根据权利要求1至6任一所述的系统,其特征在于,所述至少两个数据节点存储有第i版本的数据文件,所述待存储的数据文件...
【专利技术属性】
技术研发人员:王琦英,李亮,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。