数据分布式存储的实现方法和系统技术方案

本发明专利技术提供了一种数据分布式存储的实现方法和系统。所述方法包括：获取业务触发的数据插入操作；根据所述业务的数据插入操作由存储资源占用信息得到所述业务所在存储服务器的网络地址，所述存储服务器与业务将是一对多的对应关系；由所述网络地址所在存储服务器得到存入所述待插入数据的数据内存块标识，并按照所述数据内存块标识将待插入数据存入相应的数据内存块。采用本发明专利技术能提高访问性能和存储资源的使用效率。

【技术实现步骤摘要】

本专利技术涉及存储技术，特别是涉及一种数据分布式存储的实现方法和系统。
技术介绍
随着分布式存储的发展，同一业务的数据大都分布存储于多台存储服务器中，例如CMEM（Cloud Memcache）存储系统，若需要在CMEM存储系统进行数据访问则需要访问多台的存储服务器，例如，对业务的数据进行批量操作，而访问多台服务器时的网络时延将大大限制了CMEM存储系统中的数据访问。因此，为了避免此情况的发生，将采用组件方式的bitmap存储系统，一个业务的数据将独占一个存储服务器进行存储，以提高访问速度，但是，由于大多数业务所存储的数据均是标志位、时间戳等数据长度较小的数据，应用组件方式的bitmap存储系统所实现的业务数据存储将造成了系统资源的浪费。
技术实现思路
基于此，有必要提供一种能提高访问性能和存储资源的使用效率的数据分布式存储的实现方法。此外，还有必要提供一种能提高访问性能和存储资源的使用效率的数据分布式存储的实现系统。一种数据分布式存储的实现方法，包括如下步骤本文档来自技高网...

【技术保护点】
一种数据分布式存储的实现方法，包括如下步骤：获取业务触发的数据插入操作；根据所述业务的数据插入操作由存储资源占用信息得到所述业务所在存储服务器的网络地址，所述存储服务器与业务将是一对多的对应关系；由所述网络地址所在存储服务器得到存入所述待插入数据的数据内存块标识，并按照所述数据内存块标识将待插入数据存入相应的数据内存块。

【技术特征摘要】
1.一种数据分布式存储的实现方法，包括如下步骤：
获取业务触发的数据插入操作；
根据所述业务的数据插入操作由存储资源占用信息得到所述业务所在存储
服务器的网络地址，所述存储服务器与业务将是一对多的对应关系；
由所述网络地址所在存储服务器得到存入所述待插入数据的数据内存块标
识，并按照所述数据内存块标识将待插入数据存入相应的数据内存块。
2.根据权利要求1所述的方法，其特征在于，所述获取业务触发的数据插
入操作的步骤之前，所述方法还包括：
获取触发的业务上线操作得到相应的业务上线信息；
根据所述业务上线信息查询所述存储资源占用信息为所述业务分配存储服
务器，生成所述业务在所述存储服务器中的路由信息，并下发至存储服务器；
按照所述路由信息在所述分配的存储服务器中分配数据内存块，并将所述
路由信息更新至所述存储服务器中的控制内存块；
根据所述存储服务器和所述存储服务器中数据内存块的占用更新所述控制
层中的存储资源占用信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述存储服务器和
所述存储服务器中数据内存块的占用更新所述控制层中的存储资源占用信息之
后，所述方法还包括：
获取业务触发的下线操作；
查询所述存储资源占用信息得到所述业务所在的存储服务器，并向所述存
储服务器传送业务删除命令；
根据所述业务删除命令删除存储服务器中所述业务在控制内存块的信息，
并相应删除所述业务在数据内存块中存入的数据；
根据所述存储服务器中控制内存块和数据内存块的删除更新所述存储资源
占用信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述业务的插入操
作由所述存储资源占用信息得到所述业务所在存储服务器的网络地址的步骤包

\t括：
获取所述业务对应的业务标识，根据所述业务标识查询所述存储资源占用
信息以得到所述业务所在存储服务器的网络地址。
5.根据权利要求4所述的方法，其特征在于，所述由所述网络地址所在存
储服务器得到存入所述待插入数据的数据内存块标识的步骤包括：
于所述网络地址对应的存储服务器查询控制内存块以得到所述业务的存储
模式；
按照所述存储模式从所述控制内存块中的路由信息查询得到存入所述待插
入数据的数据内存块标识。
6.根据权利要求5所述的方法，其特征在于，所述存储模式为索引存储模
式，所述按照所述存储模式从所述控制内存块中的路由信息查询得到存入所述
待插入数据的数据内存块标识的步骤包括：
从所述待插入数据中提取关键值，将所述关键值对所述存储服务器中的虚
拟节点数目取模得到余数，根据所述余数在所述控制内存块中的路由信息查询
得到存储所述待插入数据的数据内存块标识。
7.根据权利要求6所述的方法，其特征在于，所述按照所述数据内存块标
识将待插入数据存入相应的数据内存块的步骤包括：
获取所述数据内存块标识对应的数据内存块中的索引节点数量，将所述关
键值对所述索引节点数量取模得到所述业务在所述数据内存块的索引节点位
置；
判断索引节点位置对应的索引节点中的位置值是否为有效值，若否，则
获取空闲的数据节点，将所述空闲的数据节点链接至所述索引节点，并存
入所述待插入数据。
8.根据权利要求7所述的方法，其特征在于，所述按照所述数据内存块标
识将待插入数据存入相应的数据内存块的步骤还包括：
判断到索引节点位置对应的索引节点中的位置值为有效值，则根据所述位
置值得到所述索引节点关联的冲突链表；
查询所述冲突链表中是否存在所述关键值对应的数据节点，若否，则进入

\t所述获取空闲的数据节点，将所述空闲的数据节点至所述索引节点，并存入所
述待插入数据的步骤。
9.根据权利要求5所述的方法，其特征在于，所述存储模式为全量存储模
式，所述按照所述存储模式从所述控制内存块中的路由信息查询得到存入所述
待插入数据的数据内存块标识的步骤包括：
从所述待插入数据中提取关键值，并从所述网络地址对应的存储服务器提
取控制内存块中的数据条数和所述业务的起始数据内存块标识；
根据所述关键值、数据条数和起始数据内存块标识计算得到存储所述插入
数据的数据内存标识。
10.根据权利要求9所述的方法，其特征在于，所述按照所述数据内存块
标识将待插入数据存入相应的数据内存块的步骤包括：
从所述数据内存标识对应的数据内存块中获取存储的起始关键值，根据所
述存储的起始关键值和所述关键值计算得到所述待插入数据对应的偏移...

【专利技术属性】
技术研发人员：马海宾，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44