数据存储管理方法、查询方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，具体是数据存储管理方法、查询方法、装置、电子设备及介质，所述数据存储管理方法包括：获取待缓存数据信息，所述待缓存数据信息包括待缓存数据的数据结构和内存地址；基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值，生成键值集合；基于所述待缓存数据的内存地址生成与所述待缓存数据对应的虚拟键值；建立所述键值集合与所述虚拟键值的映射关系，生成一级索引；建立所述虚拟键值与所述待缓存数据的映射关系，生成二级索引。本发明专利技术通过在键‑值数据库缓存数据时，建立多索引单值的数据结构以及两级索引，能够实现多维度快速查询数据，提高数据查询效率。

【技术实现步骤摘要】
数据存储管理方法、查询方法、装置、电子设备及介质
本专利技术涉及数据处理
，特别涉及数据存储管理方法、查询方法、装置、电子设备及介质。
技术介绍
随着互联网技术的不断发展，产生了各种各样的以计算机模拟环境为基础的、用户在其中生活、交流的网络世界(或虚拟平台)。当前，在线直播越来越受到用户的喜爱，由于其具有强大的传播性、互动性，在线直播逐渐成为互联网的主流表达方式。随着在线直播数据的爆炸式增长，数据的维度也随之在激增，用户对数据的访问速度要求也越来越高，基于传统的文件系统和关系型数据库对这些数据的存储、分析、访问等操作都受到了极大的限制。现有技术中，主要采用键-值缓存存储系统或者关系数据库存储系统存储数据来解决海量多维数据的存储和访问的问题。在键-值缓存存储系统中，数据以键-值(key-value)形式存于内存，输入键值key即可查询返回其对应的值value；可以通过多个key对应多个value的方式，实现多维度快速查询，但是数据需要存储多份，多份数据之间同步会存在问题。在关系数据库存储系统中，采用了关系模型来组织数据，以关系表形式存储数据集，虽然数据只需存储一份，但是数据访问速度会随数据容量增大而变慢。
技术实现思路
针对现有技术的上述问题，本专利技术的目的在于提供数据存储管理方法、查询方法、装置、电子设备及介质，能够实现多维度快速查询数据，并且提高数据查询效率。为了解决上述问题，本专利技术提供一种数据存储管理方法，包括：获取待缓存数据信息，所述待缓存数据信息包括待缓存数据的数据结构和内存地址；基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值，生成键值集合；基于所述待缓存数据的内存地址生成与所述待缓存数据对应的虚拟键值；建立所述键值集合与所述虚拟键值的映射关系，生成一级索引；建立所述虚拟键值与所述待缓存数据的映射关系，生成二级索引。本专利技术另一方面保护一种数据查询方法，包括：接收数据查询请求，所述数据查询请求包括第一查询数据；基于所述第一查询数据生成具有目标结构的键值信息；查询所述键值信息对应的一级索引，得到与所述键值信息对应的虚拟键值信息，所述一级索引存储有数据的键值集合与数据的虚拟键值的映射关系；查询所述虚拟键值信息对应的二级索引，得到与所述虚拟键值信息对应的目标数据，所述二级索引存储有数据的虚拟键值与数据的映射关系；返回与所述虚拟键值信息对应的目标数据。本专利技术另一方面保护一种数据存储管理装置，包括：获取模块，用于获取待缓存数据信息，所述待缓存数据信息包括待缓存数据的数据结构和内存地址；确定模块，用于基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值，生成键值集合；第一生成模块，用于基于所述待缓存数据的内存地址生成与所述待缓存数据对应的虚拟键值；第一建立模块，用于建立所述键值集合与所述虚拟键值的映射关系，生成一级索引；第二建立模块，用于建立所述虚拟键值与所述待缓存数据的映射关系，生成二级索引。本专利技术另一方面保护一种数据查询装置，包括：第一接收模块，用于接收数据查询请求，所述数据查询请求包括第一查询数据；第二生成模块，用于基于所述第一查询数据生成具有目标结构的键值信息；第一查询模块，用于查询所述键值信息对应的一级索引，得到与所述键值信息对应的虚拟键值信息，所述一级索引存储有数据的键值集合与数据的虚拟键值的映射关系；第二查询模块，用于查询所述虚拟键值信息对应的二级索引，得到与所述虚拟键值信息对应的目标数据，所述二级索引存储有数据的虚拟键值与数据的映射关系；第一发送模块，用于返回与所述虚拟键值信息对应的目标数据。本专利技术另一方面保护一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述的方法。本专利技术另一方面保护一种计算机存储介质，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述的方法。由于上述技术方案，本专利技术具有以下有益效果：本专利技术的方法在键-值数据库缓存数据时，根据待缓存数据的数据结构、内存地址及字段信息生成与所述待缓存数据对应的键值集合和虚拟键值，并建立所述键值集合与所述虚拟键值、所述虚拟键值与所述待缓存数据之间的两级索引，形成多索引单值的数据结构，使得查询数据时，可以通过任一索引直接检索出所述待缓存数据，中间无需转换成指定索引，实现多维度快速查询数据，并且提高数据查询效率。另外，本专利技术的方法使用键-值数据库缓存数据，并且不存储多分冗余信息，能够节省存储空间，减少数据库的负载。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术一个实施例提供的实施环境示意图；图2是本专利技术一个实施例提供的数据存储管理方法的流程图；图3是本专利技术一个实施例提供的数据结构模型的示意图；图4是本专利技术一个实施例提供的数据结构模型中的数据结构的示意图；图5是本专利技术一个实施例提供的数据查询方法的流程图；图6是本专利技术一个实施例提供的键值集合与虚拟键值的映射关系示意图；图7是本专利技术一个实施例提供的虚拟键值与数据的映射关系示意图；图8是本专利技术另一个实施例提供的数据查询方法的流程图；图9是本专利技术一个实施例提供的虚拟键值与键值集合的映射关系示意图；图10是本专利技术一个实施例提供的数据存储管理装置的结构示意图；图11是本专利技术一个实施例提供的数据查询装置的结构示意图；图12是本专利技术一个实施例提供的服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。请参考说明书附图1本文档来自技高网...

【技术保护点】
1.一种数据存储管理方法，其特征在于，包括：/n获取待缓存数据信息，所述待缓存数据信息包括待缓存数据的数据结构和内存地址；/n基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值，生成键值集合；/n基于所述待缓存数据的内存地址生成与所述待缓存数据对应的虚拟键值；/n建立所述键值集合与所述虚拟键值的映射关系，生成一级索引；/n建立所述虚拟键值与所述待缓存数据的映射关系，生成二级索引。/n

【技术特征摘要】
1.一种数据存储管理方法，其特征在于，包括：
获取待缓存数据信息，所述待缓存数据信息包括待缓存数据的数据结构和内存地址；
基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值，生成键值集合；
基于所述待缓存数据的内存地址生成与所述待缓存数据对应的虚拟键值；
建立所述键值集合与所述虚拟键值的映射关系，生成一级索引；
建立所述虚拟键值与所述待缓存数据的映射关系，生成二级索引。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
建立所述虚拟键值与所述键值集合的映射关系，生成关联索引。


3.根据权利要求1或2所述的方法，其特征在于，所述基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值，生成键值集合包括：
从所述待缓存数据的数据结构中确定多个目标字段；
对每个目标字段，获取所述目标字段的字段标识和字段值；
根据所述字段标识和字段值生成与所述待缓存数据对应的键值。


4.根据权利要求1或2所述的方法，其特征在于，所述基于所述待缓存数据的内存地址生成与所述待缓存数据对应的虚拟键值包括：
获取所述待缓存数据对应的时间戳；
根据所述内存地址和所述时间戳生成与所述待缓存数据对应的虚拟键值。


5.一种数据查询方法，其特征在于，包括：
接收数据查询请求，所述数据查询请求包括第一查询数据；
基于所述第一查询数据生成具有目标结构的键值信息；
查询所述键值信息对应的一级索引，得到与所述键值信息对应的虚拟键值信息，所述一级索引存储有数据的键值集合与数据的虚拟键值的映射关系；
查询所述虚拟键值信息对应的二级索引，得到与所述虚拟键值信息对应的目标数据，所述二级索引存储有数据的虚拟键值与数据的映射关系；
返回与所述虚拟键值信息对应的目标数据。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收键值查询请求，所述键值查询请求包括第二查询数据；
基于所述第二查询数据生成具...

【专利技术属性】
技术研发人员：伍东方，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44