一种数据存储和检索的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据存储和检索的方法及装置。该方法包括：根据key‑value模型设置内存数据库的数据存储结构，所述key‑value模型的基本存储单元用于存储“热”数据；基于不同的细分维度设置所述数据存储结构；根据指定维度和时间区间完成对数据的聚合和检索。从而考虑到数据的时间越久越冷，越新越热，会有cache的策略来提速“热”数据的检索和支持更大的并发；并基于完整的可复用的cache结构模型，细分不同的维度进行cache，cache的内容是按时间有序的，对于有时效性要求的内容服务来说，可以根据不同维度(垂直细分)按照时间推进顺序聚合内容。

Method and device for storing and retrieving data

The embodiment of the invention discloses a method and a device for storing and retrieving data. The method includes: according to the data storage structure memory database key value model, the basic unit of storage in the key value model is used to store the \hot\ data set different dimensions; the data storage structure based on; according to the specified dimensions and time interval of polymerization and retrieve data. So considering the data the longer the more cold, more new more heat, there will be cache strategy to speed up the search and support with larger thermal data; and based on cache structure model of reusable complete, different segments of the dimensions of cache, cache content is according to the time order. The timeliness requirements of content services, according to different dimensions (vertical segments) according to the time sequence of polymerization content.

【技术实现步骤摘要】
一种数据存储和检索的方法及装置
本专利技术实施例涉及数据处理的
，尤其涉及一种数据存储和检索的方法及装置。
技术介绍
在现实社会中，人与人的交流是通过人与人之间的介绍、握手来形成一个朋友圈、联系圈的，每个人不需要直接认识所有人，只需要通过他的朋友，朋友的朋友，就能促成一次握手。社交网站允许用户在他们的网络共享他们的想法、图片、文章、活动、事件。内容分发与订阅是一项连接内容消费者与内容生产者，同时创造出诸多供应的商业模式如广告、赞赏等的技术。基于时效性的feed系统推拉模型是实现内容分发与订阅的一种有效手段。行业动态已成为平台吸引用户、增加用户黏性的重要手段。使用传统关系型的数据存储，“热”数据的检索和并发访问有较大局限性，对于有时效性要求的内容服务来说，根据不同维度垂直细分并按照时间推进顺序聚合内容更凸显了这个局限性。
技术实现思路
本专利技术实施例的目的在于提出一种数据存储和检索的方法及装置，旨在解决如何提速“热”数据的检索和支持更大的并发的问题。为达此目的，本专利技术实施例采用以下技术方案：第一方面，一种数据存储和检索的方法，所述方法包括：根据key-value模型设置内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；基于不同的细分维度设置所述数据存储结构；根据指定维度和时间区间完成对数据的聚合和检索。优选地，所述指定维度包括行业圈和朋友圈分别对应有序集合。优选地，所述根据key-value模型设计内存数据库的数据存储结构之后，还包括：对外发布接口，所述接口用于实现对存储内容数据的维护、查询，并提供完整的SNS交互功能。优选地，所述根据key-value模型设计内存数据库的数据存储结构之后，还包括：对外提供唯一指向索引。优选地，所述对外提供唯一指向索引，包括：使用时间戳作为分值构建有序集合sortedset，元素为所述数据存储结构中对应的唯一索引值。第二方面，一种数据存储和检索的装置，所述装置包括：第一设置模块，用于根据key-value模型设计内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；第二设置模块，用于基于不同的细分维度设计所述数据存储结构；检索模块，用于根据指定维度和时间区间完成对数据的聚合和检索。优选地，所述指定维度包括行业圈和朋友圈分别对应有序集合。优选地，所述装置还包括：发布模块，用于在根据key-value模型设计内存数据库的数据存储结构之后，对外发布接口，所述接口用于实现对存储内容数据的维护、查询，并提供完整的SNS交互功能。优选地，所述装置还包括：接口模块，用于对外提供唯一指向索引。优选地，所述接口模块，具体用于：使用时间戳作为分值构建有序集合sortedset，元素为所述数据存储结构中对应的唯一索引值。本专利技术实施例提供的一种数据存储和检索的方法及装置，根据key-value模型设置内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；基于不同的细分维度设置所述数据存储结构；根据指定维度和时间区间完成对数据的聚合和检索。从而考虑到数据的时间越久越冷，越新越热，会有cache的策略来提速“热”数据的检索和支持更大的并发；并基于完整的可复用的cache结构模型，细分不同的维度进行cache，cache的内容是按时间有序的，对于有时效性要求的内容服务来说，可以根据不同维度(垂直细分)按照时间推进顺序聚合内容。附图说明图1是本专利技术实施例提供的一种数据存储和检索的方法的流程示意图；图2是本专利技术实施例提供的另一种数据存储和检索的方法的流程示意图；图3是本专利技术实施例提供的另一种数据存储和检索的方法的流程示意图；图4是本专利技术实施例提供的一种数据存储和检索的装置的功能模块示意图。具体实施方式下面结合附图和实施例对本专利技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术实施例，而非对本专利技术实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术实施例相关的部分而非全部结构。参考图1，图1是本专利技术实施例提供的一种数据存储和检索的方法的流程示意图。如图1所示，所述数据存储和检索的方法包括：步骤101，根据key-value模型设置内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；步骤102，基于不同的细分维度设置所述数据存储结构；步骤103，根据指定维度和时间区间完成对数据的聚合和检索。其中，所述指定维度包括行业圈和朋友圈分别对应有序集合。具体的，Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。SortedSet(有序集合)是Redis提供的数据存储方式的其中一种。cache存储模型结构由七个部分组成：有序集合、动态、图片、转发、评论、赞、收藏。整个结构以有序集合部分为中心，有序集合部分由固定索引值(INDEX)指向；其他部分(动态、图片、转发、评论、赞、收藏)由唯一可变的索引值(MSGID_SUFFIX)指向，MSGID为可变部分，SUFFIX为用于区分各部分的固定值；有序集合的组成元素为MSGID。本专利技术实施例提供的一种数据存储和检索的方法，根据key-value模型设置内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；基于不同的细分维度设置所述数据存储结构；根据指定维度和时间区间完成对数据的聚合和检索。从而考虑到数据的时间越久越冷，越新越热，会有cache的策略来提速“热”数据的检索和支持更大的并发；并基于完整的可复用的cache结构模型，细分不同的维度进行cache，cache的内容是按时间有序的，对于有时效性要求的内容服务来说，可以根据不同维度(垂直细分)按照时间推进顺序聚合内容。参考图2，图2是本专利技术实施例提供的另一种数据存储和检索的方法的流程示意图。如图2所示，所述数据存储和检索的方法包括：步骤201，根据key-value模型设置内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；步骤202，对外发布接口，所述接口用于实现对存储内容数据的维护、查询，并提供完整的SNS交互功能；步骤203，基于不同的细分维度设置所述数据存储结构；步骤204，根据指定维度和时间区间完成对数据的聚合和检索。其中，所述指定维度包括行业圈和朋友圈分别对应有序集合。具体的，数据流向首先从动态服务开始发布动态/分享路况，发布内容(包括图片)使用前述cache存储模型结构进行存储；动态服务进行评论、赞、收藏、转发，数据同样使用前述cache存储模型结构进行存储；动态服务根据维度、时间区间等的条件可以获取前述cache存储模型中存储的内容数据。参考图3，图3是本专利技术实施例提供的另一种数据存储和检索的方法的流程示意图。如图3所示，所述数据存储和检索的方法包括：步骤301，根据key-value模型设置内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；步骤302，对外提供唯一指向索引；优选地，所述对外提供唯一指向索引，包括：使用时间戳作为分值构本文档来自技高网...

【技术保护点】
一种数据存储和检索的方法，其特征在于，所述方法包括：根据key‑value模型设置内存数据库的数据存储结构，所述key‑value模型的基本存储单元用于存储“热”数据；基于不同的细分维度设置所述数据存储结构；根据指定维度和时间区间完成对数据的聚合和检索。

【技术特征摘要】
1.一种数据存储和检索的方法，其特征在于，所述方法包括：根据key-value模型设置内存数据库的数据存储结构，所述key-value模型的基本存储单元用于存储“热”数据；基于不同的细分维度设置所述数据存储结构；根据指定维度和时间区间完成对数据的聚合和检索。2.根据权利要求1所述的方法，其特征在于，所述指定维度包括行业圈和朋友圈分别对应有序集合。3.根据权利要求1或2所述的方法，其特征在于，所述根据key-value模型设计内存数据库的数据存储结构之后，还包括：对外发布接口，所述接口用于实现对存储内容数据的维护、查询，并提供完整的SNS交互功能。4.根据权利要求1或2所述的方法，其特征在于，所述根据key-value模型设计内存数据库的数据存储结构之后，还包括：对外提供唯一指向索引。5.根据权利要求4所述的方法，其特征在于，所述对外提供唯一指向索引，包括：使用时间戳作为分值构建有序集合sortedset，元素为所述数据存储结构中对应的唯一索引值，所述元素用于组成有序集合sorteds...

【专利技术属性】
技术研发人员：王希磊，郭春华，
申请(专利权)人：北京中交兴路车联网科技有限公司，
类型：发明
国别省市：北京,11