一种时变图数据的快速存储查询方法技术

本发明专利技术公开了一种时变图的快速存储查询方法。将时变图数据分为结构和属性数据，将结构数据变成带关系节点的网络图模型；使用日志结构存储时变图的属性数据，建立日志属性模型；根据时变图的结构数据存储模型和属性数据存储模型建立时变图查询模型，对输入数据分类执行到网络图模型和日志属性模型对应的不同物理存储中并执行查询并行化，并且构建图数据库和文档数据库的底层数据存储和特殊的上层查询封装进行查询。本发明专利技术建立了通用的上层存储模型，并设计了时变图数据的查询，发明专利技术相比传统方法在实体状态和历史属性值查询上有显著的查询效率，在历史属性值的存储空间上也有显著的节省。

【技术实现步骤摘要】
一种时变图数据的快速存储查询方法
本专利技术涉及数据库领域的存储查询方法、图数据领域的版本管理方法与查询语言方法。
技术介绍
时变图数据是实体间相互关联、实体的属性和实体之间的关系会发生频繁变化的图结构数据。时变的特征在于(1)对图的变更发生在图的局部，是对某条关系或实体上某项属性的变更；(2)变更发生的时间分散不集中，变更之间没有聚集的规律。故时变是以单个实体、关系或属性为粒度的变更，具有局域性和分散性。与时变形成对比的是图的整体版本变更，如知识图谱的定期数据更新和版本管理，是以一定时间间隔下的对全图的变更作为粒度单元的变更存储和查询。以电子商务举例，可以将商品和用户作为不同类型的节点表达，将用户与商品之间的收藏、购买和评论行为用连接在节点之间的边来表示。在繁忙的电子商城中用户的参与行为使得图的结构和属性内容发生着持续不间断的变化。在这样的模型下，通常需要进行的查询包括：a)历史结构查询，查询历史上某个时间点下的图结构关系，比如用户在过去一个月内的购买情况；b)历史内容查询，某个实体随着时间发生的属性变化，比如商品在发布后一年内的销量变化。时变图数据这一模型广泛适用于目前互联网的多个领域，如电子商务领域可将商品、类目、用户购买评论行为以及商品的评分变化等信息组织成时变图数据。从而实现用户个性化推荐和流量智能调度以提升电商平台的收益。社交网络领域通过组织在线用户之间的关注、交互关系，可以实现交友圈分析、新用户的关注推荐以及可能感兴趣的事件推送，实现社交网络应用智能化，提升用户的使用体验。目前实际应用中对于这些时变数据的存储通常采用传统数据库或依据数据类型特定存储方案，存在应用开发和数据迁移的代价，未能通过建立通用的模型方案以封装实现细节来化解这一领域的成本。
技术实现思路
本专利技术通过约束时变图数据的使用场景，提出了在关于图的局域结构和变更查询场景下的时变图数据存储检索优化方案，实现了对历史属性的高效化存储和对历史关系结构的查询统一化。本专利技术解决其技术问题采用的技术方案如下：本专利技术将时变图数据分为结构数据和属性数据，基于网络模型将时变图的结构数据变成带关系节点的网络图模型，作为时变图的结构数据存储模型，网络图模型中带有和时变节点关联的网络节点；使用日志结构存储时变图的属性数据，建立日志属性模型，作为时变图的属性数据存储模型；时变图数据例如可以是用户行为的交互数据，例如电子商城、社交网络上用户和商品之间购买、关注、收藏的交互数据。然后根据时变图的结构数据存储模型和属性数据存储模型，建立时变图查询模型，对用户输入的数据分类执行到网络图模型和日志属性模型对应的不同物理存储中并执行查询并行化，并且构建图数据库和文档数据库的底层数据存储和特殊的上层查询封装进行查询。所述步骤1)中时变图的时变节点代表为用户或者商品的实体对象，时变图的边代表为实体对象之间的关联关系以及实体对象自身的创建和删除操作。具体实施中，实体对象可以为商品、用户。实体对象之间的关联关系可以为用户和商品之间、商品和商品之间以及用户和用户之间。所述方法的步骤如下：1)首先获取时变图结构数据，时变图的结构数据是包括时变图中的时变节点和边的关联关系数据及其变更数据；例如对于用户的时变节点，时变节点的创建和删除操作可以为用户有注册和注销；对于商品的时变节点，时变节点的创建和删除操作可以为商品对象的上架和下架；对于用户和商品之间的，时变节点之间的关联关系可以为收藏关系，收藏关系有收藏和取消收藏。2)建立网络图模型：通过网络图模型的应用将时序图中的关联关系使用关系节点的形式表示，网络图模型主要由时变节点、网络节点、关系节点构成，网络图模型中，网络图模型在时变图基础上建立关系节点和网络节点，关系节点为在两个时变节点之间插入的用于表达两个时变节点之间边信息的节点，网络节点关联有边的历史信息，即网络节点和时变节点之间的边存储有网络节点和时变节点之间关联关系的历史信息，网络节点和关系节点之间的边存储有网络节点和关系节点之间关联关系的历史信息，一个网络节点对应于实体对象的一个交互操作周期或者一个生存周期，而将时变图中的不同时间维度描述成不同的网络节点；关系节点和网络节点之间关联关系用于代表实体对象之间的关联关系及其变更数据。网络节点和时变节点之间关联关系用于代表实体对象的创建和删除操作及其变更数据。3)建立日志属性模型采用日志结构存储由时变节点和边的所有属性内容构成的日志属性模型，属性内容为属性、属性变更及其变更情况的历史信息，具体是将时变节点的历史属性的状态解耦合，属性的状态是指时变节点的所有属性值，对时变节点的每个属性建立日志结构，存储其所有属性的历史属性值和属性变更的时间；商品的属性例如为商品的价格、排名、评分、商品名称和商品标识码，用户的属性例如为用户标签、昵称、年龄，属性变更例如为商品价格变化等属性变化。5)建立时变图查询模型。根据网络图模型和日志属性模型，将用户输入的对时变图的变更数据按照结构数据和属性数据进行分类，执行到网络图模型和日志属性模型对应的不同物理存储中，根据查询内容对应的分类类型执行在两个模型的查询并行化；6)时变图的存储和查询将图数据库作为底层的结构数据存储，将文档数据库作为底层的属性数据存储，使用通用图查询框架作为上层的查询封装，扩展通用图查询框架框架中的查询语法，使支持时变图数据的存储和查询。现有技术中，图数据和文档数据库不支持时变图数据，本专利技术通过上述方法实现了通过图数据和文档数据库能够应用于存储和查询时变图数据，并且能够采用扩展通用图查询框架框架进行查询和扩展。所述步骤2)中，交互操作周期为用户在电子商务网站或者社交网站上对商品的交互操作，生存周期为商品在电子商务网站或者社交网站上存在的时间周期。所述步骤3)中，所述的日志属性模型包括时变图的所有创建过的时变节点和时变节点之间关联关系的历史属性值，及属性变更时的变更时间。所述步骤6)中，通过改写扩展图查询框架中的查询方式替换接口调用，查询中带入扩展图查询框架中的副作用变量作为额外的时间参数传入至扩展图查询框架中，实现在与查询语法一致的基础上支持时变图数据的变更和历史查询的场景扩展。本专利技术具有的有益效果是：本专利技术设计了时变图存储和查询框架，建立了通用的上层存储模型，并设计了时变图数据的查询，专利技术相比传统方法在实体状态和历史属性值查询上有显著的查询效率，在历史属性值的存储空间上也有显著的节省。本专利技术提出了面向时变图数据的存储方案。通过建立通用数据存储模型，设计实现跨数据库存储方案。该方案使用户降低了迁移数据和学习使用的成本。本专利技术设计时变图数据的查询，以支持关于图数据的变更写入和历史查询。在支持基本图数据查询的同时，扩展了图数据的应用场景，能够更高效地满足多领域的应用要求。基于不同种类的数据库和查询框架的现有优势，对上述存储和查询方案进行了实现，并通过实验验证了方案的可行性。附图说明图1是使用网络模型存储结构数据的示意图。图2是使用日志模型存储属性数据的示意图。图3是系统的实现框架描述图。图4是查询框架接口的实现与扩展示意图。具体实施方式现结合具体实施和示意图对本专利技术的技术方案作进一步说明。如图1，本专利技术具体实施例及其实施过程如下：步骤1：首先建立图结构数据的模型，结构数据包括图的本文档来自技高网...

【技术保护点】
1.一种时变图的快速存储查询方法，其特征在于：将时变图数据分为结构数据和属性数据，将时变图的结构数据变成带关系节点的网络图模型，作为时变图的结构数据存储模型；使用日志结构存储时变图的属性数据，建立日志属性模型，作为时变图的属性数据存储模型；然后根据时变图的结构数据存储模型和属性数据存储模型，建立时变图查询模型，对用户输入的数据分类执行到网络图模型和日志属性模型对应的不同物理存储中并执行查询并行化，并且构建图数据库和文档数据库的底层数据存储和特殊的上层查询封装进行查询。

【技术特征摘要】
1.一种时变图的快速存储查询方法，其特征在于：将时变图数据分为结构数据和属性数据，将时变图的结构数据变成带关系节点的网络图模型，作为时变图的结构数据存储模型；使用日志结构存储时变图的属性数据，建立日志属性模型，作为时变图的属性数据存储模型；然后根据时变图的结构数据存储模型和属性数据存储模型，建立时变图查询模型，对用户输入的数据分类执行到网络图模型和日志属性模型对应的不同物理存储中并执行查询并行化，并且构建图数据库和文档数据库的底层数据存储和特殊的上层查询封装进行查询。2.根据权利要求1所述的一种时变图的快速存储查询方法，其特征在于：所述步骤1)中时变图的时变节点代表为用户或者商品的实体对象，时变图的边代表为实体对象之间的关联关系以及实体对象自身的创建和删除操作。3.根据权利要求1所述的一种时变图的快速存储查询方法，其特征在于：所述方法的步骤如下：1)首先获取时变图结构数据，时变图的结构数据是包括时变图中的时变节点和边的关联关系数据及其变更数据；2)建立网络图模型：网络图模型中，网络图模型在时变图基础上建立关系节点和网络节点，关系节点为在两个时变节点之间插入的用于表达两个时变节点之间边信息的节点，网络节点关联有边的历史信息，即网络节点和时变节点之间的边存储有网络节点和时变节点之间关联关系的历史信息，网络节点和关系节点之间的边存储有网络节点和关系节点之间关联关系的历史信息，一个网络节点对应于实体对象的一个交互操作周期或者一个生存周期；采用日志结构存储由时变节点和边的所有属性内容构成的日志...

【专利技术属性】
技术研发人员：陈珂，寿黎但，赵萍，陈刚，江大伟，伍赛，胡天磊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33