事务型数据的图分析方法及系统技术方案

本发明专利技术提供一种事务型数据的图分析方法及系统，构建事务节点以及图分析节点；定义数据模型映射，并初始化图分析节点的图数据；当事务节点进行事务提交时，将事务节点产生的事务日志发送到对应的图分析节点；图分析节点上的日志清理器将事务日志转化为统一格式；在图分析节点上，将日志按顺序恢复成对图数据的更新，并使用并发控制协议对图数据进行更新；由客户端发送图分析请求至服务端，服务端生成执行计划并将请求继续转发到所涉及的图分析节点；图分析节点根据执行计划从图数据上进行数据的读取并计算，得到分析请求的各个子结果；合并各个分析节点上的子结果，生成结果集，并将所述结果集返回给客户端。本发明专利技术能够保证数据的一致性和时效性，并且对于原有的事务执行不产生干扰。不产生干扰。不产生干扰。

【技术实现步骤摘要】
事务型数据的图分析方法及系统


[0001]本专利技术涉及数据处理
，具体地，涉及一种事务型数据的图分析方法及系统。

技术介绍

[0002]图结构数据(graph
‑
structure data)将数据分为实体与关系两类，将实体存为图中的顶点、实体之间的关系存为图中的边。图分析处理(graph analytical processing)是指在图结构数据上进行遍历、分析、查询等操作的一种数据处理任务类型。图数据上能够高效处理一些经典的图算法(如用于网页排名的PageRank算法)用于数据分析、关联数据的匹配和数据挖掘等应用场景。
[0003]然而，数据的来源往往以在事务节点上的事务型数据(指在线事务处理所产生的数据，如电商订单、股票交易等)为主，并且主要以关系模型存储数据。直接在事务型数据上进行图分析处理不仅难以使用关系模型表达，而且是低效的。若将现有事务型数据直接切换成另一种数据存储方式，将会有兼容性问题以及大量的人力、物力的开销。因此，在事务型数据上支持图处理分析，是具有现实需求同时又极具挑战。
[0004]现有的针对事务型数据的图分析处理方式除了直接在事务数据库直接进行，还有使用图数据库和通过离线的抽取
‑
转换
‑
加载(ETL)技术进行数据模型的转换。而这些技术在对于性能、一致性和数据时效性方面往往有所欠缺。例如对于直接进行新型的图数据库对于事务性数据进行分析，需要同时将事务在事务数据库和图数据库上都要提交，导致两次提交的一致性难以维护。在ETL的方式中，数据需要批量地、周期性地进行转换，由于批量的数据量较大，因此转换周期很长(如小时级别到每天)。
[0005]因此，如何设计出一种新型的面向事务型数据的图分析处理方式，以提升数据的表达能力和数据处理时的性能，已成为事务型数据的使用与分析中的重要问题。
[0006]对于新型事务性数据的图分析处理方式的一个机遇是现有的事务数据库往往为了容错而在事务提交时具有日志(log)以及建立数据备份，日志记录了事务中涉及到的数据及其变化，利用事务日志能够获取数据变化的信息、进行数据的实时同步，因此，将数据备份改造为图结构，利用日志作为数据变更的来源，能够建立一种高效的新型事务型数据的图分析方法和系统。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术提供一种事务型数据的图分析方法及系统。
[0008]根据本专利技术提供的一种事务型数据的图分析方法及系统，所述方案如下：
[0009]第一方面，提供了一种事务型数据的图分析方法，所述方法包括：
[0010]步骤S1：根据用户指令构建事务节点以及图分析节点；
[0011]步骤S2：定义数据模型映射，并初始化所述图分析节点的图数据；
[0012]步骤S3：当所述事务节点进行事务提交时，将事务节点产生的事务日志发送到对
应的图分析节点；
[0013]步骤S4：所述图分析节点上的日志清理器将事务日志转化为统一格式；
[0014]步骤S5：在所述图分析节点上，根据所述数据模型映射将事务日志按顺序恢复成对图数据的更新，并使用并发控制协议对图数据进行更新；
[0015]步骤S6：由客户端发送图分析请求至服务端，服务端生成执行计划并将请求继续转发到所涉及的图分析节点；
[0016]步骤S7：所述图分析节点根据执行计划从图数据上进行数据的读取并计算，得到分析请求的各子结果；
[0017]步骤S8：合并各个分析节点上的子结果，生成结果集，并将所述结果集返回给客户端。
[0018]优选地，所述步骤S1中的图分析节点与事务节点部署在同一台物理机内，或部署在能够通过网络通讯的不同物理机，构成分布式系统。
[0019]优选地，所述步骤S2中的数据模型映射包括：数据库表名到某一类型的点或边的映射，以及数据库表中的属性到图结构数据属性的映射。
[0020]优选地，所述步骤S3中的事务日志，包括事务涉及到的数据库表名、修改数据的主键和值、修改类型，以及事务提交时的顺序信息，事务日志将通过网络或共享内存在内的相关方式从事务节点发送到图分析节点。
[0021]优选地，所述步骤S4中的日志清理器对事务日志的结构进行分析，将事务日志统一为包含数据库表名、主键和值、更新类型以及顺序信息在内的相关必要信息的统一日志格式。
[0022]优选地，所述步骤S5中对于图数据的更新，需要根据日志中的顺序信息，按顺序清理这些日志、更新图数据保证数据一致性。
[0023]优选地，所述步骤S6中服务端负责接收图分析请求，并且根据请求中所涉及到的数据将请求分发给相关的节点。
[0024]优选地，所述步骤S7中对于数据的读取需根据并发控制协议读到一个一致性的数据。
[0025]第二方面，提供了一种事务型数据的图分析系统，所述系统包括：服务端和客户端；
[0026]所述服务端包括请求调度器和若干数据节点；
[0027]所述请求调度器负责将请求发送给合适的数据节点，所述数据节点负责处理事务或图分析请求、读写数据与计算；
[0028]所述请求调度器包括：事务请求调度器和图分析请求调度器；
[0029]所述数据节点包括：事务节点和图分析节点。
[0030]优选地，所述客户端和服务端采用客户机/服务器(C/S)模式，将计算机组建成局域网络。
[0031]与现有技术相比，本专利技术具有如下的有益效果：
[0032]1、本专利技术相比直接在事务型数据上直接进行图分析或者部署新的图数据库和ETL的方式，能够更好地保证数据的一致性、时效性以及分析处理的性能；
[0033]2、本专利技术能够在一个一体化的系统中同时进行在线事务处理和图分析，减少运维
成本；
[0034]3、本专利技术能够在一定程度上复用现有的日志和备份机制，简化系统的设计和开发，同时能够兼容不同的事务型数据的来源，对事务处理不产生干扰。
[0035]本专利技术的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
[0036]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0037]图1为本专利技术流程图；
[0038]图2为本专利技术系统结构示例图。
具体实施方式
[0039]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。
[0040]本专利技术实施例提供了一种事务型数据的图分析方法，参照图1所示，该方法采用事务数据库的日志和备份以建立一种新型用于进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事务型数据的图分析方法，其特征在于，包括：步骤S1：根据用户指令构建事务节点以及图分析节点；步骤S2：定义数据模型映射，并初始化所述图分析节点的图数据；步骤S3：当所述事务节点进行事务提交时，将事务节点产生的事务日志发送到对应的图分析节点；步骤S4：所述图分析节点上的日志清理器将事务日志转化为统一格式；步骤S5：在所述图分析节点上，根据所述数据模型映射将事务日志按顺序恢复成对图数据的更新，并使用并发控制协议对图数据进行更新；步骤S6：由客户端发送图分析请求至服务端，服务端生成执行计划并将请求继续转发到所涉及的图分析节点；步骤S7：所述图分析节点根据执行计划从图数据上进行数据的读取并计算，得到分析请求的各子结果；步骤S8：合并各个分析节点上的子结果，生成结果集，并将所述结果集返回给客户端。2.根据权利要求1所述的事务型数据的图分析方法，其特征在于，所述步骤S1中的图分析节点与事务节点部署在同一台物理机内，或部署在能够通过网络通讯的不同物理机，构成分布式系统。3.根据权利要求1所述的事务型数据的图分析方法，其特征在于，所述步骤S2中的数据模型映射包括：数据库表名到某一类型的点或边的映射，以及数据库表中的属性到图结构数据属性的映射。4.根据权利要求1所述的事务型数据的图分析方法，其特征在于，所述步骤S3中的事务日志，包括事务涉及到的数据库表名、修改数据的主键和值、修改类型，以及事务提...

【专利技术属性】
技术研发人员：陈榕，沈斯杰，臧斌宇，陈海波，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：