一种数据存储方法、系统、设备及计算机介质技术方案

本发明专利技术公开了一种数据存储方法、系统、设备及计算机介质，所述方法根据待存储数据的属性确定所述待存储数据的实体，并将所述实体存储于所述实体对应的存储节点；其中，每个存储节点存储有至少一个实体集，所述实体集包含若干实体及与若干实体关联的中心实体。上述方法能够降低跨节点的数据关联运算，进而提升数据查询性能。查询性能。查询性能。

【技术实现步骤摘要】
一种数据存储方法、系统、设备及计算机介质


[0001]本专利技术涉及计算机
，特别是涉及一种数据存储方法、系统、设备及计算机介质。

技术介绍

[0002]随着大数据时代的到来，科学数据分析领域得到了快速发展，与此同时，数据量近乎呈指数上升的增长趋势也给数据存储、管理以及分析带来了极大的挑战，企业往往需要面对数据库内大数据存储和高性能查询处理的需求。
[0003]数据进行存储时，通常需要先将数据进行分片(sharding)，再将不同的数据分片交由不同的服务器进行存储。分片是一种水平扩展(horizontal scaling)的方式，可把一个大的数据集分散到多个数据节点上，所有的数据节点将组成一个逻辑上的数据库来存储这个大的数据集。
[0004]然而，现有的数据存储方式易将强关联逻辑的数据划分到不同的数据表和数据库中，导致空间的冗余增加，并增大了数据查询难度。

技术实现思路

[0005]本专利技术所要解决的技术问题在于，提供一种数据存储方法、系统、设备及计算机介质，可通过优化数据存储方式实现关联数据的本地化存储和计算，进而提高数据查询和计算性能。
[0006]第一方面，本专利技术提供一种数据存储方法，包括：根据待存储数据的属性确定所述待存储数据的实体；将所述实体存储于所述实体对应的存储节点；其中，每个存储节点存储有至少一个实体集，所述实体集包含若干实体及与若干实体关联的中心实体。
[0007]优选地，根据业务场景对业务数据对象进行分类；根据所述业务数据对象的分类结果确定所述实体集。
[0008]优选的，所述实体集中的若干实体仅存储在当前存储节点上。
[0009]优选的，所述中心实体为颗粒度最大的实体。
[0010]第二方面，本专利技术还提供一种数据存储系统，包括：
[0011]第一存储单元，用于根据待存储数据的属性确定所述待存储数据的实体；
[0012]第二存储单元，用于将所述实体存储于所述实体对应的存储节点；其中，每个存储节点存储有至少一个实体集，所述实体集包含若干实体及与若干实体关联的中心实体。
[0013]优选地，根据业务场景对业务数据对象进行分类；根据所述业务数据对象的分类结果确定所述实体集。
[0014]优选的，所述实体集中的若干实体仅存储在当前存储节点上。
[0015]优选的，所述中心实体为颗粒度最大的实体。
[0016]第三方面，本专利技术提供一种数据处理设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行第一
方面所述的数据存储方法。
[0017]第四方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的数据存储方法。
[0018]相比现有技术，本专利技术的有益效果在于：
[0019]本专利技术根据预先定义的实体集增加关联实体到数据表中，使强关联逻辑的关联数据分布存储在同一节点上，减少了跨节点之间数据广播、数据计算和数据汇总压力，有效提升节点和集群运算的效率，解决大数据应用下查询性能不足问题。
附图说明
[0020]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例提供的数据存储方法的流程示意图；
[0022]图2是本专利技术实施例提供的数据存储系统的结构示意图；
[0023]图3是本专利技术具体实施例提供的银行业的业务场景图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。
[0026]应当理解，在本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0027]术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0028]术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0029]第一方面，如图1所示，本专利技术一个实施例提供一种数据存储方法，具体包括下述步骤：
[0030]S11：根据待存储数据的属性确定所述待存储数据的实体。
[0031]S12：将所述实体存储于所述实体对应的存储节点；其中，每个存储节点存储有至少一个实体集，所述实体集包含若干实体及与若干实体关联的中心实体。
[0032]具体地，可根据业务场景对业务数据对象进行分类，再根据所述业务数据对象的分类结果确定实体集，其中，实体集中颗粒度最大的实体为中心实体。
[0033]业务场景通常包含多个业务数据对象，把每一类业务数据对象定义为实体，则可根据数据对象的类别确定实体集。实体集由多个相互关联的实体及实体间的关系组成，各
个实体之间的粒度均有差别，一般存在着一个粒度最大的实体，将其定义为中心实体，其它实体则称为与中心实体相关联的关联实体。
[0034]可以理解的是，中心实体还可包括业务数据量占比高的业务类型对象，或业务场景中的核心业务类型。
[0035]在一个实施例中，所述数据存储方法应用于联机分析处理OLAP模式中，具体为：
[0036]在缓冲层中完成待存储数据加载后，根据待存储数据的属性确定待存储数据的实体，基于待存储数据的实体与中心实体间的关联关系，将待存储数据的实体存储在中心实体当前存储的数据节点中。
[0037]在贴源层进行数据存储时，待存储数据的分布策略与其在缓冲层中的数据分布策略相同，同时，待存储数据在整合层计算时，也保持其数据分布策略一致。
[0038]上述实施例提供的数据存储方法可使各个数据节点最大化实现相关联数据的本地化存储和计算。在应用计算执行时，经过数据库优化器解析后的语句下推到各计算节点，使各节点最大化地在本地完成计算，减少跨节点之间数据广播、数据计算和数据汇总压力，进而提升整体计算性能。
[0039]以下提供银行业中一个具体实施例的数据存储实现方法，如图3所示，银行的业务数据要素可划分为客户(customers)、账户(accounts)、订单(orders)、交易(transa本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：根据待存储数据的属性确定所述待存储数据的实体；将所述实体存储于所述实体对应的存储节点；其中，每个存储节点存储有至少一个实体集，所述实体集包含若干实体及与若干实体关联的中心实体。2.根据权利要求1所述的数据存储方法，其特征在于，还包括：根据业务场景对业务数据对象进行分类；根据所述业务数据对象的分类结果确定所述实体集。3.根据权利要求1所述的数据存储方法，其特征在于，所述实体集中的若干实体仅存储在当前存储节点上。4.根据权利要求1所述的数据存储方法，其特征在于，所述中心实体为颗粒度最大的实体。5.一种数据存储系统，其特征在于，包括：第一存储单元，用于根据待存储数据的属性确定所述待存储数据的实体；第二存储单元，用于将所述实体存储于所述实体对应的存储节点；其中，每个存储节点存储有至...

【专利技术属性】
技术研发人员：温海林，任丹丹，罗明明，王立，刘海波，
申请(专利权)人：广发银行股份有限公司，
类型：发明
国别省市：