一种图数据存储方法及系统技术方案

本发明专利技术适用于计算机领域，提供了一种图数据存储方法及系统，将获取的数据保存在对应的存储单元中，并定期计算存储单元内存使用量占比；不断监控判断中心存储单元内存使用量占比是否大于溢满占比，即定时监控中心存储单元的内存是否即将用完，当中心存储单元内存使用量占比大于溢满占比的时候，将中心存储单元中的数据自动迁移至与其相连的一级存储单元。通过将中心存储单元中的数据迁移至一级存储单元中，使得中心存储单元的内存得到释放。解决了现有技术中固定的存储单元，在存储数据时出现数据存储量失衡，导致有些存储单元负荷过大，运转速度变慢的问题。运转速度变慢的问题。运转速度变慢的问题。

【技术实现步骤摘要】
一种图数据存储方法及系统


[0001]本专利技术属于计算机领域，尤其涉及一种图数据存储方法及系统。

技术介绍

[0002]图数据库的数据处理方式和传统数据库领域中的 OLTP（在线联机处理）处理相近，以提供高效低延迟的关联查询、数据更新，和系统的图查询语言处理为主要任务。针对关系型数据库对关联查询处理效率不理想的问题，图数据库特别通过图数据建模、支持高效的关联查询存储、以及特有的图索引定向优化，包括在给定图查询条件下避免访问与该查询无关的节点、边和属性数据来缩小搜索范围，降低查询结果计算开销。
[0003]图数据库确实有很广泛的适用场景，因为连接存在于自然和社会中的各个角落。每个事物都不是孤立的，而是跟其他事物或紧或松的联系着。随着人类社会的进步，各种关系的处理变得越来越重要，不仅是人，物与物之间的连接关系也越来越被我们所重视。例如，社交是人与人之间的连接，以图数据模型为内在的图数据库天生适用于明显的以联系为中心的领域。在社交网络中使用图数据库可以方便地识别人/群组和他们交流的事物之间的直接或间接的联系，使用户能够高效地对其他人或事物进行打分、评论、发现彼此存在的关系和共同关系的事情。可以更加直观地了解社交网络中人与人之间如何互动、如何关联、如何以群组的形式来做事情或选择。社交网络是最基础的图模型，在此基础上可以叠加更多的内容，比如个人的喜好、购买过的物品、日常的生活方式等，从而演化出更高级的图数据库应用模式。
[0004]在关系型图数据模型中，节点、边和属性等数据构成了图数据模型的框架，任选其中一个节点，该节点与其余周围多个节点产生关联，而多个节点又与别的节点发生关联，从而呈现看似以其中一个节点为中心，向周围不断辐射的关系网。将其中一个节点看成一个小的数据存储单元，边看成多个数据存储单元之间的对应关系，现有的图数据存储在节点上的存储是固定的，计算机程序会指定数据存储在预先分配好的固定的存储单元中，使得有些存储单元在存储过程中存储的数据较多，有些存储单元存储的数据较少，整体数据存储在各个存储单元间的分配出现失衡的状态，导致有些存储单元负荷过大，运转速度变慢，作为数据查询和存储流程中的一个节点，导致整体数据库运行性能下降。

技术实现思路

[0005]本专利技术实施例提供一种图数据存储方法及系统，旨在解决预先固定内存大小的存储单元，在存储数据时出现数据存储量失衡，导致有些存储单元负荷过大，运转速度变慢的问题。
[0006]本专利技术实施例是这样实现的，一方面，一种图数据存储方法包括：获取要保存的数据；将数据保存在对应的存储单元中，并定期计算存储单元内存使用量占比；将一个存储单元定义为中心存储单元，将与中心存储单元直接相连的存储单元定义为一级存储单
元，除去中心存储单元以外，将与一级存储单元直接相连的存储单元定义为二级存储单元，将多层存储单元以此类推向外辐射定义多层层级关系；判断中心存储单元内存使用量占比是否大于溢满占比；所述溢满占比为中心存储单元的内存使用量即将达到内存总量的预警值；当中心存储单元内存使用量占比大于溢满占比的时候，将中心存储单元中的数据自动迁移至与其相连的一级存储单元。
[0007]作为本专利技术的一种改进方案：所述将数据保存在对应的存储单元中，并定期计算存储单元内存使用量占比具体包括：将数据保存在对应的存储单元中；对存储单元进行定时监控，当定时时间倒计时为零时，触发定时抓取；抓取存储单元的内存使用量以及内存总量，得出内存使用量占比。
[0008]作为本专利技术的又一种改进方案：所述当中心存储单元内存使用量占比大于溢满占比的时候，将中心存储单元中的数据自动迁移至与其相连的一级存储单元中具体包括：当中心存储单元内存使用量占比大于溢满占比的时候，获取此时与中心存储单元相连的一级存储单元的个数；确定中心存储单元中要被迁移出的数据，形成待迁移数据集；将中心存储单元中的待迁移数据集根据一级存储单元的个数进行分配，迁移至一级存储单元。
[0009]作为本专利技术的另一种改进方案：所述确定中心存储单元中要被迁移出的数据，形成待迁移数据集具体包括：当中心存储单元内存使用量占比大于溢满占比的时候，根据不同数据最后一次存储的时间点为基准向前推算，将固定量级的数据分割出来，形成待迁移数据集；识别待迁移数据集与不同一级存储单元之间的对应关系。
[0010]作为本专利技术的进一步方案：所述将固定量级的数据分割出来，形成待迁移数据集的具体方法包括：按照不同数据最后一次存储的时间点为基准向前推算，将固定时间内的数据分割出来，形成待迁移数据集；或者按照不同数据最后一次存储的时间点为基准向前推算，将固定大小的数据分割出来，形成待迁移数据集。
[0011]作为本专利技术的再进一步方案：所述确定中心存储单元中要被迁移出的数据，形成待迁移数据集具体包括：抓取每个一级存储单元的内存使用量以及内存总量；根据内存使用量和内存总量计算出每个一级存储单元的剩余内存量；根据每个一级存储单元的剩余内存量，得出多个一级存储单元之间的剩余内存比值；确定中心存储单元中要迁移的数据总量，将数据总量按照剩余内存比值进行分配，确定每个一级存储单元对应的待迁移数据集的大小；根据每个一级存储单元对应的待迁移数据集的大小，以不同数据最后一次存储的时间点为基准向前推算，将对应大小的待迁移数据集分割出来。
[0012]作为本专利技术的优化方案：所述将中心存储单元中的待迁移数据集根据一级存储单元的个数进行分配，迁移至一级存储单元具体包括：
根据分割出来的待迁移数据集与不同一级存储单元之间的对应关系，将待迁移数据集分别迁移至一级存储单元。
[0013]作为本专利技术的又一种方案：所述当中心存储单元内存使用量占比大于溢满占比的时候，将中心存储单元中的数据自动迁移至与其相连的一级存储单元之后所述方法还包括：将中心存储单元中的数据迁移至下级存储单元之后，判断下级存储单元内存使用量占比是否大于溢满占比；当下级存储单元内存使用量占比大于溢满占比的时候，将下级存储单元中的数据自动迁移至与其相连的更下一级存储单元；直到最后接收迁移数据的存储单元被判断出其内存使用量占比不大于溢满占比的时候，停止接收迁移数据的存储单元继续进行数据的迁移。
[0014]作为本专利技术的另一种优化方案：所述当下级存储单元内存使用量占比大于溢满占比的时候，将下级存储单元中的数据自动迁移至与其相连的更下一级存储单元之后，所述方法还包括：当数据迁移至最后一级存储单元，经过判断后，最后一级存储单元的内存使用量占比仍大于溢满占比时，以此最后一级存储单元为基准向上推进，对该最后一级存储单元所处的数据迁移路径上的所有存储单元进行内存扩展。
[0015]另一方面，一种图数据存储系统包括：数据获取模块，用于获取要保存的数据；内存使用量占比监控模块，用于将数据保存在对应的存储单元中，并定期计算存储单元内存使用量占比；将一个存储单元定义为中心存储单元，将与中心存储单元直接相连的存储单元定义为一级存储单元，除去中心存储单元以外，将与一级存储单元直接相连的存储单元定义为二级存储单元，将多层存储单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图数据存储方法，其特征在于，所述方法包括：获取要保存的数据；将数据保存在对应的存储单元中，并定期计算存储单元内存使用量占比；将一个存储单元定义为中心存储单元，将与中心存储单元直接相连的存储单元定义为一级存储单元，除去中心存储单元以外，将与一级存储单元直接相连的存储单元定义为二级存储单元，将多层存储单元以此类推向外辐射定义多层层级关系；判断中心存储单元内存使用量占比是否大于溢满占比；所述溢满占比为中心存储单元的内存使用量达到内存总量的预警值；当中心存储单元内存使用量占比大于溢满占比的时候，将中心存储单元中的数据自动迁移至与其相连的一级存储单元。2.如权利要求1所述的图数据存储方法，其特征在于，所述将数据保存在对应的存储单元中，并定期计算存储单元内存使用量占比具体包括：将数据保存在对应的存储单元中；对存储单元进行定时监控，当定时时间倒计时为零时，触发定时抓取；抓取存储单元的内存使用量以及内存总量，得出内存使用量占比。3.如权利要求1所述的图数据存储方法，其特征在于，所述当中心存储单元内存使用量占比大于溢满占比的时候，将中心存储单元中的数据自动迁移至与其相连的一级存储单元中具体包括：当中心存储单元内存使用量占比大于溢满占比的时候，获取此时与中心存储单元相连的一级存储单元的个数；确定中心存储单元中要被迁移出的数据，形成待迁移数据集；将中心存储单元中的待迁移数据集根据一级存储单元的个数进行分配，迁移至一级存储单元。4.如权利要求3所述的图数据存储方法，其特征在于，所述确定中心存储单元中要被迁移出的数据，形成待迁移数据集具体包括：当中心存储单元内存使用量占比大于溢满占比的时候，根据不同数据最后一次存储的时间点为基准向前推算，将固定量级的数据分割出来，形成待迁移数据集；识别待迁移数据集与不同一级存储单元之间的对应关系。5.如权利要求4所述的图数据存储方法，其特征在于，所述将固定量级的数据分割出来，形成待迁移数据集的具体方法包括：按照不同数据最后一次存储的时间点为基准向前推算，将固定时间内的数据分割出来，形成待迁移数据集；或者按照不同数据最后一次存储的时间点为基准向前推算，将固定大小的数据分割出来，形成待迁移数据集。6.如权利要求3所述的图数据存储方法，其特征在于，所述确定中心存储单元中要被迁移出的数据，形成待迁移数据集具体包括：抓取每个一级存储单元的内存使用量以及内存总量；根据内存使用量和内存总量计算出每个一级存储单元的剩余内存量；根据每个一级存储单元的剩余内存量，得出多...

【专利技术属性】
技术研发人员：周柳阳，蒋林林，
申请(专利权)人：深圳市一号互联科技有限公司，
类型：发明
国别省市：