数据共享系统、方法技术方案

本发明专利技术公开了一种数据共享系统、方法，涉及大数据技术领域。该系统的一具体实施方式包括：用户交互层，用于接收数据处理请求，数据处理请求包括数据写入请求，数据写入请求包括待写入数据；数据存储层，用于根据数据写入请求，持久化存储待写入数据；多级分布式缓存层，所述多级分布式缓存层具有多个缓存节点，每个缓存节点具有至少一个标签；所述多级分布式缓存层用于对待写入数据进行标签适配，以从多个缓存节点中确定第一目标缓存节点，并将待写入数据缓存至所述第一目标缓存节点。该实施方式可以在不改变现有存储格局的情况下，利用定制化、个性化标签进行高效的数据共享，通过统一的接口进行管理，细节对用户进行隐藏，便于开发、维护。维护。维护。

【技术实现步骤摘要】
数据共享系统、方法


[0001]本专利技术涉及大数据
，尤其涉及一种数据共享系统、方法。

技术介绍

[0002]随着大数据时代的到来，数据产生的速度越来越快，种类也越来越多。它大量遍布于组织的内部与外部，并且随时不停地在流动，这些数据保存的位置也有可能遍布于不同的地理位置，这样的现状给数据使用者带来了很多困难，加上数据使用者通常也遍布于不同的地理位置，数据交换、共享进而使用的需求越来越频繁，这给数据高效分发和使用造成了很大的困难。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种数据共享系统、方法，能够在不改变现有存储格局的情况下，利用定制化、个性化标签进行高效的数据共享，通过动态组合标签实现灵活的缓存策略，从而将数据缓存至更适合的缓存节点中，以便于数据快速读取、分析，提高数据共享效率和数据使用价值；并且通过统一的接口进行管理。此外，用户无需为数据共享编写代码，只是通过最普通的读取和写入命令便可实现，细节对用户进行隐藏，便于开发和维护。
[0004]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据共享系统，包括：
[0005]用户交互层，用于接收数据处理请求，所述数据处理请求包括数据写入请求，所述数据写入请求包括待写入数据；
[0006]数据存储层，用于根据所述数据写入请求，持久化存储所述待写入数据；
[0007]多级分布式缓存层，所述多级分布式缓存层具有多个缓存节点，每个所述缓存节点具有至少一个标签；所述多级分布式缓存层用于对所述待写入数据进行标签适配，以从所述多个缓存节点中确定第一目标缓存节点，并将所述待写入数据缓存至所述第一目标缓存节点。
[0008]可选地，所述多级分布式缓存层还包括标签配置模块，用于接收标签配置信息，根据所述标签配置信息，确定所述缓存节点的至少一个标签。
[0009]可选地，所述标签配置信息包括以下一种或多种：缓存节点的物理位置、机房位置、读写速度、硬件配置信息、数据源类型、数据用途和剩余缓存空间。
[0010]可选地，所述多级分布式缓存层还包括层级管理单元，用于对所述缓存节点的缓存资源进行层级划分。
[0011]可选地，每个所述缓存节点的层级数相同。
[0012]可选地，所述数据存储层还包括第一文件系统和至少一个第二文件系统，所述至少一个第二文件系统挂载在所述第一文件系统的全局目录下。
[0013]可选地，所述数据处理请求还包括数据读取请求；
[0014]所述多级分布式缓存层还用于根据所述数据读取请求，确定第二目标缓存节点，并从所述第二目标缓存节点中读取目标数据。
[0015]可选地，所述系统还包括元数据服务层，用于记录所述待写入数据的存储路径和缓存路径。
[0016]为实现上述目的，根据本专利技术实施例的另一个方面，提供了一种数据共享方法，所述数据共享方法应用于本专利技术实施例所述的数据共享系统，所述数据共享方法包括：
[0017]接收数据处理请求，所述数据处理请求包括数据写入请求，所述数据写入请求包括待写入数据；
[0018]根据所述数据写入请求，持久化存储所述待写入数据；
[0019]对所述待写入数据进行标签适配，以从多个缓存节点中确定第一目标缓存节点，并将所述待写入数据缓存至所述第一目标缓存节点；其中，所述多个缓存节点中的每一缓存节点具有至少一个标签。
[0020]可选地，在接收数据处理请求之前，所述方法还包括：
[0021]接收标签配置信息，根据所述标签配置信息确定所述缓存节点的至少一个标签。
[0022]可选地，所述标签配置信息包括以下一种或多种：缓存节点的物理位置、机房位置、读写速度、硬件配置信息、数据源类型、数据用途和剩余缓存空间。
[0023]可选地，所述数据处理请求还包括数据读取请求；
[0024]所述方法还包括：根据所述数据读取请求，确定第二目标缓存节点，并从所述第二目标缓存节点中读取目标数据。
[0025]为实现上述目的，根据本专利技术实施例的又一个方面，提供了一种一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例的数据共享方法。
[0026]为实现上述目的，根据本专利技术实施例的再一个方面，提供了一种一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例的数据共享方法。
[0027]上述专利技术中的一个实施例具有如下优点或有益效果：因为通过统一的用户交互层接收用户数据处理请求，用户不直接与底层的数据存储进行交互，不需了解底层的数据存储逻辑，只需编写数据写入或读取命令即可；对多级分布式缓存层中的缓存节点进行多维度打标，确定每个缓存节点的至少一个标签，通过动态组合标签实现灵活的缓存策略，从而将数据缓存至更适合的缓存节点中，以便于数据快速读取、分析，提高数据共享效率和数据使用价值。以现有的文件系统作为持久化存储层，并将其他文件系统挂载在该持久化存储层的文件系统下，能够在不改变现有存储格局的情况下，利用定制化、个性化标签进行高效的数据共享，通过动态组合标签实现灵活的缓存策略，从而将数据缓存至更适合的缓存节点中，以便于数据快速读取、分析，提高数据共享效率和数据使用价值；并且通过统一的接口进行管理。此外，用户无需为数据共享编写代码，只是通过最普通的读取和写入命令便可实现，细节对用户进行隐藏，便于开发和维护。
[0028]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0029]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0030]图1是现有技术的集中式数据存储方式的结构示意图；
[0031]图2是现有技术的分布式数据存储方式的结构示意图；
[0032]图3是本专利技术实施例的数据共享系统的结构示意图；
[0033]图4是本专利技术实施例的数据共享系统的数据存储层的结构示意图；
[0034]图5是本专利技术另一实施例的数据共享系统的结构示意图；
[0035]图6是本专利技术实施例的数据共享方法的主要流程的示意图；
[0036]图7是本专利技术实施例可以应用于其中的示例性系统架构图；
[0037]图8是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0038]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0039]在大数据环境下，数据规模和复杂度的增加往往非常迅速，对数据存储系统的要求也越来越高。目前，如果数据需要大范围、跨区域进行共享，通常有两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据共享系统，其特征在于，包括：用户交互层，用于接收数据处理请求，所述数据处理请求包括数据写入请求，所述数据写入请求包括待写入数据；数据存储层，用于根据所述数据写入请求，持久化存储所述待写入数据；多级分布式缓存层，所述多级分布式缓存层具有多个缓存节点，每个所述缓存节点具有至少一个标签；所述多级分布式缓存层用于对所述待写入数据进行标签适配，以从所述多个缓存节点中确定第一目标缓存节点，并将所述待写入数据缓存至所述第一目标缓存节点。2.根据权利要求1所述的系统，其特征在于，所述多级分布式缓存层还包括标签配置模块，用于：接收标签配置信息；根据所述标签配置信息，确定所述缓存节点的至少一个标签。3.根据权利要求2所述的系统，其特征在于，所述标签配置信息包括以下一种或多种：缓存节点的物理位置、机房位置、读写速度、硬件配置信息、数据源类型、数据用途和剩余缓存空间。4.根据权利要求1所述的系统，其特征在于，所述多级分布式缓存层还包括层级管理单元，用于对所述缓存节点的缓存资源进行层级划分。5.根据权利要求4所述的系统，其特征在于，每个所述缓存节点的层级数相同。6.根据权利要求1所述的系统，其特征在于，所述数据存储层还包括第一文件系统和至少一个第二文件系统，所述至少一个第二文件系统挂载在所述第一文件系统的全局目录下。7.根据权利要求1
‑
6任一项所述的系统，其特征在于，所述数据处理请求还包括数据读取请求；所述多级分布式缓存层还用于根据所述数据读取请求，确定第二目标缓存节点，并从所述第二目标缓存节点中读取目标数据。8.根据权利要求7所述的系统，其特征在于，所述系统还包括元数据服务层，用...

【专利技术属性】
技术研发人员：范东来，
申请(专利权)人：网银在线北京科技有限公司，
类型：发明
国别省市：