面向多应用的数据存储系统和数据存储、调用方法技术方案

本发明专利技术实施例涉及一种面向多应用的数据存储系统和数据存储、调用方法，所述系统包括：元数据库，用于存储系统的元数据；多个缓存模块，每个缓存模块面向一个应用，每个所述缓存模块至少包括一级缓存单元和二级缓存单元；所述缓存模块用于，根据规则将存入或导出所述元数据库中的元数据在所述一级缓存单元或二级缓存单元中存储为缓存数据；数据交换引擎，用于根据应用的数据请求指令，从一级缓存单元或二级缓存单元中调用所需元数据的缓存数据；或者将应用产生的数据发送给所述应用对应的所述缓存模块，以通过所述缓存模块将所述数据以元数据形式存储到所述元数据库中。

【技术实现步骤摘要】

本专利技术涉及计算机领域，尤其涉及一种。
技术介绍
企业级信息正在以爆炸式的速度增长，同时以其独特的、无法忽视的重要性改变着企业的生存状态和竞争力。在企业的管理信息系统(Management Informat1n System，MIS)网络环境中，数据的存储和调用每时每刻都在发生，并且数据量随着企业规模的扩大和企业下用户人员的增多呈几何式增长。管理信息系统的数据被保存在企业的数据库中，当用户使用某些应用需要调用/存储这些数据的时候，应用会向数据库请求导出/写入这些数据。但是，在用户端中央处理器(Central Processing Unit，CPU)存取数据的速度非常的快，一秒钟能够存取、处理超过十亿条的指令和数据，而数据库的导出/写入速度就慢很多。因此，以应用调用数据的情况为例，目前常用方法是对数据库的数据调用/存储构架缓存，将数据库中被应用访问频繁的数据全部都复制到缓存中，使得在应用调用数据时，可以不经常到数据库中去取数据，而是到缓存中去取就行了，这样速度可以快很多。但是，通常情况下，管理信息系统中企业下用户的数据量是很大的，每个用户使用的应用也是非常多的，这就导致数据库中被频繁访问数据的数据量是巨大的。特别是当管理信息系统中增加应用时，会直接导致需要缓存的数据大量增加，在这种情况下，现有管理信息系统的数据存储机制和数据存储系统的架构，已经无法满足企业用户对于数据调用/存储快速有效的需求。
技术实现思路
本专利技术实施例提供了一种，能够基于不同应用，对数据进行独立缓存调用/存储，并对访问频率不同等级的数据进行分级缓存，从而有效提高数据调用/存储的速度，提升管理信息系统的工作效率。第一方面，本专利技术实施例提供了一种面向多应用的数据存储系统，所述系统包括:元数据库，用于存储系统的元数据；多个缓存模块，每个缓存模块面向一个应用，每个所述缓存模块至少包括一级缓存单元和二级缓存单元；所述缓存模块用于，根据规则将存入或导出所述元数据库中的元数据在所述一级缓存单元或二级缓存单元中存储为缓存数据；数据交换引擎，用于根据应用的数据请求指令，从一级缓存单元或二级缓存单元中调用所需元数据的缓存数据；或者将应用产生的数据发送给所述应用对应的所述缓存模块，以通过所述缓存模块将所述数据以元数据形式存储到所述元数据库中。优选的，所述规则包括元数据的调用频率；所述一级缓存单元具体用于，对调用频率超过第一阈值的元数据进行临时存储。进一步优选的，所述二级缓存单元具体用于，对调用频率超过第二阈值且未超过第一阈值的元数据进行存储。进一步优选的，所述一级缓存单元和二级缓存单元还用于，对用于记录所述应用之间的关系的关系型数据进行存储。优选的，所述数据存储系统为异构数据存储系统。第二方面，本专利技术实施例提供了一种数据存储系统的数据存储方法，所述方法包括:数据交换引擎将来自应用的写入数据发送给缓存模块；所述写入数据为经过编译的字段集合；所述字段集合中的每个字段具有字段属性，所述字段属性包括所述字段来自应用的应用属性信息；将所述字段集合进行字段拆分，根据规则在缓存模块的一级缓存单元或者二级缓存单元中存储为缓存数据；将所述缓存数据导入元数据库中，存储为元数据。优选的，所述元数据库包括元数据字典；所述将所述缓存数据导入元数据库中，存储为元数据，存储为元数据具体包括:确定所述缓存数据包括的拆分后的每一个字段是否符合元数据字典的规定；当所述拆分后的字段符合元数据字典的规定时，将符合规定的所述字段导入元数据库中，存储为元数据；当所述拆分后的字段不符合元数据字典的规定时，根据预设的映射关系，对不符合规定的字段进行符合化处理，并将符合化处理后的字段导入元数据库中，存储为元数据第三方面，本专利技术实施例提供了一种数据存储系统的数据调用方法，所述方法包括:数据交换引擎根据应用的数据请求指令，向与所述应用相对应的缓存模块发送元数据调用请求；所述缓存模块根据所述元数据调用请求，在所述缓存模块的一级缓存单元中查询所需元数据的缓存数据；当所述一级缓存单元中存在所需元数据的缓存数据时，将所述所需元数据的缓存数据通过所述数据交换引擎返回给所述应用；当所述一级缓存单元中没有所需元数据的缓存数据时，在所述缓存模块的二级缓存单元中查询所需元数据的缓存数据，并将在所述二级缓存单元中存储的所需元数据的缓存数据通过数据交换引擎返回给所述应用。优选的，当所述二级缓存单元中没有所需元数据的缓存数据时，所述方法还包括:所述二级缓存单元根据所述数据调用请求，从元数据库中获取所需元数据，存储为缓存数据；将所述缓存数据通过数据交换引擎返回给所述应用。优选的，所述方法还包括:所述缓存模块根据所述元数据数据调用请求，将调用频率超过第一阈值的元数据缓存在第一缓存单元中，并且，将调用频率超过第二阈值且未超过第一阈值的元数据缓存在第二缓存单兀中。本专利技术提出的数据存储系统，对于元数据库中数据的调用/存储采用多级缓存机制，通过架构面向每个应用支持多级缓存机制的缓存模块，对访问频率不同等级的数据进行分级缓存，使得最频繁被访问的数据能够以最快速度被应用获取，较频繁及不太频繁被访问的数据能够以较快速度被应用获取。同时采用基于不同应用对数据进行独立缓存下的调用/存储的系统架构，使得在对系统功能进行扩展增加应用数量时，也不会影响到每个应用的数据请求速度。本专利技术的数据存储系统，能够有效提高数据调用/存储的速度，提升管理信息系统的工作效率。【附图说明】图1为本专利技术实施例一提供的面向多应用的数据存储系统的示意图；图2为本专利技术实施例二提供的基于数据存储系统的数据存储方法流程图；图3为本专利技术实施例三提供的基于数据存储系统的数据调用方法流程图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术具体实施例作进一步的详细描述。下面以图1为例详细说明本专利技术实施例提供的面向多应用的数据存储系统的系统结构，图1为本专利技术实施例提供的数据存储系统示意图。如图1所示，本实施例的数据存储系统包括:元数据库10，多个缓存模块(本实施例中以缓存模块20-1、缓存模块20-2、缓存模块20-3为例进行说明)，和数据交换引擎30。元数据库10用于存储系统的元数据；缓存模块，每个缓存模块面向一个应用(如缓存模块20-1面向应用1、缓存模块20-2面向应用2、缓存模块20-3面向引用3)，每个缓存模块都至少包括一级缓存单元201和二级缓存单元202 ;缓存模块用于根据规则将存入或导出所述元数据库10中的元数据，在一级缓存单元201或二级缓存单元202中存储为缓存数据；其中，缓存数据在一级缓存单元201和二级缓存单元202的存储可以根据一些预设的规则进行。如:可以根据元数据的调用频率来规定哪些缓存数据存储在一级缓存单元201，哪些缓存数当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种面向多应用的数据存储系统，其特征在于，所述系统包括：元数据库，用于存储系统的元数据；多个缓存模块，每个缓存模块面向一个应用，每个所述缓存模块至少包括一级缓存单元和二级缓存单元；所述缓存模块用于，根据规则将存入或导出所述元数据库中的元数据在所述一级缓存单元或二级缓存单元中存储为缓存数据；数据交换引擎，用于根据应用的数据请求指令，从一级缓存单元或二级缓存单元中调用所需元数据的缓存数据；或者将应用产生的数据发送给所述应用对应的所述缓存模块，以通过所述缓存模块将所述数据以元数据形式存储到所述元数据库中。

【技术特征摘要】

【专利技术属性】
技术研发人员：蒙朝辉，李东海，贺剑敏，
申请(专利权)人：北京圆通慧达管理软件开发有限公司，
类型：发明
国别省市：北京;11