一种分布式数据存储的方法和系统技术方案

本发明专利技术公开了一种分布式数据存储的方法和系统，该方法包括：新数据信息实时写入所述内存数据库；所述内存数据库和分布式数据库共同构成分布式存储的架构；更新所述内存数据库和分布式数据库的分布式存储；所述内存数据库和分布式数据库构成的分布式存储进行定时更新。本发明专利技术技术方案优化了大批量数据存储在分布式存储系统中的流程，增强了对大批量数据存储的应对能力，扩展了分布式存储架构下的应用场景，降低了整体技术方案的成本，提高了分布式库存储的效率，适应了数据库技术和市场快速发展的需求。

【技术实现步骤摘要】
一种分布式数据存储的方法和系统
本专利技术涉及信息
，特别涉及一种分布式数据存储的方法和系统。
技术介绍
互联网发展迅速，已成为人们生活的重要组成部分和人类文明传播发展的重要载体，渗透到经济、政治、文化、社会生活各个方面，改变着人们的交往方式和思维方式。无论是在工业领域或者是在社会生活领域，互联网给人的改变是巨大的。作为互联网数据记录的核心，数据库也渗透到社会的各个方面，得到广泛的发展和应用。数据库是按照一定的结构和规则组织起来的相关数据的集合，是从全局观点出发建立的，按一定的数据模型进行组织、描述和存储。其结构基于数据间的自然联系，从而可提供一切必要的存取路径，且数据不再针对某一应用，而是面向全组织，具有整体的结构化特征。数据库用于数据的存储和处理，存储的是属于企业、事业部门、团体和个人的有关数据的集合，是一个单位或是一个应用领域的通用数据处理系统。数据库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据库中的数据；多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。数据库是重要的电子资源，是适应互联网发展的信息技术，具有以下特点：1)、数据的结构化数据库中的数据并不是杂乱无章、毫不相干的，它们具有一定的组织结构，属于同一集合的数据具有相似的特征。2)、数据具共享性。在一个单位的各个部门之间，存在着大量的重复信息。使用数据库的目的就是要统一管理这些信息，减少冗余度，使各个部门共同享有相同的数据。3)、数据的独立性。数据的独立性是指数据记录和数据管理软件之间的独立。数据及其结构应具有独立性，而不应该去改变应用程序。4)、数据的完整性。数据的完整性是指保证数据库中数据的正确性。可能造成数据不正确的原因很多，数据库管理系统通过对数据性质进行检查而管理它们。5)、数据的灵活性。数据库管理系统不是把数据简单堆积，它在记录数据信息的基础上具有很多的管理功能，如输入、输出、查询、编辑修改等。6)、数据的安全性。根据用户的职责，不同级别的人对数据库具有不同的权限，数据库管理系统能够确保数据的安全性。随着数据库技术的广泛应用，信息量增长与传播速度达到了前所未有的高度。信息媒介类型的多样化、信息源的快速发展，都使信息数据的数量越来越大，对数据的存储提出了更高的要求。为了应对数据存储提出的挑战，分布式存储是减缓存储压力的有效方法。分布式存储系统是将数据分散存储在多台独立的设备上的存储方式。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。目前主流的分布式存储技术架构包括：1)、C/S架构。客户使用本地操作系统提供的系统调用对远程服务器所管理的文件系统进行透明访问，客户并不知道文件的实际位置，又称远程访问模型。其典型代表是SunMicrosystem的网络文件系统(NetworkFileSystemNFS)。该技术架构的特征是：a)NFS是典型的C/S架构的体系结构的分布式存储架构；b)远程访问模型，有别于上传/下载模型；c)通过远程过程调用RPC实现；d)文件系统模型参考POSIXAPI实现。2)、共享存储SAN架构。存储区域网络SAN是一个用在应用服务器和存储资源之间的专用的高性能的网络体系，在多台主机和多个存储设备之间提供任意两个结点之间的通信通道。该技术架构的特征是：a)服务器共享存储SAN；b)MDC管理元数据；c)SAN共享文件系统；d)性能和容量可单独扩展；e)成本高，规模有限。3)、基于集群的分布式架构。这种存储架构当前分布式存储的主流架构，通常将元数据与数据两者独立开来，即控制流与数据流进行分离，从而获得更高的系统扩展性和I/O并发性。其典型代表是GoogleFS。该技术架构的特征是：a)分布式文件系统；b)服务器直连各自存储节点；c)MDS管理元数据；d)RAID、卷管理、文件系统三者合一；e)性能和容量同时扩展，规模可以很大。4)、P2P对称式体系结构。这是一种基于对等技术的去中心化、全对称的架构，其设计思想是采用一致性哈希consistenthash算法来定位文件在存储节点中的位置，从而取消了metadataserver的角色。理想情况下，这种模型消除了元数据的性能瓶颈、单点故障、数据一致性等一系列相关问题，系统扩展性显著提高，系统并发性和性能将实现线性扩展增长。该技术架构的典型代表是Glusterfs。该技术架构的特征是：a)无中心结构，完全对等式结构；b)需要P2P文件系统支持；c)基于ChordDHT构建；d)不需要元数据服务器；e)可基于块或文件；f)可用性面临巨大挑战。现有的分布式数据存储技术方案，主要是考虑海量大数据存储，以满足大数据量存储的需求。但是，不适用于解决数据库大批量存储情况下的存储情况，需要优化对数据库大批量数据读写效率，以适应广泛的应用场景。
技术实现思路
本专利技术提供一种分布式数据存储的方法和系统，优化了大批量数据存储在分布式存储系统中的流程，增强了对大批量数据存储的应对能力，扩展了分布式存储架构下的应用场景，降低了整体技术方案的成本，提高了分布式库存储的效率，适应了数据库技术和市场快速发展的需求。本专利技术的技术方案提供了一种分布式数据存储的方法，包括以下步骤：新数据信息写入内存数据库；更新所述内存数据库和分布式数据库的分布式存储。进一步的，新数据信息实时写入所述内存数据库，每当读取到新数据信息，实时写入所述内存数据库。进一步的，所述内存数据库和分布式数据库共同构成分布式存储的架构。进一步的，所述内存数据库和分布式数据库构成的分布式存储进行定时更新，每隔20ms更新一次。进一步的，所述分布式存储更新完成后，所述内存数据库保存不超过200条的数据信息。进一步的，超出200条的数据信息保存于所述分布式数据库。进一步的，所述内存数据库的数据采取先进先出的原则。本专利技术的技术方案还提供了一种分布式数据存储的系统，包括：管理单元、内存数据库和分布式数据库，其中，管理单元用于管理内存数据库和分布式数据库的更新和对数据信息进行分布式存储；内存数据库和分布式数据库用于存储数据信息，并执行更新。进一步的，新的数据信息实时写入所述内存数据库，所述内存数据库和分布式数据库构成的分布式存储采取定时更新。进一步的，所述内存数据库的数据采取先进先出的原则；所述分布式存储更新完成后，所述内存数据库保存不超过200条的数据信息。本专利技术技术方案优化了大批量数据存储在分布式存储系统中的流程，增强了对大批量数据存储的应对能力，扩展了分布式存储架构下的应用场景，降低了整体技术方案的成本，提高了分布式库存储的效率，适应了数据库技术和市场快速发展的需求。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明本文档来自技高网...

【技术保护点】
一种分布式数据存储的方法，其特征在于，包括以下步骤：新数据信息写入内存数据库；更新所述内存数据库和分布式数据库的分布式存储。

【技术特征摘要】
1.一种分布式数据存储的方法，其特征在于，包括以下步骤：新数据信息写入内存数据库；更新所述内存数据库和分布式数据库的分布式存储。2.根据权利要求1所述的方法，其特征在于，新数据信息实时写入所述内存数据库，每当读取到新数据信息，实时写入所述内存数据库。3.根据权利要求1所述的方法，其特征在于，所述内存数据库和分布式数据库共同构成分布式存储的架构。4.根据权利要求1或3所述的方法，其特征在于，所述内存数据库和分布式数据库构成的分布式存储进行定时更新，每隔20ms更新一次。5.根据权利要求1所述的方法，其特征在于，所述分布式存储更新完成后，所述内存数据库保存不超过200条的数据信息。6.根据权利要求1或6所述的方法，其特征在于，超出20...

【专利技术属性】
技术研发人员：杨财智，
申请(专利权)人：天脉聚源北京科技有限公司，
类型：发明
国别省市：北京,11