一种可自适应的存储方法及系统技术方案

本发明专利技术涉及一种可自适应的存储方法及系统，属于数据处理技术领域，其中的方法包括以下步骤：A、根据用户输入的配置信息参数创建配置文件，所述配置信息参数包括对数据库的配置、对存储规则的配置和对所支持计算机语言的配置；B、解析配置文件，读取并传递相关配置信息参数至预置的代码动态生成框架，生成能够支持用户所配置的计算机语言及数据库的存储层接口；C、接收业务数据，调用所述存储层接口按照所配置的存储规则对业务数据进行存储或读取。本发明专利技术的存储系统，可以随着业务的发展不断地调整，只需要修改配置，不需要中断业务。不仅极大地降低了重复劳动，提高了生产效率，稳定可靠保障业务，也避免人为错误威胁数据资产安全。

An Adaptive Storage Method and System

The invention relates to an adaptive storage method and system, which belongs to the field of data processing technology. The method includes the following steps: A. Creating a configuration file according to the configuration information parameters input by the user, the configuration information parameters include the configuration of the database, the configuration of the storage rules and the configuration of the supported computer language; B. Analyzing the configuration file, reading and Transfer the relevant configuration information parameters to the preset code dynamic generation framework to generate a storage layer interface that can support the computer language and database configured by users; C. Receive business data and call the storage layer interface to store or read business data according to the configured storage rules. The storage system of the invention can be continuously adjusted with the development of the service, only need to modify the configuration, and need not interrupt the service. It not only greatly reduces the duplicate work, improves the production efficiency, stabilizes and guarantees the business reliably, but also avoids the threat of human errors to the security of data assets.

【技术实现步骤摘要】
一种可自适应的存储方法及系统
本专利技术涉及一种可自适应的存储方法及系统，属于计算机数据处理领域。
技术介绍
随着互联网的发展，每个人的生活开始跟网络紧紧地联系在一起，网络已经成为水和空气一样不可或缺的必需品。网络的本质是信息的流通，而数据的存储和访问则是保障信息准确和快速流通的关键因素。数据已经成为互联网公司和网络游戏公司的最重要的资产，一旦出现数据丢失或获取数据缓慢，给业务带来的伤害可能是致命的。互联网产品和网络游戏的发展跟一般的传统业务有一个很不一样的特征就是指数级增长，如果业务出现指数级增长而存储系统不能跟着业务一起自适应将导致业务发展受限，甚至可能导致业务错失先机，从此所有努力付诸东流。现在业内在使用的存储方案主要有以下几种：1)完全由企业相关技术人员手写完成的存储算法。这种方案非常依赖开发人员的技术水平和细心，一旦犯一点错误都可能导致数据的丢失和损坏，风险很高。随着业务的发展，技术人员也需要不段地修改存储算法来达到扩容和性能提升的目的。存储算法的不断修改不仅带来风险不可控，重复工作，对后续的维护也带来很大的挑战。2)使用第三方提供的框架或组件来实现存储方案。目前市面上提供的框架或组件一般只是简单提供存储层固定的某一计算机语言的代码接口，无法提供不同语言并可以随着业务发展不断自适应的方案。一旦业务快速发展还是无法避免由企业开发人员手写或手工进行扩容和数据迁移，引入风险，大部分框架和组件在扩容和/或数据迁移过程中，业务也无法继续提供服务，导致服务质量受影响。
技术实现思路
本专利技术提供一种可自适应的存储方法及系统，支持多种计算机语言和多种数据库，可以随着业务的发展而自适应。自适应过程中不需要技术人员的介入，只需要根据业务情况进行配置即可。自适应过程中不需要中断业务的服务，为业务的稳定和快速发展提供强有力的保障，并最大限度保障了互联网企业和网络游戏企业的最重要的数据资产的安全。本专利技术的技术方案第一方面为一种可自适应的存储方法，所述方法包括以下步骤：A、根据用户输入的配置信息参数创建配置文件，所述配置信息参数包括对数据库的配置、对存储规则的配置和对所支持计算机语言的配置；B、解析配置文件，读取并传递相关配置信息参数至预置的代码动态生成框架，生成能够支持用户所配置的计算机语言及数据库的存储层接口；C、接收业务数据，调用所述存储层接口按照所配置的存储规则对业务数据进行存储或读取。进一步，当需要进行扩容和/或数据迁移时，在配置文件中增加扩容和/或迁移配置信息，其中数据迁移包括针对数据库的数据迁移和/或针对计算机语言的数据迁移。进一步，针对数据库进行数据迁移时，在配置文件中定义源数据库配置、源存储规则、目的数据库配置和目的存储规则。进一步，针对计算机语言进行数据迁移时，在配置文件中定义源计算机语言配置和目的计算机语言配置。进一步，配置的数据库可以是一个或多个，当存在多个数据库时，数据库类型可以不同。进一步，所述步骤B包括使用多种计算机语言开发预置的代码动态生成框架；所述代码动态生成框架包括多种计算机语言的代码模板，所述代码模板可根据计算机语言的配置被动态调用以生成对应计算机语言的存储层接口。进一步，所述步骤C包括：创建存储主程序，通过所述存储主程序调用所述存储层接口；所述存储层接口进一步调用所配置数据库的底层接口，实现对业务数据的存储或读取。本专利技术的技术方案第二方面为一种可自适应的存储系统，包括：配置模块，用于根据用户输入的配置信息参数创建配置文件，所述配置信息参数包括对数据库的配置、对存储规则的配置和对所支持计算机语言的配置；存储层接口生成模块，用于解析配置文件，读取并传递相关配置信息参数至预置的代码动态生成框架，生成能够支持用户所配置的计算机语言及数据库的存储层接口；存取模块，用于接收业务数据，调用所述存储层接口按照所配置的存储规则对业务数据进行存储或读取。本专利技术的技术方案第三方面为一种计算机系统，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。本专利技术的技术方案第四方面为一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现上述的方法。本专利技术的有益效果为：本专利技术提供的一种可自适应的存储方法及系统，支持多种计算机语言和多种数据库，可以随着业务的发展实现数据库平滑扩容及数据平滑迁移。自适应过程中不需要专业技术人员的介入，只需要根据业务需求更改配置文件的配置信息即可自动生成相应的存储方案代码，将该代码导入存储工程项目即可实现对业务数据的存储和读取。自适应过程中由于配置文件的修改在未生效之前不会对存储程序的运行造成影响，因此能够做到不中断业务的服务而更改存储方案，为业务的稳定和快速发展提供强有力的保障，并最大限度保障了互联网企业和网络游戏企业的最重要的数据资产的安全。附图说明图1所示为根据本专利技术实施例的存储系统示意图；图2所示为根据本专利技术实施例的存储方法流程简图。具体实施方式以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本专利技术的目的、方案和效果。需要说明的是，在本公开中所使用的单数形式的“一种”、“所述”和“该”旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本
的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本专利技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本专利技术的实施例，并且除非另外要求，否则不会对本专利技术的范围施加限制。参考图1，根据本专利技术技术方案的一种实施例的可自适应的存储系统，主要由配置模块、存储层接口生成模块和存取模块组成，具体的：配置模块，用于根据用户输入的配置信息参数创建配置文件，所述配置信息参数包括对数据库的配置、对存储规则的配置和对所支持计算机语言的配置，当需要进行扩容和/或数据迁移时，还包括相应的扩容和/或迁移规则配置；配置文件的具体配置项如下：数据库类型配置，支持选项MySQL，Oracle，Mongodb，Redis，Memcache等；计算机语言配置，支持选项java，php，c++等；数据库具体配置，如ip,port,databasename,tablename等，不同的数据库的基础配置不同，这里是以MySQL为例；存储规则配置，例如定义存储散列规则，确定不同的数据存储到不同地方；迁移规则配置，例如定义源数据存储规则和目的存储规则。存储层接口生成模块，用于解析配置文件，读取并传递相关配置信息参数至预置的代码动态生成框架，生成能够支持用户所配置的计算机语言及数据库的存储层接口；这里预置的代码动态生成框架是使用多种计算机语言编写的代码模板，例如Java的模板、PHP的模板、C++的模板等，将这些模板整合到一个代码动态生成框架中，根据配置文件生成存储层接口时，读取配置文件中设置的计算机语言，动态调用对应的代码模板，使用配置文件中的配置参数替换代码模板中待替换的字段或变量，则可生成所需计算机语言及数据库的存储层接口。存取模块，用于接收业务数据本文档来自技高网...

【技术保护点】
1.一种可自适应的存储方法，其特征在于，所述方法包括以下步骤：A、根据用户输入的配置信息参数创建配置文件，所述配置信息参数包括对数据库的配置、对存储规则的配置和对所支持计算机语言的配置；B、解析配置文件，读取并传递相关配置信息参数至预置的代码动态生成框架，生成能够支持用户所配置的计算机语言及数据库的存储层接口；C、接收业务数据，调用所述存储层接口按照所配置的存储规则对业务数据进行存储或读取。

【技术特征摘要】
1.一种可自适应的存储方法，其特征在于，所述方法包括以下步骤：A、根据用户输入的配置信息参数创建配置文件，所述配置信息参数包括对数据库的配置、对存储规则的配置和对所支持计算机语言的配置；B、解析配置文件，读取并传递相关配置信息参数至预置的代码动态生成框架，生成能够支持用户所配置的计算机语言及数据库的存储层接口；C、接收业务数据，调用所述存储层接口按照所配置的存储规则对业务数据进行存储或读取。2.根据权利要求1所述的可自适应的存储方法，其特征在于：当需要进行扩容和/或数据迁移时，在配置文件中增加扩容和/或迁移配置信息，其中数据迁移包括针对数据库的数据迁移和/或针对计算机语言的数据迁移。3.根据权利要求2所述的可自适应的存储方法，其特征在于：针对数据库进行数据迁移时，在配置文件中定义源数据库配置、源存储规则、目的数据库配置和目的存储规则。4.根据权利要求2所述的可自适应的存储方法，其特征在于：针对计算机语言进行数据迁移时，在配置文件中定义源计算机语言配置和目的计算机语言配置。5.根据权利要求1所述的可自适应的存储方法，其特征在于：配置的数据库可以是一个或多个，当存在多个数据库时，数据库类型可以不同。6.根据权利要求1所述的可自适应的存储方法，其特征在于：所述步骤B包括使用多...

【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：珠海沙盒网络科技有限公司，
类型：发明
国别省市：广东,44