一种对大批量数据存储的方法和系统技术方案

本发明专利技术公开了一种对大批量数据存储的方法和系统，该方法包括：将数据存为数组；将所述数组存入键值数据库；判断键值是否为空，若为空则结束，若非空则重复从所述键值数据库逐一读取数据并存入关系数据库；数据在所述数组、键值数据库和关系数据库中的顺序相一致。本发明专利技术技术方案提高了关系数据库对串行数据的输入速度，缩短了关系数据库数据存储的等待时间，提高了串行数据输入的准确率，增强了关系数据库处理串行化业务的性能。

A method and system for large volume data storage

The invention discloses a method and a system for mass data storage, the method includes: storing data into an array; the array into a key database; determine the key is empty, if the end is empty, if not empty is repeated from the key database one by one reads the data and stored in relational database; consistent data array, in the key value database and relational database in order. The technical scheme of the invention improves the input speed of the relational database to the serial data, shortens the waiting time of the data storage in the relational database, improves the accuracy of the serial data input, and enhances the performance of the serialized business of the relational database.

【技术实现步骤摘要】
一种对大批量数据存储的方法和系统
本专利技术涉及信息
，特别涉及一种对大批量数据存储的方法和系统。
技术介绍
关系数据库是建立在关系数据库模型基础上的数据库。关系数据库产品以其简单清晰的概念、易懂易学的数据库语言，得到广泛采用。关系数据库借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。每个表格(有时被称为一个关系)包含用列表示的一个或更多的数据种类。每行包含一个唯一的数据实体，这些数据是被列定义的种类。当创造一个关系数据库的时候，你能定义数据列的可能值的范围和可能应用于那个数据值的进一步约束。关系型数据库的主要特征主要包括：1)、数据集中控制。在文件管理方法中，文件是分散的，每个用户或每种处理都有各自的文件，这些文件之间一般是没有联系的，因此，不能按照统一的方法来控制、维护和管理。而关系数据库则很好地克服了这一缺点，可以集中控制、维护和管理有关数据。2)、数据独立。关系数据库中的数据独立于应用程序，包括数据的物理独立性和逻辑独立性，给数据库的使用、调整、优化和进一步扩充提供了方便，提高了关系数据库应用系统的稳定性。3)、数据共享。关系数据库中的数据可以供多个用户使用，每个用户只与库中的一部分数据发生联系；用户数据可以重叠，用户可以同时存取数据而互不影响，大大提高了数据库的使用效率。4)、减少数据冗余。关系数据库中的数据不是面向应用，而是面向系统。数据统一定义、组织和存储，集中管理，避免了不必要的数据冗余，也提高了数据的一致性。5)、数据结构化。关系数据库按一定的结构形式构成，数据在记录内部和记录类型之间相互关联，用户可通过不同的路径存取数据。6)、统一的数据保护功能。在多用户共享数据资源的情况下，对用户使用数据有严格的检查，对数据库规定密码或存取权限，拒绝非法用户进入数据库，以确保数据的安全性、一致性和并发控制。关系数据库在运营过程中，会涉及到大批量数据的输入。各种格式、各种关系的数据需要完善输入至关系数据的元数据表中，如大批量串行的数据需要逐个输入到关系数据库的表中，也会遇到大批量的并发数据输入。在现实中，很少有关系数据库能提供串行化业务的支持，这主要是由于：1)、串行化影响数据库性能。串行化隔离级别会限制并发，数据元素需要逐个输入后才可以进行下一个，影响了数据库操作的性能。传统的两段锁2PC技术，将所有事务分为两个阶段对数据项加锁和解锁：第一阶段是获得封锁，事务可以获得任何数据项上的任何类型的锁，但不能释放；第二阶段是释放封锁，事务可以释放任何数据项上的任何类型的锁，但不能申请。由于该技术的管理代价比较高，所以也就造成了串行化业务的高成本。2)、无法同时实现高可用性和串行化。关系数据库是基于关系的，采用表格来存储数据，一个表格又被称为一个关系，每个表格中用列表示一个或更多的数据种类，每行包含一个唯一的数据实体，这些数据是被列定义的种类。数据库的结构决定了无法同时实现高可用性和串行化。3)、弱模型下的一致性异常。弱模型是指相对串行化隔离级别低一些的隔离级别。该种情况下事务也降低了冲突概率，不会死锁。但是，弱模型下一致性异常呈现上升趋势，串行化需要支付较高的管理开销。在数据库运营和管理中，会遇到大量的串行业务，需要把串行数据转化为关系数据。关系数据库对串行化业务支持的不足，影响了运营和管理工作的效率。
技术实现思路
本专利技术提供一种对大批量数据存储的方法和系统，对串行数据快速导入关系数据库流程进行了优化，提高了串行数据输入的速度，避免了关系数据库数据输入的等待时间，提高了串行数据输入的准确率，增强了关系数据库处理串行化业务的性能。本专利技术的技术方案提供了一种对大批量数据存储的方法，包括以下步骤：S101、将数据存为数组；S102、将所述数组存入键值数据库；S103、判断键值是否为空，若为空则转向S105；S104、将键值数据存入关系数据库；S105、结束。进一步的，所述数据为规定范围内的数字。进一步的，系统按照规则处理所述数据为规定格式，然后存储为数组。进一步的，所述键值数据库和关系数据库中的数据遵循所述规定范围和规定格式。进一步的，在步骤S102中，所述将所述数组存入键值数据库，进一步包括：将所述数组中的数据以键值对的形式存入键值数据库。进一步的，在步骤S104中，所述将键值数据存入关系数据库，进一步包括：从所述键值数据库逐一读取数据；读取的所述数据逐一存入关系数据库。进一步的，数据在所述数组、键值数据库和关系数据库中的顺序相一致。本专利技术的技术方案还提供了一种对大批量数据存储的系统，包括：管理单元，键值数据库，关系数据库，其中，管理单元用于设置数据范围、数据格式，管理数据存为数组，管理所述数组转存为键值数据库和键值数据库转存为关系数据库；键值数据库和关系数据库用于存储数据。进一步的，键值数据库和关系数据库中的数据遵循所述数据范围和数据格式。进一步的，管理单元监测键值数据库是否为空，若非空则自动启动将键值数据库转存为关系数据库。本专利技术技术方案提高了关系数据库对串行数据的输入速度，缩短了关系数据库的等待时间，提高了串行数据输入的准确率，增强了关系数据库处理串行化业务的性能。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例一中对大批量数据存储的方法流程图；图2为本专利技术实施例一中对大批量数据存储的系统结构图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1为本专利技术实施例一中对大批量数据存储的方法流程图。如图1所示，该流程包括以下步骤：步骤S101、将数据存为数组。数据为规定范围内的数字，若数据超出规定范围则报错；系统按照规则处理为规定格式，包括小数位、正负号等处理为规定格式；将符合规定格式的数据存储为数组。步骤S102、将数组存入键值数据库。键值数据库中的数据遵循规定范围和规定格式，与数组的要求相一致；数组中的数据以键值对的形式存入键值数据库；数据在键值数据库中的存储顺序与数组相一致。步骤S103、判断键值是否为空，若为空则转向S105。步骤S104、将键值数据存入关系数据库。关系数据库中的数据遵循规定范围和规定格式，与键值数据库的要求相一致；从键值数据库逐一读取数据；读取的数据逐一存入关系数据库；数据在关系数据库中的存储顺序与键值数据库相一致。步骤S105、结束。为了实现上述方法流程，本实施例还提供了一种对大批量数据存储的系统，图2为本专利技术实施例一中对大批量数据存储的系统结构图。如图2所示，该系统包括：管理本文档来自技高网...

【技术保护点】
一种对大批量数据存储的方法，其特征在于，包括以下步骤：S101、将数据存为数组；S102、将所述数组存入键值数据库；S103、判断键值是否为空，若为空则转向S105；S104、将键值数据存入关系数据库；S105、结束。

【技术特征摘要】
1.一种对大批量数据存储的方法，其特征在于，包括以下步骤：S101、将数据存为数组；S102、将所述数组存入键值数据库；S103、判断键值是否为空，若为空则转向S105；S104、将键值数据存入关系数据库；S105、结束。2.根据权利要求1所述的方法，其特征在于，所述数据为规定范围内的数字。3.根据权利要求1所述的方法，其特征在于，系统按照规则处理所述数据为规定格式，然后存储为数组。4.根据权利要求1所述的方法，其特征在于，所述键值数据库和关系数据库中的数据遵循所述规定范围和规定格式。5.根据权利要求1所述的方法，其特征在于，在步骤S102中，所述将所述数组存入键值数据库，进一步包括：将所述数组中的数据以键值对的形式存入键值数据库。6.根据权利要求1所述的方法，其特征在于...

【专利技术属性】
技术研发人员：王申召，
申请(专利权)人：天脉聚源北京科技有限公司，
类型：发明
国别省市：北京,11