一种处理数据库大批量数据请求的方法和系统技术方案

本发明专利技术公开了一种处理数据库大批量数据请求的方法和系统，该方法包括：向数据库请求数据；判断数据类型；调取备份数据源；输出数据；对不同类型数据的备份和输出分别管理。本发明专利技术技术方案优化了数据库批量导出数据的流程，提高了数据读取的效率，能够应对峰值阶段大批量数据读取的业务需求，满足数据库应用的多场景要求，提高了数据库读取的速度，降低了数据库的设备投资，满足了数据库大批量读取的需求。

A method and system for processing large batch data requests in a database

The invention discloses a method and system for processing large volume data requests of a database. The method includes: requesting data to the database, judging the data type, retrieving the backup data source, outputting data, and managing the backup and output of different types of data. The technical scheme of the invention optimizes the batch export database process, improve the efficiency of data acquisition, to cope with the peak stage of large quantities of data read business needs, to meet the multi scene database application requirements, improve the database read speed, reduce the number of database of equipment investment, to meet the demand of large quantities of data to read.

【技术实现步骤摘要】
一种处理数据库大批量数据请求的方法和系统
本专利技术涉及信息
，特别涉及一种处理数据库大批量数据请求的方法和系统。
技术介绍
关系数据库是建立在关系数据库模型基础上的数据库。关系数据库产品以其简单清晰的概念、易懂易学的数据库语言，得到广泛采用。关系数据库借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。每个表格(有时被称为一个关系)包含用列表示的一个或更多的数据种类。每行包含一个唯一的数据实体，这些数据是被列定义的种类。当创造一个关系数据库的时候，你能定义数据列的可能值的范围和可能应用于那个数据值的进一步约束。关系型数据库的主要特征主要包括：1)、数据集中控制。在文件管理方法中，文件是分散的，每个用户或每种处理都有各自的文件，这些文件之间一般是没有联系的，因此，不能按照统一的方法来控制、维护和管理。而关系数据库则很好地克服了这一缺点，可以集中控制、维护和管理有关数据。2)、数据独立。关系数据库中的数据独立于应用程序，包括数据的物理独立性和逻辑独立性，给数据库的使用、调整、优化和进一步扩充提供了方便，提高了关系数据库应用系统的稳定性。3)、数据共享。关系数据库中的数据可以供多个用户使用，每个用户只与库中的一部分数据发生联系；用户数据可以重叠，用户可以同时存取数据而互不影响，大大提高了数据库的使用效率。4)、减少数据冗余。关系数据库中的数据不是面向应用，而是面向系统。数据统一定义、组织和存储，集中管理，避免了不必要的数据冗余，也提高了数据的一致性。5)、数据结构化。关系数据库按一定的结构形式构成，数据在记录内部和记录类型之间相互关联，用户可通过不同的路径存取数据。6)、统一的数据保护功能。在多用户共享数据资源的情况下，对用户使用数据有严格的检查，对数据库规定密码或存取权限，拒绝非法用户进入数据库，以确保数据的安全性、一致性和并发控制。关系数据库在运营过程中，会涉及到大批量数据的导出，尤其在峰值应用时间段，会对数据库产生大量的数据读取操作，远远超过数据库的容量限制。为了满足峰值时间段的业务需求，需要对数据库进行大量的容量备份，以应对可能的大量业务数据读取操作。而数据库峰值往往是短时间的、阶段性的，在整体运维时间内的比例很低，与一次性的设备投资形成了对比，这就造成了设备投资的浪费。峰值的业务需求与节约设备投资成了一对矛盾，需要通过技术手段来实现效率与投资的双项目标。
技术实现思路
本专利技术提供一种处理数据库大批量数据请求的方法和系统，优化了数据库批量导出数据的流程，提高了数据读取的效率，能够应对峰值阶段大批量数据读取的业务需求，满足数据库应用的多场景要求，提高了数据库读取的速度，降低了数据库的设备投资，满足了数据库大批量读取的需求。本专利技术的技术方案提供了一种处理数据库大批量数据请求的方法，包括以下步骤：向数据库请求数据；判断数据类型；调取备份数据源；输出数据。进一步的，所述数据类型，进一步包括：第一类，在设定周期内不更新的数据；第二类，在设定周期内更新少于或等于10％的数据；第三类，在设定周期内更新大于10％的数据。进一步的，所述设定周期为七日。进一步的，所述第一类数据备份于远程服务器中；所述第二类数据备份于服务器的本地缓存中；所述第三类数据备份于数据库缓存中。进一步的，所述数据库缓存设定有缓存有效期，超过所述缓存有效期则进行数据更新。进一步的，所述输出数据是，向数据的备份地址请求数据，由所述备份地址进行输出。进一步的，从所述备份地址请求数据失败，则向数据库请求数据。本专利技术的技术方案还提供了一种处理数据库大批量数据请求的系统，包括：管理单元、数据库单元和备份单元，其中，管理单元用于管理所述数据库数据的备份、管理所述备份的更新、管理数据类型的判断和管理所述输出数据；数据库单元用于存储数据；备份单元用于对数据库数据进行备份、并提供数据输出。进一步的，数据库数据根据分类分别进行备份和数据输出。进一步的，所述备份单元包括远程服务器、服务器本地缓存和数据库缓存。本专利技术技术方案优化了数据库批量导出数据的流程，提高了数据读取的效率，能够应对峰值阶段大批量数据读取的业务需求，满足数据库应用的多场景要求，提高了数据库读取的速度，降低了数据库的设备投资，满足了数据库大批量读取的需求。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例一中处理数据库大批量数据请求的方法流程图；图2为本专利技术实施例一中处理数据库大批量数据请求的系统结构图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1为本专利技术实施例一中处理数据库大批量数据请求的方法流程图。如图1所示，该流程包括以下步骤：步骤101、向数据库请求数据。步骤102、判断数据类型。数据类型包括：第一类，在设定周期内不更新的数据；第二类，在设定周期内更新少于或等于10％的数据；第三类，在设定周期内更新大于10％的数据。设定周期为七日，统计七日内的数据更新比例。步骤103、调取备份数据源。不同类型的数据分别备份于不同的地址：第一类数据备份于远程服务器中；第二类数据备份于服务器的本地缓存中；第三类数据备份于数据库缓存中。其中，数据库缓存设定有缓存有效期，超过缓存有效期则进行数据更新。步骤104、输出数据。系统向数据的备份地址请求数据，由备份地址进行数据的输出。若向备份地址请求数据失败，则向数据库请求数据。上述方法流程，本实施例还提供了一种处理数据库大批量数据请求的系统，图2为本专利技术实施例一中处理数据库大批量数据请求的系统结构图。如图2所示，该系统包括：管理单元201、数据库单元202和备份单元203，其中，管理单元用于管理数据库数据的备份、管理备份的更新、管理数据类型的判断和管理输出数据；数据库单元用于存储数据；备份单元用于对数据库数据进行备份、并提供数据输出。其中，数据库数据根据分类分别进行备份和数据输出。备份单元包括远程服务器、服务器本地缓存和数据库缓存，分别备份不同类型的数据。本专利技术技术方案优化了数据库批量导出数据的流程，提高了数据读取的效率，能够应对峰值阶段大批量数据读取的业务需求，满足数据库应用的多场景要求，提高了数据库读取的速度，降低了数据库的设备投资，满足了数据库大批量读取的需求。本领域内的技术人员应明白，本专利技术的实施例可提供为方法、系统、或计算机程序产品。因此，本专利技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本专利技术可采用在一个或多个其中包含有计算本文档来自技高网...

【技术保护点】
一种处理数据库大批量数据请求的方法，其特征在于，包括以下步骤：向数据库请求数据；判断数据类型；调取备份数据源；输出数据。

【技术特征摘要】
1.一种处理数据库大批量数据请求的方法，其特征在于，包括以下步骤：向数据库请求数据；判断数据类型；调取备份数据源；输出数据。2.根据权利要求1所述的方法，其特征在于，所述数据类型，进一步包括：第一类，在设定周期内不更新的数据；第二类，在设定周期内更新少于或等于10％的数据；第三类，在设定周期内更新大于10％的数据。3.根据权利要求1所述的方法，其特征在于，所述设定周期为七日。4.根据权利要求1或2所述的方法，其特征在于，进一步包括：所述第一类数据备份于远程服务器中；所述第二类数据备份于服务器的本地缓存中；所述第三类数据备份于数据库缓存中。5.根据权利要求1所述的方法，其特征在于，所述数据库缓存设定有缓存有效期，超过所述缓存有效期则进行数据更新。6...

【专利技术属性】
技术研发人员：黄震，
申请(专利权)人：天脉聚源北京科技有限公司，
类型：发明
国别省市：北京,11