数据处理方法、装置、系统及介质制造方法及图纸

本公开提供了一种数据处理方法。所述方法包括接收访问系统的多个第一数据，以及将所述多个第一数据分流暂存于至少两个中间数据库，其中，所述中间数据库能够进行数据查询。本公开还提供了一种数据处理装置、系统及介质。

Data Processing Methods, Devices, Systems and Media

【技术实现步骤摘要】
数据处理方法、装置、系统及介质
本公开涉及互联网
，更具体地，涉及一种数据处理方法、装置、系统及介质。
技术介绍
互联网发展迅猛的今天，数据的增长量超乎想互联网系统中，有时候会遇到高并发写入数据的情况，例如电商大促销活动、集中网络报名、或者集中网络查询等一系列情形。在这些高并发写入数据的情况下，如何保证大量的高并发写入的数据的准确性、不丢失性和系统稳定性是非常关键的。现有技术中普遍采用的方案是利用消息中间件的队列特性将写入系统的大量数据的堆积在消息队列中，后续再逐个进行消费处理，例如持久化写入数据库中。在实现本专利技术构思的过程中，专利技术人发现现有技术中至少存在如下问题：现有技术中消息中间件起到了数据队列管道的作用，高并发数据写入后都进入数据队列中等待被处理。当数据量巨大时(例如数据洪峰期)该消息中间件有可能由于压力过大而崩溃，导致消息队列中的数据丢失。而且大量数据积压在该消息中间件中，也无法提供实时的查询等数据分析服务。
技术实现思路
有鉴于此，本公开提供了一种可以将高并发写入数据实时分流至多个中间数据库并可以提供一定的实时查询功能的数据处理方法、装置、系统及介质。本公开的一个方面提供了一种一种数据处理方法。所述方法包括：接收访问系统的多个第一数据，以及将所述多个第一数据实时分流暂存于至少两个中间数据库，其中，所述中间数据库能够随机写入数据并能够进行数据查询。根据本公开的实施例，在将所述多个第一数据实时分流暂存于至少两个中间数据库之前，所述方法还包括：对每一个第一数据，判断所述第一数据是否属于重复性数据；以及在所述第一数据属于重复性数据的情况下，拦截所述第一数据。根据本公开的实施例，将所述多个第一数据实时分流暂存于至少两个中间数据库，包括根据所述中间数据库的个数，将所述多个第一数据以轮询方式分流至所述至少两个中间数据库。根据本公开的实施例，所述方法还包括根据调度任务将所述中间数据库的数据持久化至第二数据库，其中所述第二数据库能够持久化存储和查询数据。根据本公开的实施例，所述调度任务包括以下的任意一项或多项：持久化操作的时间间隔、每次持久化操作的数据量、以及每次持久化操作的数据类型。根据本公开的实施例，根据调度任务将所述中间数据库的数据持久化至第二数据库之后，所述方法还包括从所述中间数据库删除被持久化处理的数据。。根据本公开的实施例，所述中间数据库包括LevelDB数据库。本公开的另一方面提供了一种数据处理装置，包括数据接收模块和数据分流模块。数据接收模块用于接收访问系统的多个第一数据。数据分流模块，用于将所述多个第一数据实时分流暂存于至少两个中间数据库，其中，所述中间数据库能够随机写入数据并能够进行数据查询。根据本公开的实施例，所述装置还包括重复性判断模块和重复数据拦截模块。重复性判断模块用于在将所述多个第一数据分流暂存至两个以上的中间数据库之前，对每一个第一数据，判断所述第一数据是否属于重复性数据。重复数据拦截模块用于在所述第一数据属于重复性数据的情况下，拦截所述第一数据。根据本公开的实施例，将所述多个第一数据实时分流暂存于至少两个中间数据库，包括根据所述中间数据库的个数，将所述多个第一数据以轮询方式分流至所述至少两个中间数据库。根据本公开的实施例，所述装置还包括数据持久化模块。数据持久化模块用于根据调度任务将所述中间数据库的数据持久化至第二数据库，其中所述第二数据库能够持久化存储和查询数据。根据本公开的实施例，所述调度任务包括以下的任意一项或多项：持久化操作的时间间隔、每次持久化操作的数据量、以及每次持久化操作的数据类型。根据本公开的实施例，所述装置还包括数据删除模块。数据删除模块用于在根据调度任务将所述中间数据库的数据持久化至第二数据库之后，从所述中间数据库删除被持久化处理的数据。。根据本公开的实施例，所述中间数据库包括LevelDB数据库。本公开的另一方面提供了一种数据处理系统，包括：一个或多个处理器，以及存储器，用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的数据处理方法。本公开的另一方面提供了一种计算机可读介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的数据处理方法。本公开的另一方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的数据处理方法。本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的数据处理方法。根据本公开的实施例，可以至少部分地解决高并发写入数据堆积在数据中间件中可能导致的数据不准确、数据丢失、系统崩溃等问题，并因此可以实现在很大程度上帮助系统稳定地度过数据洪峰期的技术效果。根据本公开的实施例，将高并发写入数据实时分流至多个可以随机写入的中间数据库，并且该中间数据库还具有一定的数据查询功能。以此方式，一方面可以使得大量数据实现分流，极大地提升了数据的准确性和实时数据处理的抗压能力；另一方面，可以提供一定的实时数据查询，一定程度上保障了数据的实时性。附图说明通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示意性示出了根据本公开实施例的数据处理方法和装置的系统性架构；图2示意性示出了根据本公开实施例的数据处理方法的流程图；图3示意性示出了根据本公开另一实施例的数据处理方法的流程图；图4示意性示出了根据本公开再一实施例的数据处理方法的流程图；图5示意性示出了根据本公开各个实施例的数据处理方法的实现情景图；图6示意性示出了根据本公开实施例的数据处理装置的方框图；以及图7示意性示出了根据本公开实施例的数据处理系统的框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：接收访问系统的多个第一数据；以及将所述多个第一数据实时分流暂存于至少两个中间数据库，其中，所述中间数据库能够随机写入数据并能够进行数据查询。

【技术特征摘要】
1.一种数据处理方法，包括：接收访问系统的多个第一数据；以及将所述多个第一数据实时分流暂存于至少两个中间数据库，其中，所述中间数据库能够随机写入数据并能够进行数据查询。2.根据权利要求1所述的方法，其中，将所述多个第一数据实时分流暂存于至少两个中间数据库之前，还包括：对每一个第一数据，判断所述第一数据是否属于重复性数据；以及在所述第一数据属于重复性数据的情况下，拦截所述第一数据。3.根据权利要求1所述的方法，其中，将所述多个第一数据实时分流暂存于至少两个中间数据库包括：根据所述中间数据库的个数，将所述多个第一数据以轮询方式实时分流至所述至少两个中间数据库。4.根据权利要求1所述的方法，还包括：根据调度任务将所述中间数据库的数据持久化至第二数据库，其中所述第二数据库能够持久化存储和查询数据。5.根据权利要求4所述的方法，其中，所述调度任务包括以下的任意一项或多项：持久化操作的时间间隔、每次持久化操作的数据量、以及每次持久化操作的数据类型。6.根据权利要求4所述的方法，根据调度任务将所述中间数据库的数据持久化至第二数据库之后，还包括：从所述中间数据库删除被持久化处理的数据。7.根据权利要求1所述的方法，其中：所述中间数据库包括LevelDB数据库。8.一种数据处理装置，包括：数据接收模块，用于接收访问系统的多个第一数据；以及数据分流模块，用于将所述多个第一数据实时分流暂存于至少两个中间数据库，其中，所述中间数据库随机写入数据并能够进行数据查询。9.根据权利要求8所述的...

【专利技术属性】
技术研发人员：马文军，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11