一种数据处理方法、装置及计算机可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置及计算机可读存储介质，应用于数据处理系统，所述数据处理系统包括Kafka消息中间件、数据处理服务系统、OLAP数据库和业务数据库，所述方法包括：获取待处理数据；通过所述Kafka消息中间件对所述待处理数据进行分流处理；若所述待处理数据分流至所述数据处理服务系统，则通过所述数据处理服务系统对所述待处理数据进行处理，并将处理结果对应存储至所述OLAP数据库或所述业务数据库。如此，通过Kafka消息中间件对数据进行分流，使数据流转更加清晰，同时能够避免因数据处理不及时导致数据丢失的发生，结合OLAP数据库实现高吞吐量统计处理，并实现数据计算、业务服务拆分，提高应用处理的稳定性。提高应用处理的稳定性。提高应用处理的稳定性。

【技术实现步骤摘要】
一种数据处理方法、装置及计算机可读存储介质


[0001]本申请涉及数据处理
，特别是涉及一种数据处理方法、装置及计算机可读存储介质。

技术介绍

[0002]经过几十年发展，数据库信息技术已经发展为信息科学里一项重要的科学技术，数据库技术与网络技术、人工智能技术、面向对象技术、并行计算技术、多媒体技术等的相互融合，为数据库技术的应用开拓了更广阔的空间。然而，人们也经常会在应用数据库时经常出现因数据处理不及时，造成数据丢失、数据流转不清楚等问题。例如，现有WiFi数据流转处理均在业务数据库，且数据计算、业务服务全部糅合在一起，导致数据流转不清晰，入库失败，丢失数据等问题时常发生。

技术实现思路

[0003]本申请的目的在于提供一种数据处理方法、装置及计算机可读存储介质，通过Kafka消息中间件对数据进行分流，使数据流转更加清晰，同时能够避免因数据处理不及时导致数据丢失的发生，结合OLAP数据库实现高吞吐量统计处理，并实现数据计算、业务服务拆分，提高应用处理的稳定性。
[0004]为达到上述目的：
[0005]第一方面，本申请实施例提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括Kafka消息中间件、数据处理服务系统、OLAP数据库和业务数据库，包括以下步骤：
[0006]获取待处理数据；
[0007]通过所述Kafka消息中间件对所述待处理数据进行分流处理；
[0008]若所述待处理数据分流至所述数据处理服务系统，则通过所述数据处理服务系统对所述待处理数据进行处理，并将处理结果对应存储至所述OLAP数据库或所述业务数据库。
[0009]可选的，所述通过所述Kafka消息中间件对所述待处理数据进行分流处理，包括：
[0010]若所述待处理数据为第一类型数据，则通过所述Kafka消息中间件将所述待处理数据存储至所述OLAP数据库；
[0011]若所述待处理数据为第二类型数据，则通过所述Kafka消息中间件将所述待处理数据传输至所述数据处理服务系统。
[0012]可选的，所述通过所述Kafka消息中间件对所述待处理数据进行分流处理之前，还包括：
[0013]通过所述Kafka消息中间件对所述待处理数据进行排队。
[0014]可选的，所述方法还包括：
[0015]若数据在所述Kafka消息中间件中已存放时长大于或等于预设时长阈值，则自动
清除所述数据。
[0016]第二方面，本申请实施例提供了一种数据处理装置，应用于数据处理系统，所述数据处理系统包括Kafka消息中间件、数据处理服务系统、OLAP数据库和业务数据库，所述装置包括：
[0017]获取模块，用于获取待处理数据；
[0018]第一处理模块，用于通过所述Kafka消息中间件对所述待处理数据进行分流处理；
[0019]第二处理模块，用于若所述待处理数据分流至所述数据处理服务系统，则通过所述数据处理服务系统对所述待处理数据进行处理，并将处理结果对应存储至所述OLAP数据库或所述业务数据库。
[0020]可选的，所述第一处理模块，具体用于：
[0021]所述待处理数据为第一类型数据，则通过所述Kafka消息中间件将所述待处理数据存储至所述OLAP数据库；
[0022]若所述待处理数据为第二类型数据，则通过所述Kafka消息中间件将所述待处理数据传输至所述数据处理服务系统。
[0023]可选的，所述第一处理模块，还用于：
[0024]通过所述Kafka消息中间件对所述接收的待处理数据进行排队。
[0025]可选的，所述第一处理模块，还用于：
[0026]若数据在所述Kafka消息中间件中已存放时长大于或等于预设时长阈值，则自动清除所述数据。
[0027]第三方面，本申请实施例公开了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行如第一方面所述的数据处理方法。
[0028]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够实现如第一方面所述的数据处理方法。
[0029]本申请实施例提供的数据处理方法、装置及计算机可读存储介质，应用于数据处理系统，所述数据处理系统包括Kafka消息中间件、数据处理服务系统、OLAP数据库和业务数据库，所述方法包括：获取待处理数据；通过所述Kafka消息中间件对所述待处理数据进行分流处理；若所述待处理数据分流至所述数据处理服务系统，则通过所述数据处理服务系统对所述待处理数据进行处理，并将处理结果对应存储至所述OLAP数据库或所述业务数据库。如此，通过Kafka消息中间件对数据进行分流，使数据流转更加清晰，同时能够避免因数据处理不及时导致数据丢失的发生，结合OLAP数据库实现高吞吐量统计处理，并实现数据计算、业务服务拆分，提高应用处理的稳定性。
附图说明
[0030]图1为本专利技术实施例提供的一种数据处理的流程示意图；
[0031]图2为本专利技术实施例提供的一种数据处理系统的结构示意图；
[0032]图3为本专利技术实施例提供的一种数据处理装置的结构示意图一；
[0033]图4为本专利技术实施例提供的一种数据处理装置的结构示意图二。
具体实施方式
[0034]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0035]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
[0036]应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在
……
时"或"当
……
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于数据处理系统，其特征在于，所述数据处理系统包括Kafka消息中间件、数据处理服务系统、OLAP数据库和业务数据库，所述方法包括：获取待处理数据；通过所述Kafka消息中间件对所述待处理数据进行分流处理；若所述待处理数据分流至所述数据处理服务系统，则通过所述数据处理服务系统对所述待处理数据进行处理，并将处理结果对应存储至所述OLAP数据库或所述业务数据库。2.根据权利要求1所述的方法，所述通过所述Kafka消息中间件对所述待处理数据进行分流处理，包括：若所述待处理数据为第一类型数据，则通过所述Kafka消息中间件将所述待处理数据存储至所述OLAP数据库；若所述待处理数据为第二类型数据，则通过所述Kafka消息中间件将所述待处理数据传输至所述数据处理服务系统。3.根据权利要求1所述的方法，所述通过所述Kafka消息中间件对所述待处理数据进行分流处理之前，还包括：通过所述Kafka消息中间件对所述待处理数据进行排队。4.根据权利要求1所述的方法，所述方法还包括：若数据在所述Kafka消息中间件中已存放时长大于或等于预设时长阈值，则自动清除所述数据。5.一种数据处理装置，应用于数据处理系统，其特征在于，所述数据处理系统包括Kafka消息中间件、数据处理服务系统、OLAP数据库和业务数据库，所述装置包括：获...

【专利技术属性】
技术研发人员：胡正平，
申请(专利权)人：深圳奇迹智慧网络有限公司，
类型：发明
国别省市：