基于数据底座的大数据处理方法和装置制造方法及图纸

本申请公开了一种基于数据底座的大数据处理方法和装置，属于电子技术领域。所述基于数据底座的大数据处理方法，包括：采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据；基于etl工具处理所述clickhouse数据；输出处理后的clickhouse数据。本申请的基于数据底座的大数据处理方法，通过使用OLAP以及etl工具进行大数据的采集以及整理，能够支持工业互联网大数据(tb及以上)查询，响应快速，能够显著提高采集数据的效率，适用于任何大数据查询场景，具有较高的普适性和较高的查询效果。和较高的查询效果。和较高的查询效果。

【技术实现步骤摘要】
基于数据底座的大数据处理方法和装置


[0001]本申请属于电子
，尤其涉及一种基于数据底座的大数据处理方法和装置。

技术介绍

[0002]在线事务处理支持数据查询方案(OnLine Transaction Processing，OLTP)用于处理大量相对简单的交易，如对数据的插入、更新和删除以及简单的数据查询(例如，ATM的余额检查)等，允许多用户访问相同的数据，同时确保数据完整性。相关技术中，主要采用OLTP进行查询，但OLTP系统需要频繁地进行定期备份和持续地增量备份，极大地影响数据查询速率，且不能支持tb及以上数量级实时查询，从而影响查询效果以及用户的工作效率。

技术实现思路

[0003]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种基于数据底座的大数据处理方法和装置，能够支持工业互联网大数据(tb及以上)查询，响应快速。
[0004]第一方面，本申请提供了一种基于数据底座的大数据处理方法，该方法包括：
[0005]采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据；
[0006]基于etl工具处理所述clickhouse数据；
[0007]输出处理后的clickhouse数据。
[0008]根据本申请的基于数据底座的大数据处理方法，通过使用OLAP以及etl工具进行大数据的采集以及整理，得到clickhouse数据，能够支持工业互联网大数据(tb及以上)查询，响应快速，能够显著提高采集数据的效率，适用于任何大数据查询场景，具有较高的普适性和较好的查询效果。
[0009]根据本申请的一个实施例，所述采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据，包括：
[0010]在所述原始数据来自于Oracle数据库的情况下，依次基于OGG、Kafak以及Flink处理所述原始数据，获取所述clickhouse数据。
[0011]根据本申请的一个实施例，所述采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据，包括：
[0012]在所述原始数据来自于MySQL数据库的情况下，依次基于Canel、Kafak以及Flink处理所述原始数据，获取所述clickhouse数据。
[0013]根据本申请的一个实施例，所述基于etl工具处理所述clickhouse数据，包括：
[0014]基于所述etl工具对所述clickhouse数据进行采集、清洗以及汇总中的至少一种
处理。
[0015]根据本申请的一个实施例，所述输出处理后的clickhouse数据，包括：
[0016]接收用户的第一输入，所述第一输入用于查询目标数据；
[0017]响应于所述第一输入，从所述处理后的clickhouse数据中筛选得到所述目标数据，并输出所述目标数据。
[0018]根据本申请的一个实施例，所述输出处理后的clickhouse数据，包括：
[0019]基于报表形式展示所述处理后的clickhouse数据；
[0020]和/或
[0021]基于Web形式输出所述处理后的clickhouse数据。
[0022]第二方面，本申请提供了一种基于数据底座的大数据处理装置，该装置包括：
[0023]第一处理模块，用于采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据；
[0024]第二处理模块，用于基于etl工具处理所述clickhouse数据；
[0025]第三处理模块，用于输出处理后的clickhouse数据。
[0026]根据本申请的基于数据底座的大数据处理装置，通过使用OLAP以及etl工具进行大数据的采集以及整理，得到clickhouse数据，能够支持工业互联网大数据(tb及以上)查询，响应快速，能够显著提高采集数据的效率，适用于任何大数据查询场景，具有较高的普适性和较高的查询效果。
[0027]根据本申请的一个实施例，所述第一处理模块，用于：
[0028]在所述原始数据来自于Oracle数据库的情况下，依次基于OGG、Kafak以及Flink处理所述原始数据，获取所述clickhouse数据。
[0029]根据本申请的一个实施例，所述第一处理模块，用于：
[0030]在所述原始数据来自于MySQL数据库的情况下，依次基于Canel、Kafak以及Flink处理所述原始数据，获取所述clickhouse数据。
[0031]根据本申请的一个实施例，所述第二处理模块，用于：
[0032]基于所述etl工具对所述clickhouse数据进行采集、清洗以及汇总中的至少一种处理。
[0033]根据本申请的一个实施例，所述装置还包括：
[0034]第一接收模块，用于接收用户的第一输入，所述第一输入用于查询目标数据；
[0035]所述第三处理模块，用于响应于所述第一输入，从所述处理后的clickhouse数据中筛选得到所述目标数据，并输出所述目标数据。
[0036]根据本申请的一个实施例，所述第三处理模块，用于：
[0037]基于报表形式展示所述处理后的clickhouse数据；
[0038]和/或
[0039]基于Web形式输出所述处理后的clickhouse数据。
[0040]第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于数据底座的大数据处理方法。
[0041]第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程
序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于数据底座的大数据处理方法。
[0042]第五方面，本申请提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的基于数据底座的大数据处理方法。
[0043]第六方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于数据底座的大数据处理方法。
[0044]本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：
[0045]通过使用OLAP以及etl工具进行大数据的采集以及整理，得到clickhouse数据，能够支持工业互联网大数据(tb及以上)查询，响应快速，能够显著提高采集数据的效率，适用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据底座的大数据处理方法，其特征在于，包括：采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据；基于etl工具处理所述clickhouse数据；输出处理后的clickhouse数据。2.根据权利要求1所述的基于数据底座的大数据处理方法，其特征在于，所述采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据，包括：在所述原始数据来自于Oracle数据库的情况下，依次基于OGG、Kafak以及Flink处理所述原始数据，获取所述clickhouse数据。3.根据权利要求1所述的基于数据底座的大数据处理方法，其特征在于，所述采用OLAP对原始数据进行基于OGG处理，基于Kafak处理、基于Flink处理以及基于Canel处理的至少一种处理，生成clickhouse数据，包括：在所述原始数据来自于MySQL数据库的情况下，依次基于Canel、Kafak以及Flink处理所述原始数据，获取所述clickhouse数据。4.根据权利要求1
‑
3任一项所述的基于数据底座的大数据处理方法，其特征在于，所述基于etl工具处理所述clickhouse数据，包括：基于所述etl工具对所述clickhouse数据进行采集、清洗以及汇总中的至少一种处理。5.根据权利要求1
‑
3任一项所述的基于数据底座的大数据处理方法，其特征在于，所述输出处理后...

【专利技术属性】
技术研发人员：江智，
申请(专利权)人：苏州凌云光工业智能技术有限公司，
类型：发明
国别省市：