大数据实时处理系统及大数据实时处理方法技术方案

本发明专利技术提供了一种大数据实时处理系统及大数据实时处理方法，大数据实时处理系统包括数据源配置管理模块，用于输入数据源配置，在编写数据处理逻辑代码时，引用数据源配置的代号，并将数据处理逻辑和数据源配置的代号结对存储到数据处理应用仓库中，数据源配置和数据处理逻辑分离。相较于现有技术，本发明专利技术通过将数据源配置和数据处理逻辑分离，从可实现可管理的大数据实时处理。理的大数据实时处理。理的大数据实时处理。

【技术实现步骤摘要】
大数据实时处理系统及大数据实时处理方法


[0001]本专利技术涉及计算机
，尤其涉及一种大数据实时处理系统及大数据实时处理方法。

技术介绍

[0002]业务的飞速发展，催生了大数据时代。人们可以通过收集、处理大量的数据，分析和支持业务决策。随着离线大数据处理日臻成熟，人们也对大数据处理的实时性提出了越来越高的要求，同时要求保持处理的高效性和准确性。这些年涌现了越来越多的实时处理框架，比如从离线转型而来的Spark，还有诞生于实时土壤的Storm、Flink等等。
[0003]对于大数据实时处理系统而言，数据源无疑是非常重要的部分，从在数据处理流程中所处的位置而言，数据源分为源数据源和目标数据源两种。系统从一个或多个源数据源获取数据，经过处理，最终写入到目标数据源。
[0004]但是，目前的大数据实时系统在数据源配置管理方面做的工作较少。大量重复或类似的数据源配置，面对不同业务处理代码各自为政，在管理上会遇到诸多困难。数据源配置的改动的影响会变得难以控制。数据源之间的关系也错综复杂，难以整理。同时，在Kafka Connec本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据实时处理系统，其包括数据源配置管理模块，用于输入数据源配置，其特征在于：在编写数据处理逻辑代码时，引用所述数据源配置的代号，并将所述数据处理逻辑和所述数据源配置的代号结对存储到数据处理应用仓库中，所述数据源配置和所述数据处理逻辑分离。2.根据权利要求1所述的大数据实时处理系统，其特征在于：在执行所述数据处理逻辑时，根据所述数据源配置的代号获取到最新的所述数据源配置，并将读取到的所述数据源配置编织到所述数据处理逻辑中，执行合成后的数据处理逻辑。3.根据权利要求1所述的大数据实时处理系统，其特征在于：在需要变更所述数据源配置时，直接修改所述数据源配置，所述数据处理逻辑无需变动。4.根据权利要求1所述的大数据实时处理系统，其特征在于：所述数据处理逻辑的代码使用解释型语言编写时，执行模块可自动织入所述数据源配置修改业务逻辑代码并执行。5.根据权利要求1所述的大数据实时处理系统，其特征在于：所述数据处理逻辑的代码使用编译型语言编写时，需要执行模块将所述数据源配置的信息作为参数传递给数据处理逻辑，然后执行业务逻辑代码。6.根据权利要求1所述的大数据实时处理系统，其特征在于：所述数据源配置包括Kafka消息队列，需要...

【专利技术属性】
技术研发人员：沈铖，吴骏，杨莹博，杨飚，
申请(专利权)人：上汽大通汽车有限公司，
类型：发明
国别省市：