一种基于Apache Druid的实时分析计算方法技术

本发明专利技术属于大数据实时计算技术领域，公开了一种基于Apache Druid的实时分析计算方法，为了解决现有技术存在的开发周期长、成本高以及更新慢的问题。本发明专利技术步骤1:获取kafka原始数据并进行清洗和转换得到规范化的数据记录；步骤2:配置规则，然后基于Flink流计算对形成的数据记录进行解析，并输出到消息队列kafka中；步骤3：自定义数据加工逻辑，并提交任务到Apache Druid中。

【技术实现步骤摘要】
一种基于ApacheDruid的实时分析计算方法
本专利技术属于大数据实时计算
，具体涉及一种基于ApacheDruid的实时分析计算方法。
技术介绍
随着大数据技术在金融领域的应用范围越来越广，对数据的时效性要求也越来越高。企业需要能够实时跟踪最新的业务开展情况，为企业的运营决策提供决策，为数据赋能。不过由于数据的增长，业务对数据时效性的要求，给大数据分析带来挑战，针对海量的数据实时分析需求，需要一种更合适的分析引擎来进行更快的分析数据，更高效的挖掘数据。然而，现有技术中对于大数据实时指标的计算和分析需要如下步骤：提出需求-开发-测试和上线，每次新增一个指标，都需要重复上述步骤，从而导致开发周期长、成本高以及分析计算的更新慢。
技术实现思路
基于以上问题，本专利技术提供一种基于ApacheDruid的实时分析计算方法，避免了传统方式下开发周期长，时效性差以及灵活性不够的特点，实现了业务人员随时随地的掌握数据信息，分析数据。为解决技术问题，本专利技术所采用的技术方案是：一种基于ApacheDru本文档来自技高网...

【技术保护点】
1.一种基于Apache Druid的实时分析计算方法，其特征在于，包括如下：/n步骤1:获取kafka原始数据并进行清洗和转换得到规范化的数据记录；/n步骤2:配置规则，然后基于Flink流计算对形成的数据记录进行解析，并输出到消息队列kafka中；/n步骤3：自定义数据加工逻辑，并提交任务到Apache Druid中。/n

【技术特征摘要】
1.一种基于ApacheDruid的实时分析计算方法，其特征在于，包括如下：
步骤1:获取kafka原始数据并进行清洗和转换得到规范化的数据记录；
步骤2:配置规则，然后基于Flink流计算对形成的数据记录进行解析，并输出到消息队列kafka中；
步骤3：自定义数据加工逻辑，并提交任务到ApacheDruid中。


2.根据权利要求1所述的基于ApacheDruid的实时分析计算方法，其特征在于，上述步骤1具体包括如下：
步骤1.1：过滤出需要的数据，根据日志请求从kafka原始数据中筛选出需要解析的数据记录；
步骤1.2:对步骤1.1中筛选出的数据记录中的数据进行预处理；
步骤1.3:经过步骤1.2处理后的数据成为了规范化的数据记录，此时定义需要获取的字段。


3.根据权利要求2所述的基于ApacheDruid的实时分析计算方法，其特征在于，上述步骤1.2中的预处理包括：去掉数据记录中的中文字符，去掉字符串前后空格以及去掉记录中的特殊字符。


4.根据权利要求3所述的基于ApacheDruid的实时分析计算方法，其特征在于，步骤2具体包括如下：
步骤2.1：定义需要解析的字段，然后基于Flink流计算将字段从步骤1.3中得到的规划化的数据记录中依次提取出来并进行解析得到解析后的数据；
步骤2.2：将上述步骤2.1中得到的解析后的数据，组成一个标准的单层...

【专利技术属性】
技术研发人员：谭巍，田浩兵，胡荣德，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：四川;51