一种基于数据转换整合的实时数据处理方法技术

本发明专利技术公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明专利技术为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明专利技术可适配市场上多种不同的消息中间件；本发明专利技术提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。可靠性。可靠性。

【技术实现步骤摘要】
一种基于数据转换整合的实时数据处理方法


[0001]本专利技术涉及信息技术，特别是一种基于数据转换整合的实时数据处理方法。

技术介绍

[0002]近几十年来，随着科技的迅猛发展和信息化建设的推进，使得人类社会所积累的数据量大大增加，数据的采集、存储、处理和传播的数量也与日俱增，因此传统的数据转换整合系统应运而生，数据转换整合系统构建数据仓库的核心是建模，在数据仓库的构建中，数据转换整合系统贯穿于项目始终，它是整个数据仓库的生命线。从数据源中抽取数据，然后对这些数据进行转化，最终加载到目标数据库或者数据仓库中去，这也就是我们通常所说的ETL过程(Extract TransformLoad)，通常数据抽取工作分抽取、清洗、转换、装载几个步骤，可见传统ETL系统主要应用于任务级别的对于数据的批处理操作。但是随着信息软件的技术发展，现代软件对于数据的实时性要求越来越高，而传统数据转换整合系统系统并没有针对此种应用场景提供很好的技术方案。

技术实现思路

[0003]专利技术目的：本专利技术的目的是提供一种基于数据转换整合的实时数据处理方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据转换整合的实时数据处理方法，其特征在于，包括以下步骤：(1)确定熟悉所需对接消息中间件的软件特性和SDK文档，制定数据转换整合系统集成此中间件的方案；(2)根据(1)适配消息消费插件，插件按行消费消息中间件中的缓存数据，且给每条数据标记产生一个唯一MessageId后把数据传递给后续插件；插件能够设置消费最大时间或消费最大行数，当插件所在任务运行时，处理数据时间达到最大时长设置值或处理数据行数达到消费最大行数设置值，任务自动停止；(3)根据(1)适配消息生产插件，插件能够从前序插件中获取数据并提交到消息中间件中；能够设置提交的最大等待时间和最大等待行数，当插件所在任务运行时，此插件缓存数据每达到设置的最大等待时间或最大等待行数，则提交一次数据入息中间件；能够根据实时性要求，灵活调整参数，实时性要求越高的场景，最大等待时间和最大等待行数越低；(4)根据(1)适配消息确认插件，(2)中每条消息会产生一个MessageId；本插件从(3)中消息生产插件获取MessageId后通知(2)中消息消费插件，消息消费插件拿到通知后则提交当前数据点位，被提交点位的数据视为业务正常完成的数据，当出现异常时该数据不会再次被(2)消息消费插件消费；(5)数据转...

【专利技术属性】
技术研发人员：颜铮，曹健，张华云，李品，高振宇，黄伟，
申请(专利权)人：南瑞集团有限公司，
类型：发明
国别省市：