一种基于响应的高并发轻量级数据集成架构的实现方法及其系统技术方案

本发明专利技术公开了一种基于响应的高并发轻量级数据集成架构的实现方法及其系统，数据集成架构包括集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器，方法包括以下步骤：将各类数据构建为集成作业；根据集成作业的触发方式启动集成作业；为集成作业指定集成作业执行器；为集成作业生成集成数据抽取器、集成数据转换器和集成数据加载器；从原始外部数据源抽取各类集成原始数据；将各类集成原始数据转换得到集成数据作为目标数据；将目标数据写入目标数据源。本发明专利技术的用户直接在业务应用系统中引入数据集成框架，再基于数据集成框架构建集成作业实现了数据集成特写环节的并发扩展。

A Response-based Implementation Method and System for High Concurrent and Lightweight Data Integration Architecture

The invention discloses an implementation method and system of a response-based high concurrent and lightweight data integration architecture, which includes an integrated job builder, an integrated job trigger, an integrated job scheduler, an integrated job executor, an integrated data extractor, an integrated data converter and an integrated data loader. The method comprises the following steps: constructing various types of data as follows: Integrated jobs; start integrated jobs according to the triggering mode of integrated jobs; specify integrated job Executors for integrated jobs; generate integrated data extractors, integrated data converters and integrated data loaders for integrated jobs; extract all kinds of integrated raw data from original external data sources; convert all kinds of integrated raw data into integrated data as target data; and convert all kinds of integrated original data into integrated data; Data is written to the target data source. The user of the invention directly introduces a data integration framework into the business application system, and then builds an integration job based on the data integration framework to realize the concurrent expansion of the data integration close-up link.

【技术实现步骤摘要】
一种基于响应的高并发轻量级数据集成架构的实现方法及其系统
本专利技术涉及一种基于响应的高并发轻量级数据集成架构的实现方法及其系统，属于应用系统数据集成

技术介绍
随着各行各业信息化建设的飞跃式发展，信息系统逐渐覆盖企业日常生产与运营的全部过程中。为了进一步实现跨系统的信息互动和数据流转，信息共享已经成为所有信息系统建设过程中必须面对和考虑的问题。目前针对信息系统数据集成的解决方案均通过搭建商品化的数据集成服务集群，通过配置工具进行数据集成配置。采用这种模式主要存在以下问题：1)服务庞大，对硬件要求高。常见的数据集成工具都需要提供较多的硬件服务器资源来支撑其运行；2)横向扩展难度大，针对单个类型的数据集成作业，无法有针对性在对集成的某个环节提高处理的并发程度。
技术实现思路
针对现有技术存在的不足，本专利技术目的是提供一种基于响应的高并发轻量级数据集成架构的实现方法及其系统，用户可以直接在业务应用系统中引入数据集成框架，再基于数据集成框架构建集成作业，实现数据集成服务的轻量化；基于响应式的组件设计，实现了数据集成特写环节的并发扩展，解决了数据集成服务扩展和并行化处理的问题。为了实本文档来自技高网...

【技术保护点】
1.一种基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，数据集成架构包括集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器七种动作器，所述方法包括以下步骤：集成作业构建器将业务系统所需集成的各类数据构建为集成作业；集成作业触发器根据所述集成作业的触发方式启动所述集成作业；集成作业调度器为所述集成作业指定集成作业执行器；集成作业执行器为所述集成作业生成集成数据抽取器、集成数据转换器和集成数据加载器；集成数据抽取器从原始外部数据源抽取集成作业的各类集成原始数据；集成数据转换器将所述各类集成原始数据转换得到集成数据作为目标数据；集...

【技术特征摘要】
1.一种基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，数据集成架构包括集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器七种动作器，所述方法包括以下步骤：集成作业构建器将业务系统所需集成的各类数据构建为集成作业；集成作业触发器根据所述集成作业的触发方式启动所述集成作业；集成作业调度器为所述集成作业指定集成作业执行器；集成作业执行器为所述集成作业生成集成数据抽取器、集成数据转换器和集成数据加载器；集成数据抽取器从原始外部数据源抽取集成作业的各类集成原始数据；集成数据转换器将所述各类集成原始数据转换得到集成数据作为目标数据；集成数据加载器将所述目标数据写入目标数据源。2.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器均为集群结构，在每个动作器执行自身动作前，所述方法进一步包括：根据预设的负载均衡算法在每个动作器集群中选择指定的动作器执行动作。3.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，所述集成作业构建器根据集成业务配置信息将业务系统所需集成的各类数据构建为集成作业后将所有集成作业注册至作业仓库。4.根据权利要求3所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，所述注册仓库包括定时作业仓库和事件作业仓库；所述集成作业触发器根据定时作业仓库内的定时作业的定时信息定时启动定时作业、或者根据事件作业仓库内的事件作业的触发方式启动事件作业。5.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，所述集成作业调度器为集成作业指定集成作业执行器，集成作业执行器为所述集成作业生成数据抽取器、数据转换器和数据加载器，包括：所述集成作业调度器根据集成作业的标识选择或创建一个集成作业执行器，启动并进行集成作业执行器的初始化工作，然后...

【专利技术属性】
技术研发人员：吴猛，张斌，陈高锋，汪明贵，薛飞，罗黎明，童菲，俞珍秒，
申请(专利权)人：南瑞集团有限公司，南京南瑞信息通信科技有限公司，国网山东省电力公司青岛供电公司，
类型：发明
国别省市：江苏,32