一种数据批量转移系统及其方法技术方案

本发明专利技术提供一种数据批量转移系统及其方法。所述系统包括触发模块，用于判断是否满足触发条件，如果满足则生成并发送任务描述符至中间转换模块，否则继续读取源数据库中的指标；转换模块，用于根据任务描述符从源数据库读取源数据并对其进行处理以生成目标数据，根据任务描述符确定目标数据参数并将目标数据和目标数据参数发送至写入模块；写入模块，将目标数据按照预定数据格式写入目标数据库。本发明专利技术在实现松耦合批量数据转移的同时，而且还具有快速、支持多线程并发处理等特点。

【技术实现步骤摘要】

本专利技术涉及一种数据转移系统和方法，尤其涉及。
技术介绍
目前ETL (Extraction-Transform-Load，即抽取-转换-加载)数据抽取的普遍方法都是以目标数据需求为目标，在源数据库中抽取符合转换规则的可用数据资源，分析现有源系统中可用数据资源和目标数据需求之间的关系，并制定数据抽取全过程，按照固定的抽取过程编写ETL代码，完成抽取。这种方式的优势在于实现简单，开发迅速，缺点在于代码专用，只为某一种数据需求开发的功能，一旦数据需求发生变化，则该专用代码则无法继续提供变化的目标数据，需要开发人员对整个程序进行重新编译。在数据抽取和需求变化比较频繁的系统变更阶段， 开发人员的开发量很大，由于各个数据转移的模式基本相同，使得开发人员重复工作，效率低下。以某金融机构公共参数批量转移为例，每日公共参数库要给16个子系统下发多达60多张公共参数表，且基本都是带了一定的业务规则，将数据源复制到目标数据库的类似过程，这些过程虽有差别，但重合的地方很多，且转移前后其核心差别主要体现在1、触发条件；2、业务口径；3、抽取后续处理。同时这么多数据接口的部署和调度也成为了一个难题，非常复杂。
技术实现思路
本有鉴于此，专利技术的目的在于提供一种用于数据批量转移的系统及其方法，将分析数据抽取的七个基本要素即转移触发条件、预处理、输入、输出、转换规则、处理过程以及来自子系统的后续处理请求模块化，以便达到在数据抽取、数据转移的过程中，应用批处理的思想，进行数据驱动而非过程驱动；建立松耦合、可复用的过程配置机制，以便于管理和控制任务调度，应对变化频繁的业务口径及数据结构，以有效地解决现有的数据接口复杂、 部署和调度不便、数据转移需求经常变化的问题。为实现上述目的，本专利技术提供一种数据批量转移系统，包括触发模块，用于判断是否满足触发条件，如果满足则生成并发送任务描述符至中间转换模块，否则继续读取源数据库中的指标；转换模块，用于根据任务描述符从源数据库读取源数据并对其进行处理以生成目标数据，根据任务描述符确定目标数据参数并将目标数据和目标数据参数发送至写入模块；写入模块，将目标数据按照预定数据格式写入目标数据库。优选地，在本专利技术的系统中，所述中间转换模块包括预处理模块，用于检测系统是否满足执行数据批量转移的条件；如果满足，则进行数据处理，否则发送报警信号；源数据接口模块，根据任务描述符确定源数据参数并将源数据参数发送至处理器；目标数据接口模块，根据任务描述符确定目标数据参数并将目标数据参数发送至写入模块；转换规则模块，根据任务描述符确定转换规则并发送至处理器；处理器，根据源数据参数从源数据库读取源数据；根据转换规则对源数据进行处理生成目标数据，将目标数据发送至写入模块。优选地，在本专利技术的系统中，所述处理器进一步被配置为响应来自子系统的数据请求，将目标数据发送至该子系统。优选地，在本专利技术的系统中，所述源数据参数包括源数据表属主、源数据表名、源数据表套数。优选地，在本专利技术的系统中，所述目标数据参数包括目标数据表属主、目标数据表名、目标数据表套数。优选地，在本专利技术的系统中，所述转换规则选自由以下各项组成的组数据规范化、填写缺省默认值、数据集成、数据分组、数据关联、数据合并、排序和函数运算。本专利技术还提供一种数据批量转移方法，包括以下步骤A、判断是否满足触发条件，如果满足则生成并发送任务描述符，否则继续读取源数据库中的指标；B、根据任务描述符从源数据库读取源数据并对其进行处理以生成目标数据，根据任务描述符确定目标数据参数；C、根据目标数据参数将目标数据按照预定数据格式写入目标数据库。优选地，在本专利技术的方法中，步骤B进一步包括以下步骤检测系统是否满足执行数据批量转移的初始化条件；如果满足，则进行后续步骤， 否则发送报警信号根据任务描述符确定源数据参数；根据任务描述符确定目标数据参数；根据任务描述符确定变换规则；根据源数据参数从源数据库读取源数据；根据变换规则对源数据进行处理生成目标数据。优选地，在本专利技术的方法中，所述方法还包括以下步骤响应子系统发送的数据请求，将目标数据发送至所述子系统。优选地，在本专利技术的方法中，所述源数据参数包括源数据表属主、源数据表名、源数据表套数。优选地，在本专利技术的方法中，所述目标数据参数包括目标数据表属主、目标数据表名、目标数据表套数。优选地，在本专利技术的方法中，所述转换规则选自由以下各项组成的组数据规范化、填写缺省默认值、数据集成、数据分组、数据关联、数据合并、排序和函数运算。本专利技术的技术效果在于有效地减少了编码的工作量，使得每次子系统的变更，都对批量转移本身的影响减少，同时未对子系统本身的性能有很大的影响。本设计在实现松耦合批量数据转移的同时，而且还具有快速、支持多线程并发处理等特点。附图说明图1为根据本专利技术实施方式的数据批量转移系统的示意图；图2为根据本专利技术实施方式的数据批量转移方法的示意图。具体实施例方式下面将结合附图详细描述本专利技术的优选实施例，在附图中相同的参考标号表示相同的元件。图1为根据本专利技术实施方式的数据批量转移系统的示意图。如图所示，该系统包括触发模块1、转换模块2和写入模块3。触发模块1，读取源数据库中的指标并判断是否满足触发条件，如果满足则生成并发送任务描述符至中间转换模块，否则继续读取源数据库中的指标。其中该指标例如但不限于为源系统的数据量、源系统数据库中的某一个标志位。相应地，该触发条件例如但不限于为源系统的数据量是否达到预定值、该标志位是否为有效。本领域的技术人员可以根据实际需要来定义所需要读取的指标和触发条件。转换模块2，用于根据任务描述符从源数据库4读取源数据并对其进行处理以生成目标数据，根据任务描述符确定目标数据参数并将目标数据和目标数据参数发送至写入模块3 ；进一步地，该转换模块2包括预处理模块20、源数据接口模块21、转换规则模块 22、目标数据接口模块23和处理器对。预处理模块20，当接收到任务描述符时，用于检测系统是否满足执行数据批量转移的条件；如果满足，则进行数据处理，否则发送报警信号。预处理模块20例如通过抽取任务的初始化设定来检测系统是否满足执行数据批量转移的条件，包括但不限于自身状态检查，运行环境的监测清理。本领域技术人员能够根据实际需要进行设定。源数据接口模块21，接收来自触发模块1的任务描述符，解析该任务描述符从而确定源数据参数并将源数据参数发送至处理器。其中源数据参数包括源数据表属主、源数据表名、源数据表套数。目标数据接口模块23，接收来自触发模块1的任务描述符，解析该任务描述符从而确定目标数据参数并将目标数据参数发送至写入模块。其中目标数据参数包括目标数据表属主、目标数据表名、目标数据表套数。转换规则模块22，接收来自触发模块1的任务描述符，解析该任务描述符从而确定转换规则并发送至处理器对。数据转换规则一般遵循如下的基本规律目标数据=Transformation (源数据输入字段1，源数据输入字段2，......)。该转换规则例如为但不限于为数据规范化、填写缺省默认值、数据集成、数据分组、数据关联、 数据合并、排序和函数运算。其中各转换规则的含义如下数据规范化(Expression)将源系统中实质含义相同但描述不同的数据定义，转换为通用的、统一的、下本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：杨萌藜，吴金坛，周继恩，冯兴，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：