数据集成方法和系统技术方案

本发明专利技术公开了一种数据集成方法。所述方法包括：目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据；所述客户端将所述中间数据传输至所述目标系统服务器；所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。本发明专利技术还相应公开了一种数据集成系统。应用本发明专利技术技术方案，能够降低部署和配置的复杂度，降低数据集成的实施成本和维护成本。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种数据集成方法。所述方法包括：目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据；所述客户端将所述中间数据传输至所述目标系统服务器；所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。本专利技术还相应公开了一种数据集成系统。应用本专利技术技术方案，能够降低部署和配置的复杂度，降低数据集成的实施成本和维护成本。【专利说明】数据集成方法和系统
本专利技术涉及计算机
，特别是涉及一种数据集成方法和系统。
技术介绍
随着计算机技术的迅猛发展和信息化的推进，使得人类社会所累积的数据量超过了过去数千年的总和，数据的采集、存储、处理和传播的数量也与日俱增。目前在企业平台中，由于开发时间或开发部分的不同，往往有多个异构的、运行在不同软硬件平台上的信息系统同时运行，这些信息系统的数据彼此独立、相互封闭，形成“信息孤岛”，使得数据难以在这些信息系统之间进行交流、共享和融合。为解决这一问题，人们开始研究数据集成。数据集成就是把不同来源、不同格式、不同特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在数据集成中，提供数据的信息系统称为源系统。在数据集成中，接收数据的信息系统称之为目标系统。传统技术中，数据集成有Web service 技术、FTP (File Transfer Protocol,文件传输协议)文件、消息队列(MQ, Message queen)等实施方式。然而这些技术需要在服务端和客户端进行复杂部署和配置，对操作人员要求也比较高，因此传统技术实施成本和维护成本比较高。
技术实现思路
基于此，有必要提供一种数据集成方法和系统，应用本方法和系统，能够降低部署和配置的复杂度，降低数据集成的实施成本和维护成本。一种数据集成方法，包括: 目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据；所述客户端将所述中间数据传输至所述目标系统服务器；所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。在其中一个实施例中，在所述客户端获取所述指令集的步骤之前，所述方法还包括:所述客户端接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。在其中一个实施例中，所述目标系统服务器配置数据集成规则，包括:所述目标系统服务器设置所述源系统的关联数据表信息；所述目标系统服务器设置源系统基础数据与目标系统基础数据的映射关系；所述目标系统服务器设置源系统业务数据与目标系统业务数据的映射关系；所述目标系统服务器设置所述中间数据与所述目标数据转换规则；所述目标系统服务器设置调度策略，所述调度策略包括所述客户端从所述目标系统服务器获取所述指令集的第一频率，以及所述目标系统服务器将所述中间数据转换为所述目标数据的第二频率。在其中一个实施例中，所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据，包括:所述客户端根据所述调度策略，按照第一频率从所述目标系统服务器获取所述指令集；所述客户端根据所述源系统的关联数据表信息，将所述源系统中的多个基础数据表或业务数据表进行关联；所述客户端从所述多个基础数据表或业务数据表取数据，并根据所述源系统基础数据与目标系统基础数据的映射关系，以及源系统业务数据与目标系统业务数据的映射关系，对所取的数据进行处理得到中间数据。在其中一个实施例中，所述客户端从所述多个基础数据表或业务数据表中取数据，包括:所述客户端创建增量表，在所述增量表中记录所取数据的数据标识。在其中一个实施例中，所述目标系统服务器将所述中间数据转换为目标数据，包括:所述目标系统服务器根据所述中间数据与所述目标数据转换规则，按照所述第二频率将所述中间数据转换为目标数据。—种数据集成系统，包括:源系统和目标系统；所述源系统包括客户端、源系统数据库；所述目标系统包括目标系统服务器、目标系统数据库；所述目标系统服务器，用于配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；所述客户端，用于获取所述指令集，并根据所述指令集从所述源系统数据库中获取数据进行处理得到中间数据；所述客户端，还用于将所述中间数据传输至所述目标系统服务器；所述目标系统服务器，还用于将所述中间数据转换为目标数据，并保存在所述目标系统数据库中。在其中一个实施例中，所述客户端还用于接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。在其中一个实施例中，所述目标系统服务器用于设置所述源系统的关联数据表信息、源系统基础数据与目标系统基础数据的映射关系、源系统业务数据与目标系统业务数据的映射关系、调度策略，所述调度策略包括所述客户端从所述目标系统服务器获取所述指令集的第一频率，以及所述目标系统服务器将所述中间数据转换为所述目标数据的第二频率。在其中一个实施例中，所述客户端用于根据所述调度策略，按照第一频率从所述目标系统服务器获取所述指令集，以及根据所述源系统的关联数据表信息，将所述源系统数据库中的多个基础数据表或业务数据表进行关联，以及从所述多个基础数据表或业务数据表取数据，并根据所述源系统基础数据与目标系统基础数据的映射关系，以及源系统业务数据与目标系统业务数据的映射关系，对所取的数据进行处理得到中间数据。在其中一个实施例中，所述客户端还用于创建增量表，在所述增量表中记录所取数据的数据标识。在其中一个实施例中，所述目标系统服务器用于根据所述中间数据与所述目标数据转换规则，按照所述第二频率将所述中间数据转换为目标数据，并保存在所述目标系统数据库中。上述数据集成方法和数据集成系统，在目标系统服务器端配置数据集成规则，自动生成客户端所要执行的指令集。客户端获取指令集从源系统数据表获取数据进行处理得到中间数据，并将中间数据发送到目标系统服务器。目标系统服务器将中间数据转换为目标数据，保存在目标系统数据库中，相比于传统技术中的web service、FTP、MQ等技术,降低了数据集成的实施成本和维护成本。【专利附图】【附图说明】图1为一个实施例中提供的数据集成方法的流程示意图；图2为一个实施例中提供的数据集成方法的流程示意图；图3为一个实施例中提供的数据集成系统的结构示意图。【具体实施方式】为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参见图1，在一个实施例中提供了一种数据集成方法。该数据集成方法可以实现将源系统数据库中的数据经过处理集成到目标系统的数据库中，从而能够使目标系统的客户端能够共享数据。该方法尤其可以使用于目标系统无法直接访问源系统数据库的应用场景。本实施例所提供的数据集成方法，其流程包括:步骤102，目标系统服务器配置数据集成规则，并根据数据集成规则创建客户端所要执行的指令集。具体的，根据数据集成的源系统和目标系统的数据类型、性质，在目标系统服务器端配置本文档来自技高网...

【技术保护点】
一种数据集成方法，其特征在于，所述方法包括：目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据；所述客户端将所述中间数据传输至所述目标系统服务器；所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。

【技术特征摘要】

【专利技术属性】
技术研发人员：唐静，谷泉，陈建波，赵俊峰，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：