一种用于异构多数据源的数据处理方法、装置和服务器制造方法及图纸

本发明专利技术公开了一种用于异构多数据源的数据处理方法，包括：基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；对已接入的数据元信息的类型进行注册；当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理，按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统中的目标存储介质；其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写入方式。本发明专利技术还公开了一种用于异构多数据源的数据处理装置和服务器。利用本发明专利技术能够将系统中的数据生产与数据消费解耦。

【技术实现步骤摘要】

本专利技术涉及数据处理技术，具体涉及一种用于异构多数据源的数据处理方法、装 置和服务器。
技术介绍
随着互联网应用的高速发展，人们对数据库的访问逻辑越来越简单，对事务的一 致性要求越来越松弛，CAP理论（指在设计分布式系统时，一致性（Consistent)、可用性 (Availability)、PartitionTolerance(分区容忍性）三个属性不可能同时满足，也称为 布鲁尔定理）中常常更倾向于放弃C，而追求A和P，对数据库高并发高可用需求也越来越 高，这在系统架构中经常采用的方式是拆分，将大系统划分为若干独立子系统，可支持更高 的并发和更高的可用性。这些子系统产生的数据会被各种系统所使用，如后台系统、业务方 系统、分析平台以及其它需要使用这些数据的应用项目等，在应用过程中，不同的数据使用 方可能有不同的需求，对数据字段的定义要求不同，对数据的实时性要求不同，数据的使用 范围也不同，并且出于安全考虑，不同数据提供的可见性也不同。 常见的系统平台采用数据库主从同步的方式调度数据，数据生产方将数据写入一 个主库中，数据使用方通过丛库读取数据。但是，在处理异构多数据源时这种方式存在弊 端，由于所有的数据使用方可以看到全部数据，导致数据安全性较低，由于数据库中表的设 计一般都是按生产者的意愿建立的，难以满足不同使用方的使用需求，并且由于数据的耦 合性较高，当数据使用方较多时，数据的管理和维护变的困难。
技术实现思路
有鉴于此，本专利技术提出一种用于异构多数据源的数据处理方法、装置和服务器，可 将系统中的数据生产与数据消费解耦。 本专利技术提供一种用于异构多数据源的数据处理方法，包括：基于约定的数据接入 方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；对已接入的数 据元信息的类型进行注册；当接收到数据消费系统提交的数据复制请求时，按照该数据复 制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；按照数 据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统的目标存储介 质中；其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数 据写入方式。 优选地，其中接入方式包括数据推送和数据抽取。 优选地，其中数据元信息的类型包括：接入信息描述和字段信息，其中字段信息包 括：字段名、字段类型、是否可为空、最大长度和字段描述。 本专利技术还提供一种数据生产接入处理方法，包括：基于约定的数据接入方式和数 据元信息的类型，将本地数据接入服务器；将已接入的数据元信息的类型注册到服务器中； 当服务器提取数据时，按照约定的数据接入方式进行数据提取。 本专利技术还提供一种数据消费接入处理方法，包括：从服务器查询已注册的数据元 信息类型；根据已注册的数据元信息类型和本系统需要的目标数据，设计所需的数据加工 规则，并创建数据复制请求，其中数据复制请求中包含本系统需要的数据字段、数据加工规 则和数据写入方式；向服务器提交数据复制请求；按照数据复制请求中规定的数据写入方 式，接收服务器推送的数据，并将数据存储在目标存储介质中。 本专利技术还提供一种用于异构多数据源的数据处理装置，其特征在于，包括：数据生 产接入模块，用于基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产 系统的多个异构数据源；元数据管理模块，用于对已接入的数据元信息的类型进行注册； 数据复制模块，用于当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求 从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；按照数据消费 系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统的目标存储介质中； 其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写 入方式。 本专利技术还提供一种服务器，其包含上述用于异构多数据源的数据处理装置。 有益效果：本专利技术的实施例通过建立数据复制平台，将系统数据的生产与消费解 耦，支持异构多数据源的接入，数据生产者只需按生产意愿设计数据的存储结构和存储方 式，数据消费者基于数据复制平台已有的元数据，也只需按消费需求设计数据的存储结构 和存储方式，双方独立发展，便于对数据进行管理和维护。【附图说明】 图1是本专利技术实施例的用于异构多数据源的数据处理方法流程图。 图2是本专利技术实施例的数据生产接入处理方法流程图。 图3是本专利技术实施例的数据消费接入处理方法流程图。 图4是本专利技术实施例的数据复制平台、数据生产系统和数据消费系统的架构图。 图5是本专利技术实施例的数据生产接入过程示意图。 图6是本专利技术实施例的数据生产流入示意图。 图7是本专利技术实施例的数据消费接入过程示意图。 图8是本专利技术实施例的数据消费流出示意图。 图9是本专利技术实施例的数据复制过程示意图。【具体实施方式】 以下结合附图以及具体实施例，对本专利技术的技术方案进行详细描述。 图1示出了本专利技术实施例的用于异构多数据源的数据处理方法流程图，该方法流 程应用于服务器，包括： S101，数据生产接入模炔基于约定的数据接入方式和数据元信息的类型，接入来 自多个数据生产系统的多个异构数据源； S102,元数据管理模块对已接入的数据元信息的类型进行注册； S103,当接收到数据消费系统提交的数据复制请求时，数据复制模块按照该数据 复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；S104,按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据 消费系统的目标存储介质中； 其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则 和数据写入方式。 图2示出了本专利技术实施例的数据生产接入处理方法流程图，该方法流程应用于数 据生产系统，包括：S201，数据接入模炔基于约定的数据接入方式和数据元信息的类型，将本地数据 接入服务器；S202,元信息注册模块将已接入的数据元信息的类型注册到服务器中；S203,当服务器提取数据时，数据提取模块按照约定的数据接入方式进行数据提 取。 图3示出了本专利技术实施例的数据消费接入处理方法流程图，该方法流程应用于数 据消费系统，包括：S301，数据元信息查询模块从服务器查询已注册的数据元信息类型； S302,复制请求创建模块根据已注册的数据元信息类型和本系统需要的目标数 据，设计所需的数据加工规则，并创建数据复制请求，其中数据复制请求中包含本系统需要 的数据字段、数据加工规则和数据写入方式；S303,复制请求提交模块向服务器提交数据复制请求；S304,数据接收模块按照数据复制请求中规定的数据写入方式，接收服务器推送 的数据，并将数据存储在目标存储介质中。 以上分别描述了在服务器、数据生产系统以及数据消费系统中进行的数据处理， 可以将服务器视为基于异构多数据源的数据复制平台，其构建在数据生产系统和数据消费 系统之间，系统架构图如图4所示，支持异构多数据源的接入，各个数据消费方根据平台中 已有元数据的类型定制数据，使得数据生产和数据消费相互解耦，不同的数据生产者和不 同的数据消费者可以独立地设计自身的数据存储结构和存储方式，一方发生变更或增减时 只需要调整复制任务中的数据映射方式，不会对另一方产生影响，生产方和消费方理论上 可本文档来自技高网...

【技术保护点】
一种用于异构多数据源的数据处理方法，其特征在于，包括：基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；对已接入的数据元信息的类型进行注册；当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统中的目标存储介质；其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写入方式。

【技术特征摘要】

【专利技术属性】
技术研发人员：何刚，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11