一种基于微服务集群的数据处理方法技术

本发明专利技术涉及一种基于微服务集群的数据处理方法，包括：数据抽取，利用kettle工具将格式化及非格式化数据进行统一处理，使数据达到数据库层面的统一；数据规则制定，定制业务元数据，分析业务具体的单元模块信息，定义业务单元以及其相关的字段信息；数据治理，通过与已定制的规则元数据进行对比，筛选数据质量，将数据与元数据对标成为可使用的业务数据；数据共享，将数据通过不同的角色订阅赋权，从而共享给每个订阅用户。本发明专利技术在处理数据时可直接将多源异构数据处理为可供用户直接使用的业务元数据，该设计理念可应用于多种协作平台、门户等需要集成多个系统的平台项目。门户等需要集成多个系统的平台项目。门户等需要集成多个系统的平台项目。

【技术实现步骤摘要】
一种基于微服务集群的数据处理方法


[0001]本专利技术属于大数据处理领域，涉及一种基于微服务集群的数据处理方法。

技术介绍

[0002]大数据时代，各类数据大量积累，快速有效地处理数据已成为当前迫切的需求。然而海量数据处理中存在的服务器负载，算法处理效率等问题使得实现更加困难。
[0003]hadoop是当前最常用的处理大数据的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop 实现了一个分布式文件系统，其中一个组件是HDFS(Hadoop Distributed File System)。HDFS 有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。然而，hadoop对于数据以及数据集的处理仍局限于数据资源本身，而忽略了其携带的业务属性，导致数据仍需大量人工处理才能真正为业务所用，应用性较差。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于微服务集群的数据处理方法，其特征在于，包括以下步骤：步骤1，数据抽取：利用kettle工具将格式化及非格式化数据进行统一处理，使数据达到数据库层面的统一；步骤2，数据规则制定：定制业务元数据，分析业务具体的单元模块信息，定义业务单元以及其相关的字段信息；步骤3，数据治理：...

【专利技术属性】
技术研发人员：刘沛珑，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：