一种多源异构数据的治理方法及系统技术方案

本发明专利技术公开一种多源异构数据的治理方法及系统，方法包括：确认数据来源、数据结构与数据类型；对数据进行对应存储引擎处理；对所存储数据进行计算与优化处理；对处理后的数据生成标准SQL接口。本发明专利技术通过多源异构数据的治理系统将不同来源的不同结构数据进行存储、计算与优化处理，生成标准SQL接口，消除数据孤岛，实现数据共享，快速的响应业务和应用开发的需求，提升开发运维效率。提升开发运维效率。提升开发运维效率。

【技术实现步骤摘要】
一种多源异构数据的治理方法及系统


[0001]本专利技术涉及数据库
，具体涉及一种多源异构数据的治理方法及系统。

技术介绍

[0002]随着互联网行业的飞速发展，业务、应用数据量不断暴涨。为了解决大数据带来的性能挑战，键值数据库、文档数据库、宽列数据库、时序数据库等专业数据库相继出现，使得业务成为可能。
[0003]但，在数据应用过程中，无法实现数据的统一共享，每一个数据库就相当于一个数据孤岛，应用需要去各个数据库抓取数据到内存，再进行各个数据的处理。

技术实现思路

[0004]为了解决
技术介绍
中提出的问题，本专利技术提供一种多源异构数据的治理方法及系统，通过封装数据引擎，消除数据孤岛，以实现数据共享。
[0005]本专利技术的技术方案是这样实现的：
[0006]一种多源异构数据的治理方法，包括：
[0007]步骤S1、确认数据来源、数据结构与数据类型；
[0008]步骤S2、对数据进行对应存储引擎处理；
[0009]步骤S3、对所存储数据进行计算与优化处理；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构数据的治理方法，其特征在于，包括：步骤S1、确认数据来源、数据结构与数据类型；步骤S2、对数据进行对应存储引擎处理；步骤S3、对所存储数据进行计算与优化处理；步骤S4、对处理后的数据生成标准SQL接口。2.根据权利要求1所述一种多源异构数据的治理方法，其特征在于，所述步骤S1中，根据源表信息确认所述数据来源与所述数据结构，根据源表字段判断所述数据类型。3.根据权利要求1所述一种多源异构数据的治理方法，其特征在于，所述步骤S3中，具体包括:S301、根据数据类型，对数据进行关联、聚集、合并与计算；S302、根据不同数据结构与数据类型，选择RLE算法、哈夫曼算法、Delta2、XOR编码、Snappy算法或Rice算法对数据进行高效压缩；S30...

【专利技术属性】
技术研发人员：张志强，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：