基于容器分离的数据治理方法及系统技术方案

本发明专利技术公开了一种基于容器分离的数据治理方法及系统，该方法包括：获取数据治理数据；根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的容器类型；根据所述容器类型，从预设的多个候选数据容器中确定出目标数据容器；将所述数据治理数据储存至所述目标数据容器中

【技术实现步骤摘要】
基于容器分离的数据治理方法及系统


[0001]本专利技术涉及数据治理
，尤其涉及一种基于容器分离的数据治理方法及系统
。

技术介绍

[0002]随着大数据技术的发展，如何有效对大数据进行数据治理以得到大数据分析或计算的效果，成为了重要的技术问题
。
其中，数据治理技术中，如何提高数据治理的效果以及减少数据治理出错，也受到较多关注
。
[0003]但现有技术在实现数据治理时，没有考虑到利用数据的治理记录和数据信息来区分数据类型，并进一步利用不同数据容器进行储存，因此现有技术的数据治理过程中难免出现数据储存出错或数据出现不必要的交互，其数据治理的效果不佳
。
可见，现有技术存在缺陷，亟需解决
。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种基于容器分离的数据治理方法及系统，能够在数据治理的过程中将不同类型的数据储存至不同的数据容器中以保证数据之间的相互隔离，提高数据治理的效果，减少数据治理的出错
。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种基于容器分离的数据治理方法，所述方法包括：获取数据治理数据；根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的容器类型；根据所述容器类型，从预设的多个候选数据容器中确定出目标数据容器；将所述数据治理数据储存至所述目标数据容器中
。
[0006]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的容器类型，包括：根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的数据治理层类型；根据所述数据治理层类型，确定所述数据治理数据对应的容器类型
。
[0007]作为一种可选的实施方式，在本专利技术第一方面中，所述数据信息包括数据类型
、
数据大小
、
数据标识中的至少一种；和
/
或，所述数据治理层类型包括
ODS
层类型
、DW
层类型和
DM
层类型中的一种或多种
。
[0008]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述容器类型，从预设的多个候选数据容器中确定出目标数据容器，包括：根据所述容器类型，以及预设的类型和容器的对应关系，从预设的多个候选数据容器中确定出所述容器类型对应的目标数据容器；每一所述候选数据容器或所述目标数据
容器为一个通过切根技术建立的具有独立的资源
、
文件
、
设备
、
状态和配置的数据空间
。
[0009]作为一种可选的实施方式，在本专利技术第一方面中，所述获取数据治理数据，包括：基于名字空间技术
、
控制组技术和切根技术，建立多个所述数据治理层对应的多个候选数据容器；建立包括有多个阶段的由
SEDA
架构的数据治理架构，并将每一所述阶段与每一所述数据治理层和所述候选数据容器进行关联；获取由所述数据治理架构中的任一阶段的线程所处理得到的数据治理数据
。
[0010]作为一种可选的实施方式，在本专利技术第一方面中，所述治理记录包括所述数据治理数据在历史时间段中储存和接触过的所有处理设备信息
、
处理算法规则和数据储存空间；所述根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的数据治理层类型，包括：将所述数据治理数据对应的治理记录，输入至第一类型预测神经网络中，以得到所述数据治理数据对应的第一预测数据治理层类型和对应的预测概率；所述第一类型预测神经网络通过包括有多个训练治理记录和对应的数据治理层标注的训练数据集训练得到；将所述数据治理数据对应的数据信息，输入至第二类型预测神经网络中，以得到所述数据治理数据对应的第二预测数据治理层类型和对应的预测概率；所述第二类型预测神经网络通过包括有多个训练数据信息和对应的数据治理层标注的训练数据集训练得到；将所述第一预测数据治理层类型和所述第二预测数据治理层类型中对应的预测概率更高的，确定为所述数据治理数据对应的数据治理层类型
。
[0011]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述容器类型，以及预设的类型和容器的对应关系，从预设的多个候选数据容器中确定出所述容器类型对应的目标数据容器，包括：根据所述容器类型，以及预设的类型和容器的对应关系，确定出所述容器类型对应的多个候选数据容器；从预设的历史数据治理数据库中的多个历史治理数据中确定出数据信息和所述数据治理数据的数据信息之间的相似度大于第一相似度阈值的所有历史治理数据，确定为多个目标历史治理数据；获取每一所述候选数据容器对应的第一容器参数；获取每一所述目标历史治理数据对应的所有储存过的数据容器的第二容器参数；所述第一容器参数或所述第二容器参数包括容器资源参数
、
容器历史文件参数
、
容器设备参数
、
容器状态参数和容器配置参数；计算每一所述候选数据容器的第一容器参数和所有所述目标历史治理数据的第二容器参数之间的相似度的平均值，得到每一所述候选数据容器对应的容器相似度；将所述容器相似度最高的所述候选数据容器确定为所述容器类型对应的目标数据容器
。
[0012]本专利技术第二方面公开了一种基于容器分离的数据治理系统，所述系统包括：获取模块，用于获取数据治理数据；第一确定模块，用于根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的容器类型；
第二确定模块，用于根据所述容器类型，从预设的多个候选数据容器中确定出目标数据容器；储存模块，用于将所述数据治理数据储存至所述目标数据容器中
。
[0013]作为一种可选的实施方式，在本专利技术第二方面中，所述第一确定模块根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的容器类型的具体方式，包括：根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的数据治理层类型；根据所述数据治理层类型，确定所述数据治理数据对应的容器类型
。
[0014]作为一种可选的实施方式，在本专利技术第二方面中，所述数据信息包括数据类型
、
数据大小
、
数据标识中的至少一种；和
/
或，所述数据治理层类型包括
ODS
层类型
、DW
层类型和
DM
层类型中的一种或多种
。
[0015]作为一种可选的实施方式，在本专利技术第二方面中，所述第二确定模块根据所述容器类型，从预设的多个候选数据容器中确定出目标数据容器的具体方式，包括：根据所述容器类型，以及预设的类型和容器的对应关系，从预设的多个候选数据容器中确定出所述容器类型对应的目标数据容器；每一所述候选数据容器或所述目标数据容器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于容器分离的数据治理方法，其特征在于，所述方法包括：获取数据治理数据；根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的容器类型；根据所述容器类型，从预设的多个候选数据容器中确定出目标数据容器；将所述数据治理数据储存至所述目标数据容器中
。2.
根据权利要求1所述的基于容器分离的数据治理方法，其特征在于，所述根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的容器类型，包括：根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的数据治理层类型；根据所述数据治理层类型，确定所述数据治理数据对应的容器类型
。3.
根据权利要求2所述的基于容器分离的数据治理方法，其特征在于，所述数据信息包括数据类型
、
数据大小
、
数据标识中的至少一种；和
/
或，所述数据治理层类型包括
ODS
层类型
、DW
层类型和
DM
层类型中的一种或多种
。4.
根据权利要求3所述的基于容器分离的数据治理方法，其特征在于，所述根据所述容器类型，从预设的多个候选数据容器中确定出目标数据容器，包括：根据所述容器类型，以及预设的类型和容器的对应关系，从预设的多个候选数据容器中确定出所述容器类型对应的目标数据容器；每一所述候选数据容器或所述目标数据容器为一个通过切根技术建立的具有独立的资源
、
文件
、
设备
、
状态和配置的数据空间
。5.
根据权利要求4所述的基于容器分离的数据治理方法，其特征在于，所述获取数据治理数据，包括：基于名字空间技术
、
控制组技术和切根技术，建立多个所述数据治理层对应的多个候选数据容器；建立包括有多个阶段的由
SEDA
架构的数据治理架构，并将每一所述阶段与每一所述数据治理层和所述候选数据容器进行关联；获取由所述数据治理架构中的任一阶段的线程所处理得到的数据治理数据
。6.
根据权利要求2所述的基于容器分离的数据治理方法，其特征在于，所述治理记录包括所述数据治理数据在历史时间段中储存和接触过的所有处理设备信息
、
处理算法规则和数据储存空间；所述根据所述数据治理数据对应的治理记录和数据信息，确定所述数据治理数据对应的数据治理层类型，包括：将所述数据治理数据对应的治理记录，输入至第一类型预测神经网络中，以得到所述数据治理数据...

【专利技术属性】
技术研发人员：钟奇，李超，郭富，李亚超，吴双笛，
申请(专利权)人：广州中长康达信息技术有限公司，
类型：发明
国别省市：