一种应用容器存储引擎平台制造技术

本发明专利技术公开了一种应用容器存储引擎平台，包括分配模块，用于为所述应用容器分配存储卷；获取模块，用于获取所述应用容器运行时产生的待存储数据；第一控制模块，用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中。有益效果：对应用容器进行私有存储，对应用容器产生的数据进行分布式存储，极大的增加了后期管理的效率，保证用户查询数据时的快速性及准确性。保证用户查询数据时的快速性及准确性。保证用户查询数据时的快速性及准确性。

【技术实现步骤摘要】
一种应用容器存储引擎平台


[0001]本专利技术涉及存储
，特别涉及一种应用容器存储引擎平台。

技术介绍

[0002]应用容器技术已经引起了业内的广泛关注，有充分的证据表明，应用容器技术能够大大提升工作效率。但在应用容器运行过程中，会产生大量的运行数据，以往对应用容器的运行数据进行存储时，都是将运行数据存储到一起，不仅会增加后续查找的时间，且不方便对数据进行管理。

技术实现思路

[0003]本专利技术旨在至少一定程度上解决上述技术中的技术问题之一。为此，本专利技术的目的在于提出了一种应用容器存储引擎平台，对应用容器进行私有存储，对应用容器产生的数据进行分布式存储，极大的增加了后期管理的效率，保证用户查询数据时的快速性及准确性。
[0004]为达到上述目的，本专利技术提出了一种应用容器存储引擎平台，包括：
[0005]分配模块，用于为所述应用容器分配存储卷；
[0006]获取模块，用于获取所述应用容器运行时产生的待存储数据；
[0007]第一控制模块，用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中。
[0008]进一步地，所述获取模块，还用于获取所述应用容器中的镜像文件；
[0009]所述第一控制模块，还用于将所述镜像文件保存至与当前存储卷相邻的上一个存储卷中。
[0010]进一步地，所述镜像文件包括所述应用容器的内核及所述应用容器中安装的软件。
[0011]进一步地，所述分配模块包括：
[0012]标识获取模块，用于获取所述应用容器的标识；
[0013]第二控制模块，用于根据所述标识为所述应用容器分配相应的存储卷。
[0014]进一步地，所述存储卷中包括若干个存储节点。
[0015]进一步地，所述第一控制模块包括：
[0016]数据处理模块，用于：
[0017]根据所述待存储数据生成第一数据矩阵；
[0018]计算所述第一数据矩阵中每列的均值，得到若干个列均值，根据所述若干个列均值生成所述待存储数据的列均值矩阵；
[0019]根据所述第一数据矩阵计算得到所述待存储数据的协方差矩阵；
[0020]对所述协方差矩阵进行分解，得到所述协方差矩阵的对角阵；
[0021]对所述对角阵中的包括的数值按照从大到小的顺序进行排序，筛选出排序后的前
预设个数的数值，作为第一特征值，并生成特征值矩阵；
[0022]根据所述列均值矩阵及所述特征值矩阵对所述待存储数据进行降维处理，得到所述待存储数据的低维矩阵；
[0023]根据所述特征值矩阵及所述低维矩阵生成第二数据矩阵，根据所述第二数据矩阵得到处理后的待存储数据；
[0024]数据分割模块，用于对处理后的待存储数据进行数据分割处理，得到若干个第一子待存储数据；
[0025]模型建立模块，用于：
[0026]构建类型信息获取模型；
[0027]获取样本子待存储数据及样本子待存储数据相对应的类型；
[0028]基于样本子待存储数据及样本子待存储数据相对应的类型对构建的类型信息获取模型进行训练；
[0029]在对类型信息获取模型训练的过程中，计算训练误差，在确定所述训练误差小于预设训练误差时，得到所述类型信息获取模型的目标模型参数；
[0030]将所述目标模型参数作为所述类型信息获取模型的模型参数，得到训练好的类型信息获取模型；
[0031]数据存储模块，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，根据所述类型分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中。
[0032]进一步地，还包括：
[0033]检测模块，用于：
[0034]在所述数据存储模块对所述第一子待存储数据存储前，获取所述第一子待存储数据的数据量；
[0035]计算所述第一子待存储数据相对应的存储节点的剩余存储容量；
[0036]扩容模块，用于在所述第一子待存储数据的数据量大于所述子待存储数据相对应的存储节点的剩余存储容量时，对所述存储节点的存储空间进行扩容。
[0037]进一步地，所述第一控制模块，还包括：
[0038]数据清洗模块，用于：
[0039]在所述数据处理模块对所述待存储数据进行数据处理前，对所述待存储数据进行数据分割处理，得到若干个第二子待存储数据；
[0040]分别将每个所述第二子待存储数据输入预先训练好的第一特征向量获取模型中，输出每个所述第二子待存储数据的第一特征向量；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的分别对应的第二特征值，每个空间维度对应一个第二特征值；
[0041]分别将每个第二子待存储数据的第二特征值与所述第二特征值对应的空间维度上的预设特征值进行比较，筛选出所述第二特征值大于预设特征值的空间维度，作为目标空间维度，将所述目标空间维度上的第二特征值作为第二子待存储数据的第二特征向量；
[0042]对所述第二特征向量进行降维处理，得到每个第二子待存储数据的哈希值；
[0043]将所述哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述
匹配度大于等于预设匹配度的哈希值对应的第二子待存储数据，并作为冗余数据；
[0044]将所述冗余数据从待存储数据中进行剔除处理；
[0045]基于第一数据清洗策略对冗余数据剔除处理后的待存储数据进行数据清洗；
[0046]在基于所述第一数据清洗策略进行数据清洗时，获取所述待存储数据的当前清洗进度，根据所述当前清洗进度计算得到所述第一数据清洗策略的清洗速率；
[0047]判断所述清洗速率是否小于预设清洗速率，在确定所述清洗速率小于预设清洗速率时，计算所述清洗速率与预设清洗速率的差值，根据所述差值对所述第一清洗策略进行调整，得到第二清洗策略；
[0048]获取所述待存储数据中已清洗数据及未清洗数据；
[0049]根据所述第二清洗策略对所述未清洗数据进行清洗。
[0050]进一步地，所述第一控制模块，还包括：
[0051]数据加密模块，用于在所述数据存储模块对所述第一子待存储数据存储前，对所述第一子待存储数据进行加密。
[0052]进一步地，所述数据加密模块，包括：
[0053]加密指令获取模块，用于根据所述第一子待存储数据的类型查询预设数据类型
‑
加密指令表，得到相对应的加密指令；
[0054]第三控制模块，用于根据所述加密指令对所述第一子待存储数据进行加密处理。
[0055]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
[0056]附图用来提供对本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用容器存储引擎平台，其特征在于，包括：分配模块，用于为所述应用容器分配存储卷；获取模块，用于获取所述应用容器运行时产生的待存储数据；第一控制模块，用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中。2.根据权利要求1所述的应用容器存储引擎平台，其特征在于，所述获取模块，还用于获取所述应用容器中的镜像文件；所述第一控制模块，还用于将所述镜像文件保存至与当前存储卷相邻的上一个存储卷中。3.根据权利要求2所述的应用容器存储引擎平台，其特征在于，所述镜像文件包括所述应用容器的内核及所述应用容器中安装的软件。4.根据权利要求1所述的应用容器存储引擎平台，其特征在于，所述分配模块包括：标识获取模块，用于获取所述应用容器的标识；第二控制模块，用于根据所述标识为所述应用容器分配相应的存储卷。5.根据权利要求1所述的应用容器存储引擎平台，其特征在于，所述存储卷中包括若干个存储节点。6.根据权利要求1所述的应用容器存储引擎平台，其特征在于，所述第一控制模块包括：数据处理模块，用于：根据所述待存储数据生成第一数据矩阵；计算所述第一数据矩阵中每列的均值，得到若干个列均值，根据所述若干个列均值生成所述待存储数据的列均值矩阵；根据所述第一数据矩阵计算得到所述待存储数据的协方差矩阵；对所述协方差矩阵进行分解，得到所述协方差矩阵的对角阵；对所述对角阵中的包括的数值按照从大到小的顺序进行排序，筛选出排序后的前预设个数的数值，作为第一特征值，并生成特征值矩阵；根据所述列均值矩阵及所述特征值矩阵对所述待存储数据进行降维处理，得到所述待存储数据的低维矩阵；根据所述特征值矩阵及所述低维矩阵生成第二数据矩阵，根据所述第二数据矩阵得到处理后的待存储数据；数据分割模块，用于对处理后的待存储数据进行数据分割处理，得到若干个第一子待存储数据；模型建立模块，用于：构建类型信息获取模型；获取样本子待存储数据及样本子待存储数据相对应的类型；基于样本子待存储数据及样本子待存储数据相对应的类型对构建的类型信息获取模型进行训练；在对类型信息获取模型训练的过程中，计算训练误差，在确定所述训练误差小于预设训练误差时，得到所述类型信息获取模型的目标模型参数；
将所述目标模型参数作为所述类型信息获取模型的模型参数，得到训练好的类型信息获取模型；数据存储模块，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，根据所述类型分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中。7.根据权利要求6所述的应用容器存储引擎...

【专利技术属性】
技术研发人员：刘坤，
申请(专利权)人：北京银盾泰安网络科技有限公司，
类型：发明
国别省市：