数据分类存储方法、装置及相关产品制造方法及图纸

本申请实施例提供一种数据分类存储方法、装置及相关产品，数据分类存储方法包括：根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；根据所述目标数据的类别，确定所述目标数据的存储方式；根据确定出的存储方式，对所述目标数据进行存储处理。本申请实施例提供了可以对海量数据进行分类存储的方案。行分类存储的方案。行分类存储的方案。

【技术实现步骤摘要】
数据分类存储方法、装置及相关产品


[0001]本申请涉及互联网
，尤其是涉及一种数据分类存储方法、装置及相关产品及存储介质。

技术介绍

[0002]随着互联网各类网络应用的不断深入，互联网数据量增长迅速，并且需要处理的互联网的数据结构以及数据类型也越来越多样。海量并且多样的互联网数据的存储亟待成为解决的技术问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种数据分类存储方法、装置及相关产品，用以克服上述缺陷。
[0004]1.一种数据分类存储方法，其特征在于，包括：
[0005]根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；
[0006]根据所述目标数据的类别，确定所述目标数据的存储方式；
[0007]根据确定出的存储方式，对所述目标数据进行存储处理。
[0008]2.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，包括：根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。
[0009]3.根据权利要求1所述的数据分类存储方法，其特征在于，所述数据分类机制包括重要程度以及大小；所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别包括：根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。
[0010]4.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类，包括：获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。
[0011]5.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于须备份的数据，则所述目标数据的存储方式为分布式存储；否则，则所述目标数据的存储方式为磁盘存储。
[0012]6.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据
属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为非关系型存储方式；否则，所述目标数据的存储方式为关系型存储方式。
[0013]7.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为HDFS存储方式；否则，则所述目标数据的存储方式为Hbase存储方式，所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中，Hbase存储方式使得所述目标数据存储在Hadoop数据库。
[0014]8.根据权利要求1
‑
7任一项所述的数据分类存储方法，其特征在于，所述根据确定出的存储方式，对所述目标数据进行存储处理包括：为同一类型的所述目标数据分配相同的存储位置，而不同类型的所述目标数据分配不同的存储位置。
[0015]9.根据权利要求8所述的数据分类存储方法，其特征在于，所述数据分类存储方法还包括：通过元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。
[0016]10.一种数据分类存储装置，其特征在于，包括：
[0017]数据分类单元，用于根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；
[0018]存储方式确定单元，用于根据所述目标数据的类别，确定所述目标数据的存储方式；
[0019]存储处理单元，用于根据确定出的存储方式，对所述目标数据进行存储处理。
[0020]11.根据权利要求10所述的数据分类存储装置，其特征在于，所述数据分类单元进一步用于根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。
[0021]12.根据权利要求10所述的数据分类存储装置，其特征在于，所述数据分类机制包括重要程度以及大小；所述数据分类单元进一步用于根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。
[0022]13.根据权利要求10所述的数据分类存储装置，其特征在于，所述数据分类单元进一步用于获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。
[0023]14.根据权利要求10所述的数据分类存储装置，其特征在于，所述存储方式确定单元进一步用于在所述目标数据的类别表征出所述目标数据属于须备份的数据时，所述目标数据的存储方式为分布式存储；否则，所述目标数据的存储方式为磁盘存储。
[0024]15.根据权利要求10所述的数据分类存储装置，其特征在于，所述存储方式确定单元进一步用于当所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为非关系型存储方式；否则，所述目标数据的存储方式为关系型存储方式。
[0025]16.根据权利要求10所述的数据分类存储装置，其特征在于，所述所述存储方式确定单元进一步用于当所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为HDFS存储方式；否则，则所述目标数据的存储
方式为Hbase存储方式，所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中，Hbase存储方式使得所述目标数据存储在Hadoop数据库。
[0026]17.根据权利要求10
‑
16任一项所述的数据分类存储装置，其特征在于，所述存储处理单元进一步用于为同一类型的所述目标数据分配相同的存储位置，而不同类型的所述目标数据分配不同的存储位置。
[0027]18.根据权利要求17所述的数据分类存储装置，其特征在于，所述数据分类存储装置还包括元数据中间件，所述元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。
[0028]19.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器上存储有计算机软件程序，所述处理器用于运行所述计算机软件程序以执行权利要求1
‑
10任一项所述的数据分类存储方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分类存储方法，其特征在于，包括：根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；根据所述目标数据的类别，确定所述目标数据的存储方式；根据确定出的存储方式，对所述目标数据进行存储处理。2.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，包括：根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。3.根据权利要求1所述的数据分类存储方法，其特征在于，所述数据分类机制包括重要程度以及大小；所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别包括：根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。4.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类，包括：获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。5.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于须备份的数据，则所述目标数据的存储方式为分布式存储；否则，则所述目标数据的存储方式为磁...

【专利技术属性】
技术研发人员：刘鹏，王建健，杨凯华，王巍，李宪英，向世勇，易凯，
申请(专利权)人：航天信息系统工程北京有限公司，
类型：发明
国别省市：