数据处理系统以及数据处理方法技术方案

本发明专利技术公开了一种数据分配装置，包括：数据分级单元，用于根据设置的数据分级规则对数据处理系统的多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据，其中，所述多个存储节点至少包括第一级存储节点和第二级存储节点；数据迁移单元，用于在多个存储节点中的一个不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及，在多个存储节点中的一个不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。本发明专利技术还公开了一种数据处理方法和系统。采用本发明专利技术，可以提高从海量数据中访问数据的效率。

【技术实现步骤摘要】

本专利技术涉及计算机数据处理
，更具体地，涉及一种大规模数据环境下的数据处理系统、数据处理方法以及数据分配装置。
技术介绍
现有存储系统采用的典型的分级存储策略为将经常被访问的数据存储在内存中，并采用不同的缓存置换的算法更新存储在内存中的数据，因为内存空间的限制，不经常被访问的则存储在磁盘上。这样便于数据查询和分析过程中快速定位，因而可以减少维护和处理的开销。此外，现有很多分布式存储系统，按照一定的分布策略将海量数据分布式存储在多个存储节点上。然而随着数据量的增加，节点数目不变，内存将成为更大的瓶颈，数据定位开销也越来越大。在这样的系统上进行数据查询和分析，势必使得性能随着数据量的增加而降低。目前的解决方案便是增加存储节点，进行扩展。扩展之后可以增加内存量，从而可以在一定程度下提高数据随机定位的命中率。但是扩展节点必须要考虑扩展同时不能产生过多的数据迁移以及不降低数据处理的效率。
技术实现思路
为解决现有技术存在的问题，本专利技术针对海量数据处理提供了一种能够提高数据访问效率的数据分配装置、数据处理系统和处理方法。根据本专利技术的一方面，提供了一种数据分配装置，包括数据分级单元，用于根据设置的数据分级规则对数据处理系统的多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据，其中，所述多个存储节点至少包括第一级存储节点和第二级存储节点；数据迁移单元，用于在所述多个存储节点中的一个存储节点不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及，在所述多个存储节点中的一个存储节点不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。在可选实施例中，所述数据分级单元，还用于将接收到的要加载数据根据所述数据分级规则进行分级，得到所述要加载数据的级别。所述数据分配装置还包括数据加载单元，还用于根据所述级别将所述要加载数据加载到相应级别的存储节点中。在可选实施例中，所述数据迁移单元，还用于根据预先设定的时间将存储在所述第一级存储节点中的所述第一级数据和/或存储在所述第二级存储节点中的所述第二级数据备份到所述多个存储节点中的备份存储节点。在可选实施例中，所述数据加载单元，还用于在根据所述级别将所述要加载数据加载到相应级别的存储节点中的同时，将所述要加载数据存储到所述备份存储节点。在可选实施例中，所述数据分级规则包括数据的访问频率和/或数据的重要性。在可选实施例中，所述数据迁移单元和所述数据加载单元可以合并为一个单元。根据本专利技术的另一个方面，还提供了一种数据处理系统，包括多个存储节点，所述多个存储节点至少包括第一级存储节点和第二级存储节点；以及，数据分配装置，用于执行以下功能根据设置的数据分级规则对所述多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据；在所述多个存储节点中的一个存储节点不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及，在所述多个存储节点中的一个存储节点不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。在可选实施例中，所述数据处理系统还包括数据加载装置，用于将接收到的要加载数据根据所述数据分级规则进行分级，得到所述要加载数据的级别；以及，根据所述级别将所述要加载数据加载到相应级别的存储节点中。在可选实施例中，所述数据分配装置，还用于根据预先设定的时间将存储在所述第一级存储节点中的所述第一级数据和/或存储在所述第二级存储节点中的所述第二级数据备份到所述多个存储节点中的备份存储节点。在可选实施例中，所述数据加载装置，还用于在根据所述级别将所述要加载数据加载到相应级别的存储节点中的同时，将所述要加载数据存储到所述备份存储节点。在可选实施例中，所述第一级存储节点是在线存储节点，以及所述第二级存储节点是离线存储节点。在可选实施例中，所述述数据分级规则包括数据的访问频率和/或数据的重要性。在可选实施例中，所述数据加载装置和所述数据分配装置可以合并为一个装置。在可选实施例中，所述数据处理系统还包括数据查询装置，用于确定要查询数据的数据级别，根据所确定的数据级别从相应级别的存储节点中通过查询条件查询到数据。根据本专利技术的又一方面，还提供了一种数据处理方法，包括根据设置的数据分级规则对数据处理系统的多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据，其中所述多个存储节点至少包括第一级存储节点和第二级存储节点；在所述多个存储节点中的一个存储节点不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及在所述多个存储节点中的一个存储节点不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。在可选实施例中，所述数据处理方法还包括将接收到的要加载数据根据所述数据分级规则进行分级，得到所述要加载数据的级别；以及，根据所述级别将所述要加载数据加载到相应级别的存储节点中。在可选实施例中，所述数据分级规则包括数据的访问频率和/或数据的重要性；或者，在可选实施例中，所述数据处理方法还包括根据预先设定的时间将存储所述第一级存储节点中的第一级数据和/或存储在所述第二级存储节点中的第二级数据备份到所述多个存储节点中的备份存储节点。在可选实施例中，所述数据处理方法还包括在根据所述级别将所述要加载数据加载到相应级别的存储节点中的同时，将所述要加载数据存储到所述备份存储节点。本专利技术实施例通过对大规模数据进行分级然后采用分级存储将不同级别的数据在不同级别的存储节点中，可以提高对海量数据的处理效率，尤其是提高从海量数据中访问数据的效率和速度。附图说明图1是根据本专利技术一实施例的数据处理系统的结构示意图。图2是根据本专利技术另一实施例的数据处理系统的结构示意图。图3是根据本专利技术一实施例的用于数据处理系统的数据分配装置的一实施例的结构示意图。图4是根据本专利技术一实施例的数据处理方法的流程示意图。具体实施例方式下面结合附图对本专利技术进行进一步地详细说明。图1是根据本专利技术一实施例的数据处理系统的结构示意图。如图1所示，所述数据处理系统包括多个存储节点。其中该多个存储节点可以被分为多个级别，例如至少包括第一级存储节点20A和第二级存储节点20B。每一级存储节点可以包括一个或者多个存储节点。数据处理系统还包括数据分配装置40，用于根据数据分级规则对各存储节点中存储的数据进行分级，从而得到不同级别的数据。可以将数据分为第一级数据、第二级数据、第三级数据等。对于各存储节点已存储的数据，如果一存储节点中存储的数据被分级后包括第一级数据和第二级数据，然而该存储节点被划分为第一级存储节点，则数据分配装置40将从该存储节点中将第二级数据迁移到第二级存储节点。相类似地，如果不为第一级存储节点的存储节点上具有第一级数据、不为第三级存储节点的存储节点上具有第三级数据，数据分配装置还会将该第一级数据、第三级数据从所在的存储节点分别迁移第一级存储节点、第三级存储节点。在可选实施例中，数据分配装置40还用于将新接收到的要加载数据根据所述数据分级规则进行分级本文档来自技高网...

【技术保护点】
一种数据分配装置，包括：数据分级单元，用于根据设置的数据分级规则对数据处理系统的多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据，其中，所述多个存储节点至少包括第一级存储节点和第二级存储节点；数据迁移单元，用于在所述多个存储节点中的一个存储节点不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及，在所述多个存储节点中的一个存储节点不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。

【技术特征摘要】
1.一种数据分配装置，包括 数据分级单元，用于根据设置的数据分级规则对数据处理系统的多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据，其中，所述多个存储节点至少包括第一级存储节点和第二级存储节点； 数据迁移单元，用于在所述多个存储节点中的一个存储节点不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及， 在所述多个存储节点中的一个存储节点不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。2.根据权利要求1的数据分配装置，其特征在于，所述数据分级单元，还用于将接收到的要加载数据根据所述数据分级规则进行分级，得到所述要加载数据的级别；以及， 数据加载单元，还用于根据所述级别将所述要加载数据加载到相应级别的存储节点中。3.根据权利要求1所述的数据分配装置，其特征在于，所述数据迁移单元，还用于根据预先设定的时间将存储在所述第一级存储节点中的所述第一级数据和/或存储在所述第二级存储节点中的所述第二级数据备份到所述多个存储节点中的备份存储节点；和/或， 所述数据加载单元，还用于在根据所述级别将所述要加载数据加载到相应级别的存储 节点中的同时，将所述要加载数据存储到所述备份存储节点。4.根据权利要求1至3任一项所述的数据分配装置，其特征在于，所述数据分级规则包括数据的访问频率和/或数据的重要性；或者， 所述数据迁移单元和所述数据加载单元合并为一个单元。5.一种数据处理系统，包括 多个存储节点，所述多个存储节点至少包括第一级存储节点和第二级存储节点；以及， 数据分配装置，用于执行以下功能 根据设置的数据分级规则对所述多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据； 在所述多个存储节点中的一个存储节点不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及， 在所述多个存储节点中的一个存储节点不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。6.根据权利要求5所述的数据处理系统，其特征在于，所述数据处理系统还包括数据加载装置，用于将接收到的要加载数据根据所述数据分级规则进行分级，得到所述要加载数据的...

【专利技术属性】
技术研发人员：王颖，宋怀明，狄静舒，苗艳超，刘新春，邵宗有，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：