一种基于海量数据的数据分配方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于海量数据的数据分配方法、装置及系统，该方法包括：确定系统中各在线存储设备的设备性能优先级及各待存储数据的数据优先级；针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中，所述优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。通过该方案，能够自动根据各数据及各存储设备的优先级，将各数据存储到与其优先级相匹配的存储设备中，解决了现有技术中无法根据数据的重要性及存储设备的当前存储情况对数据进行自动划分和存储、导致设备利用率较低及存储效果并不佳的问题。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种基于海量数据的数据分配方法、装置及系统，该方法包括：确定系统中各在线存储设备的设备性能优先级及各待存储数据的数据优先级；针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中，所述优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。通过该方案，能够自动根据各数据及各存储设备的优先级，将各数据存储到与其优先级相匹配的存储设备中，解决了现有技术中无法根据数据的重要性及存储设备的当前存储情况对数据进行自动划分和存储、导致设备利用率较低及存储效果并不佳的问题。【专利说明】一种基于海量数据的数据分配方法、装置及系统
本专利技术涉及数据处理
，尤其涉及一种基于海量数据的数据分配方法、装置及系统。
技术介绍
目前，业界在进行海量数据的存储时，常采用根据数据业务情况事先规划存储的方式，即为分属于不同业务的数据事先分配不同的存储设备，数据生成后直接按照事先分配的存储设备进行存储。具体地，在采用上述方式进行海量数据的存储时，一般需要单独部署数据主控服务器来进行(所述数据主控服务器中预先存储了事先规划的数据存储规则)，当系统中的数据增加到一定规模，导致系统中某一个或多个存储设备中存储了大量的数据从而导致相应的存储设备性能降低、无法满足数据存储需求时，需要由系统规划人员根据当前业务数据及存储设备的实际情况以人工方式对各存储设备的参数、性能、容量等进行调整或者由系统规划人员根据自身经验以及系统当前实际情况，重新为该系统制定相应的数据存储规则。也就是说，在采用上述方式进行海量数据的存储时，只能够按照事先规划的数据存储规则对各数据进行存储，无法根据数据的重要性以及存储设备的当前存储情况对各数据进行自动划分和存储，无法进行存储设备的动态调整，从而导致存储设备的设备利用率较低、存储效果并不佳。
技术实现思路
本专利技术实施例提供了一种基于海量数据的数据分配方法、装置及系统，用以解决现有技术中存在的无法根据数据的重要性以及存储设备的当前存储情况对数据进行自动划分和存储，导致存储设备的设备利用率较低、存储效果并不佳的问题。一种基于海量数据的数据分配方法，所述方法包括:确定系统中各在线存储设备的设备性能优先级以及各待存储数据的数据优先级；针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中；其中，所述预先设定的优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。一种基于海量数据的数据分配装置，所述装置包括:设备管理模块，用于确定系统中各在线存储设备的设备性能优先级；数据管理模块，用于确定系统中各待存储数据的数据优先级；数据分配模块，用于针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中，其中，所述预先设定的优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。一种基于海量数据的数据分配系统，所述系统包括至少一个数据分配装置以及至少一个存储设备:所述数据分配装置，用于确定系统中各在线存储设备的设备性能优先级以及各待存储数据的数据优先级，并针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中，其中，所述预先设定的优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。本专利技术有益效果如下:本专利技术实施例提供了一种基于海量数据的数据分配方法、装置及系统，所述方法包括:确定系统中各在线存储设备的设备性能优先级以及各待存储数据的数据优先级，针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中，其中，所述预先设定的优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。通过本专利技术所述技术方案，能够自动根据各数据的数据优先级以及各存储设备的设备性能优先级，将各数据存储到具备与其优先级相匹配的优先级的存储设备中，从而解决了现有技术中存在的无法根据数据的重要性以及存储设备的当前存储情况对数据进行自动划分和存储、导致存储设备的设备利用率较低以及存储效果并不佳的问题。【专利附图】【附图说明】图1所示为本专利技术实施例一中所述基于海量数据的数据分配方法的流程示意图；图2所示为本专利技术实施例二中所述基于海量数据的数据分配装置的结构示意图；图3所示为本专利技术实施例三中所述基于海量数据的数据分配系统的结构示意图。【具体实施方式】本专利技术实施例提供了一种基于海量数据的数据分配方法、装置及系统，所述方法包括:确定系统中各在线存储设备的设备性能优先级以及各待存储数据的数据优先级，针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中，其中，所述预先设定的优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。通过本专利技术所述技术方案，能够自动根据各待存储数据的数据优先级以及各在线存储设备的设备性能优先级，将各待存储数据存储到具备与其优先级相匹配的设备性能优先级的在线存储设备中，从而解决了现有技术中存在的无法根据数据的重要性以及存储设备的当前存储情况对数据进行自动划分和存储、导致存储设备的设备利用率较低以及存储效果并不佳的问题。下面结合说明书附图对本专利技术实施例作进一步说明，但本专利技术不局限于下面的实施例。实施例一:如图1所示，其为本专利技术实施例一中所述基于海量数据的数据分配方法的流程示意图，所述方法包括以下步骤:步骤101:确定系统中各在线存储设备的设备性能优先级。具体地，本专利技术实施例一中各步骤的执行主体可以为具有数据分配能力的服务器等数据分配装置，本专利技术实施例对此不作任何限定；另外，本专利技术实施例中所述存储设备可以包括文件服务器存储设备、数据库服务器存储设备或者内存数据库存储设备等，本专利技术实施例对此也不作任何限定。具体地，所述数据分配装置可以对系统中的各存储设备进行集群管理，确定系统中的各在线存储设备，并确定系统中各在线存储设备的设备性能优先级。具体地，所述数据分配装置可以通过配置存储设备群集配置数据库的方式来对系统中的各存储设备进行集群管理，例如:当有新的存储设备接入群集时，注册该新接入存储设备的配置信息，并将该新接入存储设备的配置信息添加到存储设备群集配置数据库中；当存储设备离线时，注销该离线存储设备的配置信息，并从存储设备群集配置数据库中删除该离线存储设备的配置信息；同时，所述数据分配装置还可以将所述存储设备群集配置数据库的信息实时发送给系统中的各在线存储设备，即系统中的各在线存储设备均可以从数据分配装置中获取最新的存储设备群集配置数据库副本，以便与所述数据分配装置中配置的存储设备群集配置数据库保持一致本文档来自技高网...

【技术保护点】
一种基于海量数据的数据分配方法，其特征在于，所述方法包括：确定系统中各在线存储设备的设备性能优先级以及各待存储数据的数据优先级；针对任一待存储数据，按照预先设定的优先级匹配原则，确定具备与该待存储数据的数据优先级相匹配的设备性能优先级的在线存储设备，并将该待存储数据存储到所确定的在线存储设备中；其中，所述预先设定的优先级匹配原则为数据优先级越高，与其相匹配的设备性能优先级也越高。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋桂祥，杜怀忠，李明，崔洪涛，邵杰，何廷强，李远，白琳，魏兵，朱建浩，
申请(专利权)人：中国移动通信集团河南有限公司，
类型：发明
国别省市：河南;41