存储资源分配方法、装置和系统制造方法及图纸

一种存储资源分配方法，该方法基于输入数据的输入数据特征和第一组存储设备的存储设备特征为输入数据分配第一组存储设备中的存储设备，并将输入数据存储到所分配的存储设备中。该方法还基于应用的应用特征和第二组存储设备的存储设备特征为应用分配第二组存储设备中的存储设备，并将应用所需的数据传输到第二组存储设备中的所分配的存储设备。通过将存储资源的分配划分为数据收集和数据使用两个阶段，能够分别根据两个阶段的不同需求，采取不同的存储策略，以实现降低存储成本、提高数据访问效率等效果。

【技术实现步骤摘要】

本专利技术涉及数据存储技术，特别是涉及在大数据场景下，针对多数据源和多应用场景，分阶段进行存储资源分配的方法、装置和系统。
技术介绍
随着互联网的飞速发展,特别是近年来社交网络、物联网、云计算等领域，越来越多的传感器和数据收集装置得到应用，数据呈爆炸性增长，数据的应用越来越广泛，数据的重要性愈发凸显，人们对数据存储的成本、存取效率等也有更高的要求。在大数据系统中，对于存储系统的要求应该是高可用、低成本、高性能、低开销(CPU、网络资源等)。在专利文献1中，公开了一种基于统计预测的私有云存储资源调配方法。该方法将存储设备按块存储方式与对象存储方式来划分为两个资源池，通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。文件迁移策略通过定义存储文件的使用价值来实现，依照使用价值量的高低，将文件进行排队，在队列高位的文件存放在块存储资源池，在队列低位的文件存放在对象存储资源池。在专利文献2中，公开了一种面向多业务应用的云存储数据分布方法。该方法根据不同应用的I/O特点，制定不同的数据分布策略，将对性能要求高的业务数据分布到配置高的存储节点，而将对性能要求低的业务数据分布到配置低的存储节点。现有技术文献专利文献专利文献1：CN103442070A专利文献2：CN102857560
技术实现思路
专利技术要解决的问题专利文献1和2公开的方法，都是以提高业务层(即应用)数据的存取效率为目标，文献1的方法以数据已经存储在系统中为前提，然后根据数据价值(使用价值)再重新为不同数据调配不同资源。一方面没有涉及数据收集或者存储到系统时的解决方案，另一方面，也没有充分考虑同一数据在不同应用场景下有不同价值的情况，有可能造成数据在不同资源池之间频繁调度，也可能影响应用效率。文献2的方法以多业务应用为场景，虽然考虑了不同应用的IO特征，但是数据和应用绑定，对于共享数据的应用无疑会造成数据重复存储，尤其是在数据量巨大的情况下，造成存储成本提高。在当前大数据时代，数据本身就是价值所在，并不必须依赖于任何应用，所以需要脱离应用需求而为数据本身提供合适的存储资源分配方法，同时将应用和数据解耦，提高应用之间源数据共享，且又满足不同应用的效率要求。解决问题的手段鉴于以上问题，本专利技术的目的在于提供一种存储资源分配方法，所述存储资源分配方法在如下系统中实施，所述系统包括用于存储来自数据源的输入数据的第一组存储设备和用于分配给应用的第二组存储设备，所述第一组存储设备包括具有不同的物理性能的至少第一存储设备和第二存储设备，所述第二组存储设备包括具有不同的物理性能的至少第三存储设备和第四存储设备，所述方法包括以下步骤：获取所述输入数据的输入数据特征，并且基于所述输入数据特征来生成输入数据特征表；获取所述第一组存储设备的存储设备特征，并且基于所述第一组存储设备的存储设备特征来生成第一存储设备特征表；基于所生成的输入数据特征表和第一存储设备特征表来为所述输入数据分配所述第一组存储设备中的存储设备；将所述输入数据存储到所述第一组存储设备中的所分配的存储设备中；获取所述应用的应用特征，并且基于所述应用特征来生成应用特征表；获取所述第二组存储设备的存储设备特征，并且基于所述第二组存储设备的存储设备特征来生成第二存储设备特征表；基于所生成的应用特征表和第二存储设备特征表来为所述应用分配所述第二组存储设备中的存储设备；将所述应用所需要的数据从所述第一组存储设备传输到所述第二组存储设备中的为该应用所分配的存储设备。专利技术效果本专利技术将以数据为基础的应用系统的数据存储过程分为数据收集和数据使用两个阶段。在数据收集阶段，基于来自数据源的输入数据特征和来自第一组存储设备(例如，主机外存储)的存储设备特征为输入数据分配存储设备，并将输入数据存储到所分配的存储设备。在数据使用阶段，基于来自应用服务器中的应用的应用特征和来自第二组存储设备(例如，应用服务器中的主机内存储)的存储设备特征为应用分配存储设备，并将应用要使用的数据从第一组存储设备传输到第二组存储设备中的所分配的存储设备。第一阶段基于输入数据的输入数据特征考虑存储设备的分配而不涉及应用的应用特征，可以在满足存储需求和可用性的前提下尽可能地降低存储成本，第二阶段基于应用的应用特征(即，数据使用需求特征)考虑存储设备的分配而不涉及要使用的数据的输入数据特征，可以为应用程序提供高效、可靠的数据源。将数据存储分阶段处理，可以有效地提高数据源的共享度，而单独为应用分配异构的存储设备可以降低应用之间的数据耦合度,提高其运行效率和安全性。附图说明以下结合附图对本专利技术的非限制性实施例进行详细描述，本专利技术的以上目的、特征和优点以及其他目的、特征和优点将变得更加清楚，其中：图1是可以实现根据本专利技术的示例性实施例的存储资源分配方法的系统的构成图；图2是根据本专利技术的示例性实施例的存储资源分配方法的流程图；图3是图1的可以实现根据本专利技术的示例性实施例的存储资源分配方法的系统的一个简化示例的图示；图4是在图3所示的示例中所生成的输入数据特征表的一个示例的图示；图5是在图3所示的示例中所生成的应用特征表的一个示例的图示；图6是在图3所示的示例中所生成的第一存储设备特征表的一个示例的图示；图7是在图3所示的示例中所生成的第二存储设备特征表的一个示例的图示；图8是在图3所示的示例中进行第一阶段的存储资源分配的一个示例的流程图的图示；图9是与图8的示例对应的第一存储信息表的一个示例的图示；图10是在图3所示的示例中进行第一阶段的存储资源分配的另一个示例的流程图的图示；图11是与图10的示例对应的第一存储信息表的一个示例的图示；图12是在图3所示的示例中进行第二阶段的存储资源分配的一个示例的流程图的图示；图13是与图12的示例对应的第二存储信息表的一个示例的图示。具体实施方式现在将参考附图对本专利技术的实施例进行详细描述，在附图中，相同的附图标记代表相同的元素。图1是可以实现根据本专利技术的示例性实施例的存储资源分配方法的系统100的构成图。在图1中，该系统100可以从外部的数据源接收数据。这些数据可以来源于网络或者其他系统的输出，也可以来源于其他硬件设备，例如摄像头、各种传感器等。这些数据可以具有不同的输入数据特征。输入数据特征可以是，例如但不限于数据源的数量、数据的产生频率、数据单次的产生数量、数据的总量、数据持久存储要求、数据准确性要求以及数据的时效性等。如在本文中所使用的，词语“数据”意在指代在一个采集过程中将要收集或已经收集到的数据的集合。例如，图1中的“数据1”可以指代从一个数据源将要传输到该系统的历史文件，而“数据2”可以指代针对同一个采集过程由多个传感器(即，多个数据源)收集的数据的集合。如图1所示，该系统100包括存储控制部101、第一组存储设备102、第二组存储设备103和应用服务器104(在本文中也可以称为“主机”)。第一组存储设备102和第二组存储设备103可以对应于上面所提到的存储资源。存储控制部101分别耦合到第一组存储设备102、第二组存储设备103和应用服务器104，它是该系统中的数据存储控制的核心模块。关于存储控制部101的操作将在下面结合图2进一步说明。第一组存储设备102是如下存储本文档来自技高网...

【技术保护点】
一种存储资源分配方法，其特征在于，所述存储资源分配方法在如下系统中实施，所述系统包括用于存储来自数据源的输入数据的第一组存储设备和用于分配给应用的第二组存储设备，所述第一组存储设备包括具有不同的物理性能的至少第一存储设备和第二存储设备，所述第二组存储设备包括具有不同的物理性能的至少第三存储设备和第四存储设备，所述方法包括以下步骤：获取所述输入数据的输入数据特征，并且基于所述输入数据特征来生成输入数据特征表；获取所述第一组存储设备的存储设备特征，并且基于所述第一组存储设备的存储设备特征来生成第一存储设备特征表；基于所生成的输入数据特征表和第一存储设备特征表来为所述输入数据分配所述第一组存储设备中的存储设备；将所述输入数据存储到所述第一组存储设备中的所分配的存储设备中；获取所述应用的应用特征，并且基于所述应用特征来生成应用特征表；获取所述第二组存储设备的存储设备特征，并且基于所述第二组存储设备的存储设备特征来生成第二存储设备特征表；基于所生成的应用特征表和第二存储设备特征表来为所述应用分配所述第二组存储设备中的存储设备；以及将所述应用所需要的数据从所述第一组存储设备传输到所述第二组存储设备中的为该应用所分配的存储设备。...

【技术特征摘要】
1.一种存储资源分配方法，其特征在于，所述存储资源分配方法在如下系统中实施，所述系统包括用于存储来自数据源的输入数据的第一组存储设备和用于分配给应用的第二组存储设备，所述第一组存储设备包括具有不同的物理性能的至少第一存储设备和第二存储设备，所述第二组存储设备包括具有不同的物理性能的至少第三存储设备和第四存储设备，所述方法包括以下步骤：获取所述输入数据的输入数据特征，并且基于所述输入数据特征来生成输入数据特征表；获取所述第一组存储设备的存储设备特征，并且基于所述第一组存储设备的存储设备特征来生成第一存储设备特征表；基于所生成的输入数据特征表和第一存储设备特征表来为所述输入数据分配所述第一组存储设备中的存储设备；将所述输入数据存储到所述第一组存储设备中的所分配的存储设备中；获取所述应用的应用特征，并且基于所述应用特征来生成应用特征表；获取所述第二组存储设备的存储设备特征，并且基于所述第二组存储设备的存储设备特征来生成第二存储设备特征表；基于所生成的应用特征表和第二存储设备特征表来为所述应用分配所述第二组存储设备中的存储设备；以及将所述应用所需要的数据从所述第一组存储设备传输到所述第二组存储设备中的为该应用所分配的存储设备。2.根据权利要求1所述的存储资源分配方法，其特征在于：所述输入数据特征包括数据源数量、数据的输入频率、一次输入数据量和数据准确性要求，所述第一组存储设备的存储设备特征包括数据传输率和误码率，其中所述第一存储设备的数据传输率大于所述第二存储设备的数据传输
\t率，并且所述第一存储设备的误码率小于所述第二存储设备的误码率；其中基于所生成的输入数据特征表和第一存储设备特征表来为所述输入数据分配所述第一组存储设备中的存储设备的步骤包括下述处理：基于所述输入数据的数据源数量、数据的输入频率、一次输入数据量计算输入数据所需的数据传输率；如果输入数据所需的数据传输率小于或等于所述第二存储设备的数据传输率且所述第二存储设备的误码率满足所述输入数据的数据准确性要求，则为所述输入数据分配所述第一组存储设备中的第二存储设备；如果输入数据所需的数据传输率大于所述第二存储设备的数据传输率或所述第二存储设备的误码率不满足所述输入数据的数据准确性要求，则为所述输入数据分配所述第一组存储设备中的第一存储设备。3.根据权利要求1所述的存储资源分配方法，其特征在于：所述应用特征包括时效性，所述第二组存储设备的存储设备特征包括平均存取时间，其中所述第三存储设备的平均存取时间大于所述第四存储设备的平均存取时间，其中基于所生成的应用特征表和第二存储设备特征表来为所述应用分配所述第二组存储设备中的存储设备的步骤包括下述处理：基于所述时效性来确定所述应用是否为实时性应用；如果所述应用被确定为实时性应用，则为所述应用分配所述第二组存储设备中的第四存储设备；如果所述应用被确定为非实时性应用，则为所述应用分配所述第二组存储设备中的第三存储设备。4.根据权利要求1所述的存储资源分配方法，其特征在于：所述第二组存储设备中的每一个存储设备的物理性能优于所述第一组存储设备中的每一个存储设备的物理性能。5.根据权利要求1-4中任一项所述的存储资源分配方法，其特征在于：所述系统还包括运行应用的应用服务器，所述第一存储设备是所述应用服务器外的本地存储，所述第二存储设备是所述应用服务器外的网络存储，所述第三存储设备是所述应用服务器内的硬盘，并且所述第四存储设备是所述应用服务器内的内存。6.根据权利要求1所述的存储资源分配方法，其特征在于：还包括以下步骤中的至少一个：生成包含关于所述输入数据在所述第一组存储设备中的存储的信息的第一存储信息表；以及生成包含关于为所述应用分配的所述第二组存储设备中的存储的信息的第二存储信息表。7.根据权利要求1所述的存储资源分配方法，其特征在于：实时更新所述第一存储设备特征表和所述第二存储设备特征表中的至少一个。8.一种存储资源分配装置，其特征在于，所述存储资源分配装置在如下系统中使用，所述系统包括用于存储来自数据源的输入数据的第一组存储设备和用于分配给应用的第二组存储设备，所述第一组存储设备包括具有不同的物理性能的至少第一存储设备和第二存储设备，所述第二组存储设备包括具有不同的物理性能的至少第三存储设备和第四存储设备，所述装置包括：用于获取所述输入数据的输入数据特征，并且基于所述输入数据特征来生成输入数据特征表的模块；用于获取所述第一组存储设备的存储设备特征，并且基于所述第一组存储设备的存储设备特征来生成第一存储设备特征表的模块；用于基于所生成的输入数...

【专利技术属性】
技术研发人员：田亚伟，石颖，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP