【技术实现步骤摘要】
一种用于确定大数据存储系统的运行状态的方法及系统
本专利技术涉及大数据存储领域和云存储领域，并且更具体地，涉及一种用于确定大数据存储系统的运行状态的方法及系统。
技术介绍
目前，随着各种类型的信息设备的使用变得越来越频繁，数据量正以几何级数的方式进行爆炸式增加。为了从海量的数据中获取有用信息，必须对海量的数据进行有效存储。大数据存储系统能够满足对对海量数据进行有效存储的需求。然而，在目前的大数据存储系统中，由于低频数据项(被访问次数较少的数据项)的数量会随着时间变得越来越多，通常会导致大数据存储系统的数据访问效率降低。为此，现有技术中存在对于确定大数据存储系统的运行状态的需求。
技术实现思路
根据本专利技术的一个方面，提供一种用于确定大数据存储系统的运行状态的方法，所述方法包括：响应于接收到用于确定大数据存储系统的运行状态的请求，将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备，以由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系...
【技术保护点】
1.一种用于确定大数据存储系统的运行状态的方法，所述方法包括：响应于接收到用于确定大数据存储系统的运行状态的请求，将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备，以由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项进行内容匹配以确定每个临时数据项的内容匹配度，从多个临时数据项中选择内容匹配度大于匹配阈值的至少一个选定的临时数据项，将所选择的至少一个选定的临时数据项发送给所述新的数据访问请求所...
【技术特征摘要】
1.一种用于确定大数据存储系统的运行状态的方法，所述方法包括：响应于接收到用于确定大数据存储系统的运行状态的请求，将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备，以由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项进行内容匹配以确定每个临时数据项的内容匹配度，从多个临时数据项中选择内容匹配度大于匹配阈值的至少一个选定的临时数据项，将所选择的至少一个选定的临时数据项发送给所述新的数据访问请求所指示的数据请求方，并且在所述系统缓冲设备的缓冲区内保存所述新的数据访问请求；在确定所述大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，获取所述大数据存储系统内多个存储设备中每个存储设备的运行日志文件，并且基于当前的统计时间区间和每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；其中所述访问信息统计文件包括数据项统计表，所述数据项统计表包括多个数据项记录，其中每个数据项记录的内容为6元组<数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、存储起始时间>；对每个存储设备的访问信息统计文件进行解析，将当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值的数据项确定为低频数据项，确定每个存储设备所包括的低频数据项的低频项数量，将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定所述大数据存储系统中低频存储设备的数量，基于每个存储设备的访问信息统计文件确定所述大数据存储系统中数据项的总数量和大数据存储系统中低频数据项的总数量；根据每个低频存储设备的访问信息统计文件确定每个低频存储设备在当前的统计时间区间内各自的被访问次数的总数量和根据每个非低频存储设备的访问信息统计文件确定每个非低频存储设备在当前的统计时间区间内各自的被访问次数的总数量；根据大数据存储系统的系统记录设备中的设备描述信息确定大数据存储系统中所有存储设备的总数量；根据大数据存储系统的访问记录设备中的访问描述信息确定当前的统计时间区间内大数据存储系统的被访问次数的总数量和相邻的前一个统计时间区间内大数据存储系统的被访问次数的总数量；根据大数据存储系统中所有存储设备的总数量和大数据存储系统中低频存储设备的数量确定大数据存储系统中非低频存储设备的数量；根据每个低频存储设备在当前的统计时间区间内各自的被访问次数的总数量和当前的统计时间区间的时间长度确定每个低频存储设备在当前的统计时间区间内的每小时平均被访问次数、根据每个非低频存储设备在当前的统计时间区间内各自的被访问次数的总数量和当前的统计时间区间的时间长度确定每个非低频存储设备在当前的统计时间区间内的每小时平均被访问次数，以及根据当前的统计时间区间内大数据存储系统的被访问次数的总数量和当前的统计时间区间的时间长度确定大数据存储系统在当前的统计时间区间内的每分钟平均被访问次数；计算大数据存储系统的访问频率参数：其中，BSF为大数据存储系统的访问频率参数、LDN为大数据存储系统中低频存储设备的数量、NLDN为大数据存储系统中非低频存储设备的数量、Dtotal为大数据存储系统中所有存储设备的总数量、LTNtotal为大数据存储系统中低频数据项的总数量、TNtotal为大数据存储系统中所有数据项的总数量、Acurrent为当前的统计时间区间内大数据存储系统的被访问次数的总数量、Apre为相邻的前一个统计时间区间内大数据存储系统的被访问次数的总数量、LDHi为第i个低频存储设备在当前的统计时间区间内的每小时平均被访问次数、NLDHj为第j个非低频存储设备在当前的统计时间区间内的每小时平均被访问次数、BAM为大数据存储系统在当前的统计时间区间内的每分钟平均被访问次数；其中i为自然数，LDN≥i≥1并且LDN≥100，j为自然数NLDN≥j≥1并且NLDN≥100；当大数据存储系统的访问频率参数BSF大于系统低频阈值时，确定所述大数据存储系统的运行状态为低频运行状态。2.根据权利要求1所述的方法，其中，当位于大数据存储系统外部的数据管理设备需要确定大数据存储系统的运行状态时，所述数据管理设备向所述大数据存储系统发送用于确定大数据存储系统的运行状态的请求；其中将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备包括：以所述大数据存储系统接收到用于确定大数据存储系统的运行状态的请求的时刻开始，将所述大数据存储系统随后从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备；其中所述新的数据访问请求包括查询条件和查询条件的描述信息，所述临时数据项集合中包括多个临时数据项，并且每个临时数据项具有摘要信息，所述摘要信息用于概括地介绍临时数据项的内容；其中由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项进行内容匹配以确定每个临时数据项的内容匹配度包括：由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项的摘要信息进行基于语义内容比对的内容匹配、基于关键字比对的内容匹配或基于语义内容和关键字相结合的内容匹配以确定每个临时数据项与所述查询条件的内容匹配度；其中所述匹配度阈值为60％，并且内容匹配度的范围为[0％,100％]；其中在所述系统缓冲设备的缓冲区内保存所述新的数据访问请求之后还包括：向所述新的数据访问请求所指示的数据请求方发送用于表明所述大数据存储系统暂停数据访问和所述新的数据访问请求已经被保存到所述系统缓冲设备的缓冲区中的响应消息，并且所述响应消息中携带用于表明来自数据请求方的新的数据访问请求在所述缓冲区中的当前排队顺序的信息，其中在所述缓冲区中按照新的数据访问请求的被保存的时间长度来确定新的数据访问请求在所述缓冲区中的当前排队顺序，并且在当前排队顺序中按照被保存的时间长度的降序顺序对新的数据访问请求进行排序。3.根据权利要求1-2中任意一项所述的方法，其中在每个存储设备的系统数据区域中保存运行日志文件；其中当前的统计时间区间为大数据存储系统接收到用于确定大数据存储系统的运行状态的请求时所处的当前日期的前一日开始并且向前预定数量的自然日的一段时间；其中预定数量的自然日为10个自然日、20个自然日或30个自然日；所述相邻的前一个统计时间区间所包括的自然日的数量与当前的统计时间区间所包括的自然日的数量相同，并且所述相邻的前一个统计时间区间是与所述当前的统计时间区间在时间上相邻并且时间上早于所述当前的统计时间区间的相邻的统计时间区间；其中基于当前的统计时间区间和每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息包括：基于当前的统计时间区间对每个存储设备的运行日志文件中的所有日志记录进行选取以获得每个存储设备在当前的统计时间区间内的多个日志记录；按照数据项对每个存储设备在当前的统计时间区间内的多个日志记录进行分类，以获得每个数据项的经过统计的访问信息；由每个数据项的经过统计的访问信息构成每个存储设备中存储的多个数据项的经过统计的访问信息；其中每个日志记录包括：数据项的标识符、访问起始时间、访问结束时间、存储尺寸和存储起始时间；其中每个数据项具有摘要信息，所述摘要信息用于概括地介绍数据项的内容。4.根据权利要求1-3中任意一项所述的方法，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件包括：对每个存储设备中存储的多个数据项中每个数据项的经过统计的访问信息进行统计以确定每个数据项的被访问次数；将每个数据项的经过统计的访问信息中第一次被访问的访问起始时间确定为统计起始时间，将每个数据项的经过统计的访问信息中最后一次被访问的访问结束时间确定为统计结束时间；基于每个数据项的经过统计的访问信息确定每个数据项的存储尺寸；根据每个存储设备的存储信息区域中的存储信息文件来确定每个数据项在存储设备中的存储起始时间。5.根据权利要求1-4中任意一项所述的方法，所述低频次数阈值为100、120、150或200；所述系统记录设备中的设备描述信息包括：大数据存储系统所包括的所有存储设备的总数量、每个存储设备的总存储容量、每个存储设备的网络地址和/或每个存储设备加入所述大数据存储系统的时间；所述访问记录设备中的访问描述信息包括:大数据存储系统在当前日期之前的每个自然日内的被访问次数；每个存储设备的存储信息区域中的存储信息文件包括：数据项的总数量、每个数据项的存储尺寸、每个数据项的起始存储时间、每个数据项的标识符、每个数据项的摘要信息以及每个存储设备的空闲存储容量；所述低频设备阈值为100、120、150、200、300、400或500；所述系统低频阈值为30％、35％、40％或45％。。6.一种用于确定大数据存储系统的运行状态的系统，所述系统包括：预处理单元，响应于接收到...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。