一种管理数据访问的方法及装置制造方法及图纸

本发明专利技术公开了一种管理数据访问的方法及装置，应用于异构融合架构，包括：当请求到来时，获取请求队列中有效请求的总个数；判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总个数的步骤。本发明专利技术的技术方案降低了由于请求总量的差异而带来的对大数据处理的影响，从而提升了对大数据处理请求的效率，从而节约了系统开销。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种管理数据访问的方法及装置，应用于异构融合架构，包括：当请求到来时，获取请求队列中有效请求的总个数；判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总个数的步骤。本专利技术的技术方案降低了由于请求总量的差异而带来的对大数据处理的影响，从而提升了对大数据处理请求的效率，从而节约了系统开销。【专利说明】一种管理数据访问的方法及装置
本专利技术涉及大数据调度管理技术，尤指一种管理数据访问的方法及装置。
技术介绍
随着计算机技术的飞速发展，数据量也随之增大，大数据处理的速度问题愈发突出，为了保证其时效性，目前，业界提出采用即时处理的方法来对大数据进行处理，即当大数据处理请求来时就对该请求进行处理。 但是，当请求集中在某一个时刻一起到来时，现有对大数据的即时处理的方法会带来一些问题，比如:由于需要处理的请求的总数量很大而导致服务器处理效率低下，以及当大数据处理请求量较少时，服务器也要对这些少量的大数据处理请求进行处理，这就会导致服务器一直在低功耗运转，浪费了系统开销。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种管理数据访问的方法及装置，能够降低由于请求总量的差异而带来的对大数据处理的影响，从而提升对大数据处理请求的效率，节约系统开销。 为了达到本专利技术目的，本专利技术提供了一种管理数据访问的方法，应用于异构融合架构,包括:当请求到来时,获取请求队列中有效请求的总个数； 判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值； 当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行获取请求队列中有效请求的总个数的步骤。 进一步地，该方法之前还包括:预先设置请求队列； 当请求到来时，获取请求队列中有效请求的总个数之前还包括:将请求按照时间顺序添加到请求队列中。 以及， 预先设置请求名称为:数据名称一属性一标签； 其中，标签的初始值设置为0，请求每被处理完一次，对请求的标签进行递增处理； 属性包括:读数据请求或写数据请求。 进一步地，在采用轮询的方法对请求队列中所有请求进行处理之后，该方法还包括:设置完成队列； 当请求队列中的请求被处理完成后，按照时间顺序将请求从请求队列转移至完成队列中。 进一步地，采用轮询的方法对请求队列中所有请求进行处理，包括: 获取请求队列中各个请求的标签,对获得的各个请求的标签按照由大到小的顺序进行排序； 按照各个请求的标签的由大到小的顺序对各个请求进行处理。 进一步地，按照各个请求的标签由大到小的顺序对各个请求进行处理，包括: 按照各个请求的标签的由大到小的顺序，依次获取各个请求的属性； 当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读操作返回至操作系统并记录该请求完成； 请求被处理完成后，对请求的标签进行递增处理。 进一步地,在获取请求队列中有效请求的总个数之前,该方法还包括: 获取请求队列中请求的总个数； 确定请求队列中有效请求的总个数包括: 根据请求队列中不同时间所对应的请求，判断相邻的两个请求是否是同一个请求，若是同一个请求，则将这两个请求合并为一个请求； 请求队列中有效请求的总个数等于请求队列中请求的总个数减去合并请求的个数。 进一步地，按照以下方式判断相邻的两个请求是否是同一个请求: 如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相邻的两个请求是同一个请求。 本专利技术还提供了一种管理数据访问的装置，应用于异构融合架构，包括:请求队列管理模块、判断模块和轮询协调模块；其中， 请求队列管理模块，用于当请求到来时，获取请求队列中有效请求的总个数； 判断模块，用于判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值； 轮询协调模块，用于当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理； 请求队列管理模块，还用于当获得的有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来。 进一步地，该装置还包括设置模块，用于:预先设置请求队列； 当请求到来时，将请求按照不同的时间顺序添加到请求队列中。 以及， 预先设置请求名称为:数据名称一属性一标签； 其中，标签的初始值设置为0，请求每被处理完一次，对请求的标签进行递增处理； 属性包括:读数据请求或写数据请求。 进一步地，轮询协调模块具体用于: 获取请求队列中各个请求的标签，对获得的各个请求的标签按照由大到小的顺序进行排序； 按照各个请求的标签的由大到小的顺序对各个请求进行处理。 进一步地，轮询协调模块按照各个请求的标签的由大到小的顺序对各个请求进行处理，包括: 按照各个请求的标签的由大到小的顺序，依次获取各个请求的属性； 该装置还包括请求访问读写模块，用于: 当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读操作返回至操作系统并记录该请求完成。 进一步地，轮询协调模块还用于:在采用轮询的方法对请求队列中所有请求进行处理之后，设置完成队列； 当请求队列中的请求被处理完成后,按照时间顺序将请求从请求队列转移至完成队列中； 对请求的标签进行递增处理。 进一步地，请求队列管理模块还用于: 获取请求队列中请求的总个数； 确定请求队列中有效请求的总个数包括: 根据请求队列中不同时间所对应的请求，判断相邻的两个请求是否是同一个请求，若是同一个请求，则将这两个请求合并为一个请求； 请求队列中有效请求的总个数等于请求队列中请求的总个数减去合并请求的个数。 进一步地，请求队列管理模块按照以下方式判断相邻的两个请求是否是同一个请求: 如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相邻的两个请求是同一个请求。 本专利技术技术方案包括:应用于异构融合架构，包括:当请求到来时，获取请求队列中有效请求的总个数；判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总个数的步骤。本专利技术的技术方案降低了由于请求总量的差异而带来的对大数据处理的影响，从而提升了对大数据处理请求的效率，从而节约了系统开销。 【专利附图】【附图说明】 此处所说明的附图用来提供对本专利技术的进一步理解，构本文档来自技高网...

【技术保护点】
一种管理数据访问的方法，应用于异构融合架构，其特征在于，包括：当请求到来时，获取请求队列中有效请求的总个数；判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总个数的步骤。

【技术特征摘要】

【专利技术属性】
技术研发人员：丛戎，何志平，邢伟，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11