一种数据访问的方法、装置及系统制造方法及图纸

本申请公开了一种数据访问的方法、装置及系统，属于通信领域。所述方法由管理服务器执行，所述管理服务器与多个处理节点连接，所述多个处理节点连接至存储服务器，所述方法包括：接收文件访问请求，所述文件访问请求中携带待访问文件的标识；根据所述待访问文件的标识确定所述待访问文件是否缓存在所述多个处理节点的缓存中，所述管理服务器中存储有所述多个处理节点中的缓存中缓存的文件的标识；当所述待访问文件没有缓存在所述多个处理节点的缓存中，则指示所述多个处理节点中的至少一个处理节点从所述存储服务器中获取所述待访问文件。本申请能够减小数据读取的路径，提高数据访问的性能。数据访问的性能。数据访问的性能。

【技术实现步骤摘要】
一种数据访问的方法、装置及系统


[0001]本申请涉及计算机领域，特别涉及一种数据访问的方法、装置及系统。

技术介绍

[0002]随着大数据时代的到来，企业数据规模不断扩张，如何对海量数据进行快速访问是企业面临的核心问题。
[0003]目前，为了提高数据的访存效率，企业一般都采用分布式系统，该分布式系统包括协调服务器、多个处理节点、及存储数据的存储服务器。在接收到客户端发送的访问请求时，协调服务器将所述访问请求分解为多个任务，分别下发至各个处理节点，由各个处理节点分别访问存储服务器中的数据，各处理节点读取的数据返回至协调服务器，协调服务器将各处理节点返回的数据整合后，再返回给客户端。
[0004]每个处理节点在接收到协调服务器发送的任务后，首先判断所接收的任务中要访问的数据是不是在该处理节点的缓存中，如果在缓存中，则直接从缓存中读取该数据，如果不在缓存中，就需要从存储服务器中读取要访问的数据至缓存，然后再从缓存中读取数据。可见，对于每个处理节点来说，如果所访问的数据在缓存中没有命中，则需要将存储服务器中的数据也读取到处理节点缓存，再将缓存中的数据读取至协调服务器，从而增加了数据读取的路径，从而影响数据访问的性能。

技术实现思路

[0005]本申请提供了一种数据访问的方法、装置及系统，以减小数据读取的路径，提高数据访问的性能。所述技术方案如下：
[0006]第一方面，本申请提供了一种数据访问的方法，该方法由管理服务器执行，管理服务器与多个处理节点连接，该多个处理节点连接至存储服务器，管理服务器中存储有该多个处理节点的缓存中缓存的文件的标识。在该方法中，接收文件访问请求，该文件访问请求中携带待访问文件的标识；根据待访问文件的标识确定待访问文件是否缓存在该多个处理节点的缓存中；当待访问文件没有缓存在该多个处理节点的缓存中，则指示该多个处理节点中的至少一个处理节点从存储服务器中获取待访问文件。由于当待访问文件没有缓存在该多个处理节点的缓存中，指示该至少一个处理节点从存储服务器中获取待访问文件。这样对于该至少一个处理节点根据管理服务器的指示直接从存储服务器中读取待访问文件，读取到待访问文件后直接向管理服务器返回待访问文件，在向管理服务器返回待访问文件之前不会将待访问文件缓存到该至少一个处理节点的缓存中。如此待访问文件不需要经过该至少一个处理节点的缓存，从而减小了待访问文件的传输路径，实现减小数据读取的路径，提高数据访问的性能。
[0007]在一种可能的实现方式中，从存储服务器中获取待访问文件所包括的至少一个子文件的标识及每个子文件所在的存储服务器的标识；针对待访问文件所包括的每个子文件生成一个读取任务，每个读取任务中包括一个子文件的标识，及该子文件所在的存储服务
器的标识；将每个读取任务分别发送至一个处理节点，指示接收到读取任务的处理节点从存储该子文件的存储服务器中读取该子文件；接收接收到读取任务的处理节点读取的子文件；将该子文件合并为待访问文件。由于生成的读取任务中包括子文件所在的存储服务器的标识，这样接收到读取任务的处理节点可以直接根据该读取任务中的存储服务器的标识从该存储服务器中读取该子文件，以及在读取到该子文件后直接向管理服务器发送该子文件。这样该子文件不会被先缓存到该处理节点的缓存中，再由该处理节点从自身的缓存中读取该子文件并发送给管理服务器，从而减小了该子文件的传输路径，提高读取该子文件的性能。
[0008]在另一种可能的实现方式中，当待访问文件的访问频率超过预设频率时，发送缓存任务至该多个处理节点的至少一个处理节点，以指示该至少一个处理节点将待访问文件所包括的子文件缓存至该至少一个处理节点；记录待访问文件的标识所包括的子文件标识及缓存每个子文件的处理节点的标识。当待访问文件缓存在该多个处理节点的缓存中时，生成至少一个读取任务，每个读取任务包括子文件的标识及该子文件所在的处理节点的标识；发送该至少一个读取任务至该多个处理节点，指示该多个处理节点从存储有该子文件的处理节点的缓存中读取该子文件；将所读取的子文件合成待访问文件。
[0009]在待访问文件的访问频率超过预设频率时，表明待访问文件是常被访问的文件，由于各处理节点中的缓存空间有限，将常被访问的待访问文件保存到该至少一个处理节点的缓存中，这样不仅提高处理节点的缓存利用率，还提高了待访问文件的命中率。当待访问文件缓存在该多个处理节点的缓存中时，生成的读取任务包括子文件所在的处理节点的标识，这样接收该缓存任务的处理节点不需要再确定该子文件所在的处理节点，直接根据该子文件所在的处理节点的标识从该子文件所在的处理节点中读取该子文件，提高了读取该子文件的效率。
[0010]在另一种可能的实现方式中，当待访问文件的访问频率低于预设频率时，向待访问文件包括的子文件所在的处理节点发送删除任务，该删除任务包括该子文件的标识，以指示该处理节点删除该子文件；删除管理服务器中记录的该子文件的标识及该处理节点的标识。这样可以将访问频率较低的待访问文件从该多个处理节点的缓存中删除，可以节省出较多的缓存空间用于保存访问频率较高的文件，这样不仅提高该多个处理节点的缓存利用率，还提高了文件的命中率。
[0011]第二方面，本申请提供了一种数据访问的方法，该方法由处理节点执行，该处理节点是与管理服务器连接的多个处理节点中的一个，该多个处理节点连接到存储服务器。在该方法中，接收读取任务，该读取任务是管理服务器在确定待访问文件没有缓存在该多个处理节点的缓存中时发送的任务，该读取任务包括待访问文件中的一个子文件的标识和该子文件所在的存储服务器的标识；根据该子文件的标识从该存储服务器的标识对应的存储服务器中读取该子文件；向管理服务器发送读取的子文件。由于接收的读取任务中包括子文件的标识和该子文件所在存储服务器的标识，这样处理节点可以根据该存储服务器的标识直接从该存储服务器中读取该子文件，然后直接返回给管理服务器，且处理节点在向管理服务器返回该子文件之前，不会将该子文件缓存到处理节点的缓存。所以返回给管理服务器的子文件不会经过处理节点的缓存，减小了该子文件的传输路径，实现减小数据读取的路径，提高数据访问的性能。
[0012]在一种可能的实现方式中，接收缓存任务，该缓存任务是管理服务器在待访问文件的访问频率超过预设频率时发送的任务，该缓存任务包括待访问文件的一个子文件的标识和该子文件所在的存储服务器的标识；根据该子文件的标识从该存储服务器的标识对应的存储服务器中读取该子文件；将该子文件存储在该处理节点的缓存中。在待访问文件的访问频率超过预设频率时，表明待访问文件是常被访问的文件，由于处理节点中的缓存空间有限，将常被访问的待访问文件的子文件保存到该处理节点的缓存中，这样不仅提高该处理节点的缓存利用率，还提高了待访问文件的命中率。
[0013]第三方面，本申请提供了一种数据访问的方法，该方法由处理节点执行，该处理节点是与管理服务器连接的多个处理节点中的一个，该多个处理节点连接到存储服务器。在该方法中，接收读取任务，该读取任务是管理服务器在确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据访问的方法，其特征在于，所述方法由管理服务器执行，所述管理服务器与多个处理节点连接，所述多个处理节点连接至存储服务器，所述方法包括：接收文件访问请求，所述文件访问请求中携带待访问文件的标识；根据所述待访问文件的标识确定所述待访问文件是否缓存在所述多个处理节点中的至少一个处理节点的缓存中，所述管理服务器中存储有被缓存的文件的标识；当所述待访问文件没有缓存在所述多个处理节点的至少一个处理节点的缓存中，则指示所述多个处理节点中的至少一个处理节点从所述存储服务器中获取所述待访问文件。2.如权利要求1所述的方法，其特征在于，所述方法还包括：从所述存储服务器中获取所述待访问文件所包括的至少一个子文件的标识及所述每个子文件所在的存储服务器的标识；所述指示所述多个节点中的至少一个处理节点从所述存储服务器中获取所述待访问文件包括：针对所述待访问文件所包括的每个子文件生成一个读取任务，每个读取任务中包括一个子文件的标识，及所述子文件所在的存储服务器的标识；将每个读取任务分别发送至一个处理节点，指示接收到读取任务的处理节点从存储所述子文件的存储服务器中读取所述子文件；接收接收到读取任务的处理节点读取的子文件；将所述子文件合并为所述待访问文件。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：当所述待访问文件的访问频率超过预设频率时，发送缓存任务至所述多个处理节点的至少一个处理节点，以指示所述至少一个处理节点将所述待访问文件所包括的子文件缓存至所述至少一个处理节点；记录所述待访问文件的标识所包括的子文件标识及缓存每个子文件的处理节点的标识；当所述待访问文件缓存在所述多个处理节点的缓存中时，生成至少一个读取任务，每个读取任务包括子文件的标识及所述子文件所在的处理节点的标识；发送所述至少一个读取任务至所述多个处理节点，指示所述多个处理节点从存储有所述子文件的处理节点的缓存中读取所述子文件；将所读取的子文件合成所述待访问文件。4.如权利要求3所述的方法，其特征在于，所述方法还包括：当所述待访问文件的访问频率低于预设频率时，向所述待访问文件包括的子文件所在的处理节点发送删除任务，所述删除任务包括所述子文件的标识，以指示所述处理节点删除所述子文件；删除所述管理服务器中记录的所述子文件的标识及所述处理节点的标识。5.一种数据访问的装置，其特征在于，所述装置与多个处理节点连接，所述多个处理节点连接至存储服务器，所述装置包括：接收单元，用于接收文件访问请求，所述文件访问请求中携带待访问文件的标识；处理单元，用于根据所述待访问文件的标识确定所述待访问文件是否缓存在所述多个处理节点的至少一个处理节点的缓存中，所述装置中存储有被缓存的文件的标识；
所述处理单元，还用于当所述待访问文件没有缓存在所述多个处理节点的至少一个处理节点的缓存中，则指示所述多个处理节点中的至少一个处理节点从所述存储服务器中获取所述待访问文件。6.如权利要求5所述的装置，其特征在于，所述装置还包括：第一发送单元，所述处理单元，用于从所述存储服务器中获取所述待访问文件所包括的至少一个子文件的标识及所述每个子文件所在的存储服务器的标识；针对所述待访问文件所包括的每个子文件生成一个读取任务，每个读取任务中包括一个子文件的标识，及所述子文件所在的存储服务器的标识；所述第一发送单元，用于将每个读取任务分别发送至一个处理节点...

【专利技术属性】
技术研发人员：李铮，王明月，刘玉，张巍，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：