面向海量小文件的并发处理方法、装置和存储介质制造方法及图纸

本发明专利技术公开了一种面向海量小文件的并发处理方法、装置和存储介质。该方法包括：接收多个节点对海量小文件的并发处理请求；基于并发处理请求，调用存储海量小文件的元数据块；为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块；接收多个节点在虚拟数据空间中对第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合第二虚拟数据块。由此，本发明专利技术实施例可以将单个元数据块虚拟化成多个临时虚拟数据块，使得原有的单一节点处理的小文件，可以在多节点上的临时虚拟数据空间并发处理，不仅可以降低硬件开销，而且可以大幅度提高对海量小文件处理效率。

【技术实现步骤摘要】
面向海量小文件的并发处理方法、装置和存储介质
本专利技术涉及网络通信
，尤其涉及一种面向海量小文件的并发处理方法、装置和存储介质。
技术介绍
随着互联网的普及和移动第四代通信系统(the4thGenerationcommunicationsystem，4G)的高速发展，互联网上的数据信息正在成几何倍数增加。用户的分组无线服务技术(GeneralPacketRadioService，GPRS)话单等网络数据形成了海量高频率的小文件。在现阶段，用户对小文件的读取、存储、修改等操作较频繁。对小文件数据的访问、使用成为了很常见的数据处理形式。相对于大文件的基于条带化技术进行切片，来提高用户对文件访问的并发性处理方式，由于小文件不利于条带化，传统的针对小文件的数据处理方法一般是采用将单个小文件存储在单个数据服务器上的方法。但是，当小文件的数量到达一定数量级之后，对小文件的大量地重复访问将会给数据服务器带来性能上的负担及输入/输出(input/output，I/O)瓶颈问题。由此，小文件无法同大文件一样先将数据切分到多个节点中，再通过提高并发任务的方式来提升数据处理的性能。另外，对于大多数并行文件系统，一般是通过传统的锁机制来实现的。随着数据量越来越大，请求节点数增多，锁请求会造成锁争用，导致性能严重降低。因此，针对海量高并发小文件数据的处理仍然存在瓶颈。另外，针对多任务同时对于同一个数据块的读写操作，传统机制为了保障数据一致性，会等该数据块的锁解除后，再进行下一步操作，而无法并行处理。现有的串行处理方式造成磁盘效率急剧降低，另外，大量频繁的小文件读写容易减少底层存储的使用寿命。如何面向海量小文件进行有效并发处理，并降低硬件开销，成为业界亟待解决的问题。
技术实现思路
为了能够对海量并发小文件进行有效并发处理，降低硬件开销，本专利技术实施例提供了一种面向海量小文件的并发处理方法、装置和存储介质。第一方面，提供了面向海量小文件的并发处理方法。该方法包括以下步骤：接收多个节点对海量小文件的并发处理请求；基于并发处理请求，调用存储海量小文件的元数据块；为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块；接收多个节点在虚拟数据空间中对第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合第二虚拟数据块。第二方面，提供了一种面向海量小文件的并发处理装置。该装置包括：应用接口模块，用于接收多个节点对海量小文件的并发处理请求；内核扩展模块，用于基于并发处理请求，调用存储海量小文件的元数据块；临时虚拟空间模块，用于为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块；协同工作模块，用于接收多个节点在虚拟数据空间中对第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合第二虚拟数据块。第三方面，提供了一种面向海量小文件的并发处理装置。该装置包括：存储器，用于存放程序；处理器，用于执行所述存储器存储的程序，所述程序使得所述处理器执行上述各方面所述的方法。第四方面，提供了一种存储介质。该存储介质为计算机可读。该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。由此，本专利技术实施例通过为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块，然后由多个节点对第一虚拟数据块进行虚拟处理，再整合虚拟处理的结果，可以将单个元数据块虚拟化成多个临时虚拟数据块，使得原有的单一节点处理的小文件，可以在多节点上的临时虚拟数据空间并发处理，不仅可以降低硬件开销，而且可以大幅度提高对海量小文件处理效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例的面向海量小文件的并发处理系统的架构示意图；图2是本专利技术一实施例的面向海量小文件的并发处理方法的流程示意图；图3是本专利技术另一实施例的面向海量小文件的并发处理方法的流程示意图；图4示出了根据本专利技术一实施例的面向海量小文件的并发处理装置的结构示意图；图5示出了根据本专利技术另一实施例的面向海量小文件的并发处理装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1是本专利技术一实施例的面向海量小文件的并发处理系统的架构示意图。如图1所示，该架构采用三节点并行文件系统的部署方式。该架构可以包括：节点(node)101、node102、node103、并行文件系统104、存储磁盘(disk)105、disk106和disk107。node101、node102和node103通过san连接方式共享底层disk105、disk106和disk107。其中，node101、node102和node103可以是各种电子设备，例如应用服务器。该应用服务器内可以安装用于处理存储磁盘内的海量小文件的应用(App)。并行文件系统104可以支持并行应用。在并行文件系统环境下，多个node可以在同一时间并发读写同一个文件。disk105、disk106和disk107可以用于在底层存储文件数据(例如海量小文件)，以供node101、node102和node103通过并行文件系统104在同一时间并发读写相同的文件。可以理解，该架构还可以包括一些辅助设备，例如，用于在各种电子设备之间提供通信链路的介质网络设备。具体的，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。应该理解，图1中的设备的数目仅仅是示意性的。可以根据实际需要进行灵活调整，例如，增加node和disk的数目。下面各实施例均可以应用本实施例的系统架构进行对海量小文件进行并发处理。可以理解海量小文件时指数量很多的小文件，例如，10万个小文件。因为海量和小只是一个相对于少量和多而言的一种情况。本实施例并不对海量进行限制，也不对小文件的字节数进行限制。本实施例同样适用于对少量小文件或者大文件的并发处理，此方面内容不做限制。只是本专利技术实施例在处理数量多且文件字节数少时的有益效果尤为明显。图2是本专利技术一实施例的面向海量小文件的并发处理方法的流程示意图。如图2所示，该方法包括以下步骤：S210，接收多个节点对海量小文件的并发处理请求；S220，基于并发处理请求，调用存储海量小文件的元数据块；S230，为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块；S240，接收多个节点在虚拟数据空间中对第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合第二虚拟数据块。在步骤S210中，多个节点可本文档来自技高网...

【技术保护点】
1.一种面向海量小文件的并发处理方法，其特征在于，包括以下步骤：接收多个节点对海量小文件的并发处理请求；基于所述并发处理请求，调用存储所述海量小文件的元数据块；为所述多个节点分别建立临时虚拟数据空间，并在所述临时虚拟数据空间中虚拟化所述元数据块得到第一虚拟数据块；接收所述多个节点在所述虚拟数据空间中对所述第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合所述第二虚拟数据块。

【技术特征摘要】
1.一种面向海量小文件的并发处理方法，其特征在于，包括以下步骤：接收多个节点对海量小文件的并发处理请求；基于所述并发处理请求，调用存储所述海量小文件的元数据块；为所述多个节点分别建立临时虚拟数据空间，并在所述临时虚拟数据空间中虚拟化所述元数据块得到第一虚拟数据块；接收所述多个节点在所述虚拟数据空间中对所述第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合所述第二虚拟数据块。2.根据权利要求1所述的方法，其特征在于，所述调用存储所述海量小文件的元数据块之后，还包括：响应于所述调用，锁定所述元数据块；待整合所述第二虚拟数据块后，解除对所述元数据块的锁定。3.根据权利要求2所述的方法，其特征在于，所述整合所述第二虚拟数据块之后，还包括：对所述第二虚拟数据块进行磁盘回写操作。4.根据权利要求1所述的方法，其特征在于，所述调用存储所述海量小文件的元数据块之前，还包括：预先在所述元数据块内存储以下所述海量小文件的数据属性信息中的一种或者两种以上：文件位置信息、数据块大小信息、文件修改记录。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述整合所述虚拟存储数据块之后，还包括：将所述第二虚拟数据块同步至所述元数据块和文件系统中。6.一种面向海量小文件的并发处理装置，其特征在于，包括：应用接口模块，用于接收多个节点对海量小文件的并发处理请求；内核扩展模块，用于基于所述并...

【专利技术属性】
技术研发人员：高丽，
申请(专利权)人：中国移动通信集团重庆有限公司，中国移动通信集团公司，
类型：发明
国别省市：重庆,50