一种分布式文件存储系统中的数据处理方法及设备技术方案

本发明专利技术涉及一种分布式文件存储系统中的数据处理方法及设备30，包括客户端代理30接收用户的数据处理请求，数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；客户端代理30根据数据处理请求中携带的文件标识获得冗余配比信息，冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M；根据数据处理请求中携带的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’；根据所述实际条带块的数量N’确定对应的条带块并进行处理。通过根据待处理文件的大小，动态调整目标文件条带化处理时生成的实际条带块的数量，这样既能保证在任何情况下都可以获取到正确的目标文件，还可以减少分布式文件存储系统10中的空条带块的个数，这样可以小文件场景下节省大量的网络读写I/O与磁盘读写I/O，提高分布式存储系统10的性能。

【技术实现步骤摘要】
【国外来华专利技术】一种分布式文件存储系统中的数据处理方法及设备
本专利技术涉及存储
，尤其涉及一种分布式文件存储系统中的数据处理方法及设备。
技术介绍
随着计算机技术、网络技术的发展及人类生活的信息化，用户对存储系统存储容量的需求越来越大，对存储系统性能的要求也越来越高。存储系统亦由计算机自带存储器发展到存储阵列、网络附加存储(Network Attached Storage, NAS)等独立存储系统,再到大型的分布式文件存储系统。随着数字化程度的提高，存储对象也从结构化的数据为主转变为以图片、微视频等非结构化的文件数据为主。这样就对存储系统中文件数据的访问性能提出了更高的要求，提高大型的分布式文件存储系统的访问性能成为当前存储领域的首要任务。 在分布式文件存储系统中包含有多个存储服务器，多个存储服务器之间通过低延迟、高吞吐量的网络(例如IB网络、1G以太网)互连形成集群，构成一个大型的网络RAID(Redundant Array of Inexpensive Disks,独立冗余磁盘阵列)，同时所有存储服务器同时对外提供数据读写服务。文件数据存储到分布式文件存储系统中时，利用跨节点的RAID算法(例如RAID5、RAID6或者RAIDZ)，或前向纠错码(Erasure Code)算法等算法把文件数据条带化(Stripe),即将文件数据切分为多个数据条带块(Strip),并生成相应的校验条带块，然后将数据条带块和校验条带块存储到相应节点的存储服务器上。当读取存储的文件数据时，从存储服务器节点中读取一定数量的数据条带块和校验条带块后构造出用户需要读取的原始文件数据。 随着分布式文件存储系统中集群规模的增大，为了提高整个分布式文件存储系统的空间利用率，文件数据条带化时切分的数据条带块的数量也越来越多，读写操作时的磁盘1和网络1也相应增加。这样，文件数据条带化时切分的数据条带块数量也相应增加，在小文件场景下，会对分布式文件存储系统的访问性能造成较大的负担。
技术实现思路
有鉴于此，本专利技术要解决的技术问题是，如何提高小文件场景下分布式文件存储系统的访问性能。 为达到上述目的，本专利技术的实施例采用如下技术方案: 本专利技术的第一方面，提供一种应用于分布式文件存储系统的数据处理方法，所述方法包括:客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M ;根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC，所述有效条带块为包含有所述目标文件的数据的条带块；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’ ；根据所述实际条带块的数量N’确定对应的条带块并进行处理。 结合第一方面，在一种可能的实现方式中， 所述根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块数量N’具体为:若所述有效条带块的数量DSC小于或等于所述校验条带块的数量M，则所述目标文件的实际条带块的数量N’为所述校验条带块的数量M+1，即 =M+1 ;若所述有效条带块的数量DSC大于所述校验条带块的数量M，则所述目标文件的实际条带块数量N’等于所述有效条带块的数量DSC，即N’ =DSC。 结合第一方面和上述可能的实现方式，在另一种可能的实现方式中， [0011 ] 所述校验条带块的数量M和数据条带块的数量N可以有多组，分别存储在对应的目录息表中。 结合第一方面和上述可能的实现方式，在另一种可能的实现方式中， 当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量N’确定对应的条带块并进行处理还包括: 对所述目标文件进行条带化处理，得到N’个实际条带块，并使用冗余算法生成M个校验条带块； 在所述N’个实际条带块和所述M个校验条带块中添加一致性标签信息和有效条带块的数量DSC信息；所述一致性标签信息可以为时间戳或者版本号； 将所述N’个实际条带块和所述M个校验条带块写到对应的存储服务器节点中。 结合第一方面和上述可能的实现方式，在另一种可能的实现方式中， 当所述数据处理请求为数据读请求时，所述方法还包括，根据所述文件标识获取所述目标文件的条带块的分布信息；所述根据所述实际条带块的数量N’确定对应的条带块并进行处理具体为: 生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点中的所述目标文件的条带块；将所述数据块读请求根据获取到的目标文件的条带块的分布信息发送给存储实际条带块的存储服务器节点； 接收所述存储实际条带块的存储服务器节点的响应消息；所述响应消息为可以读取的成功响应消息或无法读取的失败响应消息，所述成功响应消息中携带有实际条带块的一致性标签信息和有效条带块的数量DSC信息； 根据接收到的所述响应消息判断是否可以读取到所述目标文件。 结合第一方面和上述可能的实现方式，在另一种可能的实现方式中， 根据接收到的所述响应消息判断是否可以读取到所述目标文件具体为: 若接收到的成功响应消息的数量等于所述实际条带块的数量N’，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同，则可以读取到所述目标文件； 若接收到的成功响应消息的数量小于所述实际条带块的数量N’，则判断所述接收到的成功响应消息的数量是否大于所述校验条带块的数量M ; 若所述接收到的成功响应消息的数量大于所述校验条带块的数量M，则判断成功响应消息的数量是否大于或等于所述目标文件的有效条带块的数量DSC，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同；若是，则可以读取到所述目标文件；否则，根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量大于或等于所述目标文件的有效条带块的数量DSC，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同，则可以读取到所述目标文件；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量小于所述目标文件的有效条带块的数量DSC，或者所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息不相同，则无法读取到目标文件。 结合第一方面和上述可能的实现方式，在另一种可能的实现方式中， 若接收到的成功响应消息的数量小于或等于所述校验条带块的数量M，根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点； 接收所述存储校验条带块的存储服务器节点返回的响应消息； 根据所述存储校验条带块的存储服务器节点返回的响应消息判断是否可以读取到所述目标文件。 本专利技术的第二方面，提供了一种实现分布式文件存储系统中数据处理方法的设备30，所述设备30与所述分布式文件存储系统10中的存储服务器节点101本文档来自技高网...

【技术保护点】
一种应用于分布式文件存储系统的数据处理方法，其特征在于，所述方法包括：客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M；根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC，所述有效条带块为包含有所述目标文件的数据的条带块；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’；根据所述实际条带块的数量N’确定对应的条带块并进行处理。

【技术特征摘要】
【国外来华专利技术】1.一种应用于分布式文件存储系统的数据处理方法，其特征在于，所述方法包括:客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M ； 根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC，所述有效条带块为包含有所述目标文件的数据的条带块；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’ ； 根据所述实际条带块的数量N’确定对应的条带块并进行处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块数量N’具体为: 若所述有效条带块的数量DSC小于或等于所述校验条带块的数量M，则所述目标文件的实际条带块的数量N’为所述校验条带块的数量M+1，即N’ =M+1 ； 若所述有效条带块的数量DSC大于所述校验条带块的数量M，则所述目标文件的实际条带块数量N’等于所述有效条带块的数量DSC，即N’ =DSC。3.根据权利要求1或2所述的方法，其特征在于，所述校验条带块的数量M和数据条带块的数量N可以有多组，分别存储在对应的目录信息表中。4.根据权利要求1-3任一所述的方法，其特征在于，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量N’确定对应的条带块并进行处理还包括: 对所述目标文件进行条带化处理，得到N’个实际条带块，并使用冗余算法生成M个校验条带块； 在所述N’个实际条带块和所述M个校验条带块中添加一致性标签信息和有效条带块的数量DSC信息；所述一致性标签信息可以为时间戳或者版本号； 将所述N’个实际条带块和所述M个校验条带块写到对应的存储服务器节点中。5.根据权利要求1-3任一所述的方法，其特征在于，当所述数据处理请求为数据读请求时，所述方法还包括，根据所述文件标识获取所述目标文件的条带块的分布信息；所述根据所述实际条带块的数量N’确定对应的条带块并进行处理具体为: 生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点中的所述目标文件的条带块； 将所述数据块读请求根据获取到的目标文件的条带块的分布信息发送给存储实际条带块的存储服务器节点； 接收所述存储实际条带块的存储服务器节点的响应消息；所述响应消息为可以读取的成功响应消息或无法读取的失败响应消息，所述成功响应消息中携带有实际条带块的一致性标签信息和有效条带块的数量DSC信息； 根据接收到的所述响应消息判断是否可以读取到所述目标文件。6.根据权利要求5所述的方法，其特征在于，根据接收到的所述响应消息判断是否可以读取到所述目标文件具体为: 若接收到的成功响应消息的数量等于所述实际条带块的数量N’，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同，则可以读取到所述目标文件； 若接收到的成功响应消息的数量小于所述实际条带块的数量N’，则判断所述接收到的成功响应消息的数量是否大于所述校验条带块的数量M ； 若所述接收到的成功响应消息的数量大于所述校验条带块的数量M，则判断成功响应消息的数量是否大于或等于所述目标文件的有效条带块的数量DSC，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同；若是，则可以读取到所述目标文件；否则，根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量大于或等于所述目标文件的有效条带块的数量DSC，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同，则可以读取到所述目标文件；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量小于所述目标文件的有效条带块的数量DSC，或者所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息不相同，则无法读取到目标文件。7.根据权利要求6所述的方法，其特征在于，所述方法还包括: 若接收到的成功响应消息的数量小于或等于所述校验条带块的数量M，根据获取到...

【专利技术属性】
技术研发人员：郭洪星，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44