一种不可靠链路下的文件元数据冗余传输、接收方法及系统技术方案

本发明专利技术公开了一种不可靠链路下的文件元数据冗余传输、接收方法及系统，用以解决现有传输过程中因重传丢包数据造成的文件系统响应慢、性能下降的问题。该方法包括：S1、判断发送的数据是否是文件元数据，若否，采用TCP协议将文件数据发出；若是，进入步骤S2；S2、根据所述文件元数据的数据量确定冗余方式并将所述文件元数据及冗余数据采用UDP协议发出。本发明专利技术分离文件数据及元数据并使用不同传输协议传送，元数据使用副本/纠删码冗余，用UDP协议传输，若传输过程中发生小量丢包，客户端可本地、即时重构丢失数据并对上层应用透明。

A file metadata redundancy transmission, receiving method and system under an unreliable link

The invention discloses a method and system for redundant transmission and reception of file metadata under unreliable links, which is used to solve the problem of slow response and declining performance caused by retransmission packet loss data in the existing transmission process. The method includes: S1, determine whether to send data file metadata, if not, the TCP protocol will be issued if the data file, enter; step S2; S2, according to the file metadata to determine the amount of redundancy and the redundancy of data and metadata files issued by UDP protocol. The invention separates file data and metadata from different transmission protocols, metadata is duplicled / erasure code redundant, and is transmitted by UDP protocol. If there is a small amount of packet loss during transmission, the client can reconstruct lost data and transparent to the upper layer locally.

【技术实现步骤摘要】
一种不可靠链路下的文件元数据冗余传输、接收方法及系统
本专利技术涉及数据传输领域，尤其涉及一种不可靠链路下的文件元数据冗余传输、接收方法及系统。
技术介绍
相对于局域网，跨地域的广域网具有带宽小、时延大、数据包丢包率大的特点。在类似跨太平洋这样的长链路下，丢包率有时可达3％～5％。基于广域网的传输协议主要有TCP与UDP两种。TCP下，发送方需要等待接收方对数据的确认信息，以确定继续发送还是等待超时后重发数据，因此传输是可靠的但会造成时延增加；UDP没有确认环节，因此数据存在丢失风险但传输速度更快。文件传输几乎无一例外使用TCP以确保数据完整性，但更关注播放流畅度的实时音频、视频等应用，如网上电台、视像会议等，允许小量数据丢失，因此可采用UDP。在存在数据丢包的不可靠链路上使用基于可靠的传输协议传输数据，在丢包发生时可因超时等待及数据重传导致时延增加，因此对时延敏感的应用，可使用不可靠的传输协议传输，但是要解决数据丢包的问题。公开号为CN106130693A的专利提供了一种基于UDP的可靠传输方法，是一种UDP层上的可靠传输协议，可靠传输协议包括可靠传输、不可靠传输和乱序传输；可靠传输，用于在两个上层应用之间提供可靠的数据传输，接收的数据报需要进行确认，丢失的数据报需要进行重传，接收到的数据报按报文可靠序列号的顺序提交给上层应用；不可靠传输，用于在两个上层应用之间提供不可靠的数据传输，接收的数据报不需要进行确认，丢失的数据报不需要进行重传，接收到的数据报按报文不可靠序列号的顺序提交给上层应用；乱序传输，用于在两个上层应用之间提供乱序的数据传输，接收的数据报不需要进行确认，丢失的数据不需要进行重传，接收到的数据报直接按接收顺序提交给上层应用。该专利技术可靠性良好。该专利技术基于UDP，使用确认与重传达到可靠传输，与TCP传输策略类似，但不能单独对文件系统的元数据作处理。公开号为CN1339749A的专利提供了一种将传输控制协议(TCP)用于不可靠传输网络的局域重传方法，可在不可靠传输链路上对乱序的TCP分组数据提供可靠传递，对所有非拥塞丢失的分组进行恢复，避免TCP源端不真实的窗口容量调整。采用链路层传输顺序与TCP源端不真实的窗口容量调整。采用链路层传输顺序与TCP源端的发送顺序一起检测的TCP局域重传方法，通过在TCP数据分组与TCP确认分组中插入局域序列号时间标记，并与确认序号AN联合判断，来确定是否有数据分组丢失并重传，然后再采用明晰重传ERN反馈来避免TCP源端的误动作。可大大改善无线网络的TCP性能。该专利技术将TCP用于不可靠传输网络，能够确保数据的完整性，但是会造成时延增加。
技术实现思路
本专利技术要解决的技术问题目的在于提供一种不可靠链路下的文件元数据冗余传输、接收方法及系统，用以解决现有传输过程中因重传丢包数据造成的文件系统响应慢、性能下降的问题。为了实现上述目的，本专利技术采用的技术方案为：一种不可靠链路下的文件元数据冗余传输方法，包括步骤：S1、判断发送的数据是否是文件元数据，若否，采用TCP协议将文件数据发出；若是，进入步骤S2；S2、根据所述文件元数据的数据量确定冗余方式并将所述文件元数据及冗余数据采用UDP协议发出。进一步地，步骤S2具体包括：判断所述文件元数据的数据量是否超过预设阈值，若否，使用副本冗余；若是，使用纠删码冗余。进一步地，步骤S2中所述使用纠删码冗余的步骤具体包括：根据用户配置的保护级别(即冗余度)分割数据；采用标准的纠删码计算出校验数据。一种不可靠链路下的文件元数据冗余接收方法，包括步骤：SA、判断接收的数据是否属于文件元数据或冗余数据，若否，向上提交；若是，进入步骤SB；SB、检测所述文件元数据是否有丢包，若否，向上提交；若是，进入步骤SC；SC、判断所述文件元数据是否可恢复，若否，使用TCP向发送端请求丢失数据；若是，进入步骤SD；SD、接收所述冗余数据并结合所述文件元数据恢复丢失数据；SE、将接收的所述文件元数据与恢复的所述丢失数据按原始顺序向上提交并丢弃所述冗余数据。进一步地，步骤SD具体包括：判断冗余方式是否为副本冗余，若是，恢复所述丢失数据；若冗余方式为纠删码冗余，采用纠删码重构所述丢失数据。一种不可靠链路下的文件元数据冗余传输系统，包括步骤：第一判断模块，用于判断发送的数据是否是文件元数据，若否，采用TCP协议将文件数据发出；确定冗余方式模块，用于根据所述文件元数据的数据量确定冗余方式并将所述文件元数据及冗余数据采用UDP协议发出。进一步地，所述确定冗余方式模块具体包括：副本冗余单元，用于当所述文件元数据的数据量未超过预设阈值时，使用副本冗余；纠删码冗余单元，用于当所述文件元数据的数据量超过预设阈值时，使用纠删码冗余。进一步地，纠删码冗余单元具体用于根据用户配置的保护级别分割数据并采用标准的纠删码计算出校验数据。一种不可靠链路下的文件元数据冗余接收系统，包括：第二判断模块，用于判断接收的数据是否属于文件元数据或冗余数据，若否，向上提交；检测模块，用于检测所述文件元数据是否有丢包，若否，向上提交；第三判断模块，用于判断所述文件元数据是否可恢复，若否，使用TCP向发送端请求丢失数据；恢复数据模块，用于接收所述冗余数据并结合所述文件元数据恢复丢失数据；提交模块，用于将接收的所述文件元数据与恢复的所述丢失数据按原始顺序向上提交并丢弃所述冗余数据。进一步地，恢复数据模块具体包括：副本冗余恢复单元，用于判断冗余方式是否为副本冗余，若是，恢复所述丢失数据；纠删码冗余恢复单元，用于若冗余方式为纠删码冗余，采用纠删码重构所述丢失数据。本专利技术与传统的技术相比，有如下优点：本专利技术使用副本/纠删码冗余，用UDP协议传输，若传输过程中发生部分丢包，客户端可本地、即时重构丢失数据并对上层应用透明。附图说明图1是实施例一提供的一种不可靠链路下的文件元数据冗余传输方法流程图；图2是实施例一提供的一种不可靠链路下的文件元数据冗余传输系统结构图；图3是实施例二提供的一种不可靠链路下的文件元数据冗余传输方法流程图；图4是实施例二提供的一种不可靠链路下的文件元数据冗余传输系统结构图；图5是实施例一提供的一种数据包打包格式示意图；图6是实施例一提供的一种纠删码冗余示意图。具体实施方式以下是本专利技术的具体实施例并结合附图，对本专利技术的技术方案作进一步的描述，但本专利技术并不限于这些实施例。实施例一本实施例提供了一种不可靠链路下的文件元数据冗余传输方法，如图1所示，包括步骤：S11：判断发送的数据是否是文件元数据，若否，采用TCP协议将文件数据发出；若是，进入步骤S12；S12：根据文件元数据的数据量确定冗余方式并将文件元数据及冗余数据采用UDP协议发出。电脑用户的数据以文件系统的形式存储和组织以方便查找与访问。FAT32、NTFS是常见的Windows文件系统，当前Linux主要文件系统是ext4。基于网络的文件系统主要有CIFS、NFS等。文件系统数据分为文件数据及文件元数据。文件数据指文件本身的内容，文件元数据是描述文件数据的数据，如文件名、文件大小、修改日期、访问权限、在磁盘上的存储位置等。相对文件数据，文件元数据的数据量甚少，加入冗余对总体传输量影响不大。此外，操作系统或电脑用户对元数据访问是一个本文档来自技高网...

【技术保护点】
一种不可靠链路下的文件元数据冗余传输方法，其特征在于，包括步骤：S1、判断发送的数据是否是文件元数据，若否，采用TCP协议将文件数据发出；若是，进入步骤S2；S2、根据所述文件元数据的数据量确定冗余方式并将所述文件元数据及冗余数据采用UDP协议发出。

【技术特征摘要】
1.一种不可靠链路下的文件元数据冗余传输方法，其特征在于，包括步骤：S1、判断发送的数据是否是文件元数据，若否，采用TCP协议将文件数据发出；若是，进入步骤S2；S2、根据所述文件元数据的数据量确定冗余方式并将所述文件元数据及冗余数据采用UDP协议发出。2.根据权利要求1所述的一种不可靠链路下的文件元数据冗余传输方法，其特征在于，步骤S2具体包括：判断所述文件元数据的数据量是否超过预设阈值，若否，使用副本冗余；若是，使用纠删码冗余。3.根据权利要求2所述的一种不可靠链路下的文件元数据冗余传输方法，其特征在于，步骤S2中所述使用纠删码冗余的步骤具体包括：根据用户配置的冗余度分割数据；采用标准的纠删码计算出校验数据。4.一种不可靠链路下的文件元数据冗余接收方法，其特征在于，包括步骤：SA、判断接收的数据是否属于文件元数据或冗余数据，若否，向上提交；若是，进入步骤SB；SB、检测所述文件元数据是否有丢包，若否，向上提交；若是，进入步骤SC；SC、判断所述文件元数据是否可恢复，若否，使用TCP向发送端请求丢失数据；若是，进入步骤SD；SD、接收所述冗余数据并结合所述文件元数据恢复丢失数据；SE、将接收的所述文件元数据与恢复的所述丢失数据按原始顺序向上提交并丢弃所述冗余数据。5.根据权利要求4所述的一种不可靠链路下的文件元数据冗余接收方法，其特征在于，步骤SD具体包括：判断冗余方式是否为副本冗余，若是，恢复所述丢失数据；若冗余方式为纠删码冗余，采用纠删码重构所述丢失数据。6.一种不可靠链路下的文件元数据冗余传输系统，其特征...

【专利技术属性】
技术研发人员：刘国良，秦浪，赵弘，徐建军，卢国权，王亚沛，肖国华，张菊芳，汤一平，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江,33