网络数据传输方法和系统技术方案

一种网络数据传输方法，第一通信端在将某一个数据分块第一次发送到第二通信端时，先存储该数据分块，并存储该数据分块的数据指纹和数据分块的存储标识的对应关系，再将数据分块再次发送给第二通信端，若第一通信端将已经发送给第二通信端的某一数据分块发送给第二通信端时，只将该数据分块的存储标识发送给第二通信端，而不重复发送该数据分块，从而可降低在网络传输过程中重复数据的发送，提高网络传输带宽利用率。此外，还提供一种网络数据传输系统。

【技术实现步骤摘要】
网络数据传输方法和系统方法
本专利技术涉及网络
，特别涉及一种网络数据传输方法和系统。
技术介绍
随着因特网流量的增加和越来越多高带宽消耗(bandwidth-1ntensive)应用的出现，广域网网络带宽越来越难以满足应用需求。而在网络数据传输过程中，存在大量重复传输的数据，因此，如何识别网络数据传输过程中重复传输的数据，并降低重复数据的传输，是亟需解决的问题。
技术实现思路
基于此，有必要提供一种能降低在网络传输过程中重复数据的传输以提高网络带宽利用率的网络数据传输方法。一种网络数据传输方法，包括以下步骤第一通信端计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第二通信端；第一通信端在第一数据指纹表中查找所述数据指纹是否存在，若是，则在第一数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第一数据分块表中的存储标识，将查找到的存储标识传送给第二通信端，若否，则将待传输数据分块添加到第一数据分块表中已存储数据分块末尾，获取待传输数据分块在第一数据分块表中的存储标识，将待传输数据分块的数据指纹和待传输数据分块的存储标识对应插入到第一数据指纹表中，将待传输数据分块和待传输数据分块的存储标识传送给第二通信端。在其中一个实施例中，所述方法还包括步骤第二通信端接收第一通信端发送的数据，判断第一通信端发送的数据为数据分块的存储标识还是数据分块和数据分块的存储标识；第二通信端接收到第一通信端发送的数据分块的存储标识时，在第二数据分块表中查找接收的存储标识对应的数据分块；第二通信端接收到第一通信端发送的数据分块和数据分块的存储标识时，将接收的数据分块存储到第二数据分块表中与接收的存储标识对应的位置，计算接收的数据分块的数据指纹，将计算得到的数据指纹与接收的存储标识对应插入到第二数据指纹表中。在其中一个实施例中，在将接收的数据分块存储到第二数据分块表中与接收的存储标识对应的位置的步骤之前，所述方法还包括步骤 第二通信端检查接收的存储标识在第二数据分块表中对应的位置是否已经存储数据分块，若是，则将接收的存储标识对应位置的数据分块添加到第二数据分块表中已存储数据分块末尾，获取添加到第二数据分块表末尾的数据分块在第二数据分块表中的新的存储标识，在第二数据指纹表中将该数据分块的数据指纹对应的存储标识修改为新的存储标识，将该数据分块和新的存储标识发送给第一通信端。在其中一个实施例中，所述还包括步骤第二通信端计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第一通信端；第二通信端在第二数据指纹表中查找所述数据指纹是否存在，若是，则在第二数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第二数据分块表中的存储标识，将查找到的存储标识传送给第一通信端，若否，则将待传输数据分块添加到第二数据分块表中已存储数据分块末尾，获取待传输数据分块在第二数据分块表中的存储标识，将待传输数据分块的数据指纹和待传输数据分块的存储标识对应插入到第二数据指纹表中，将待传输数据分块和待传输数据分块的存储标识传送给第一通信端。在其中一个实施例中，所述方法还包括步骤第一通信端接收第二通信端发送的数据，判断第二通信端发送的数据为数据分块的存储标识还是数据分块和数据分块的存储标识；第一通信端接收到第二通信端发送的数据分块的存储标识时，在第一数据分块表中查找接收的存储标识对应的数据分块； 第一通信端接收到第二通信端发送的数据分块和数据分块的存储标识时，检查接收的存储标识在第一数据分块表中对应的位置是否已经存储数据分块，若否，则将接收的数据分块存储到第一数据分块表中与接收的存储标识对应的位置，计算接收的数据分块的数据指纹，将计算得到的数据指纹与接收的存储标识对应插入到第一数据指纹表中，若是，则向第二通信端发送包含接收的存储标识的冲突应答。在其中一个实施例中，所述方法还包括步骤第二通信端接收第一通信端发送的冲突应答，将冲突应答中包含的存储标识在第二数据分块表中对应位置的数据分块添加到第二数据分块表中已存储数据分块末尾，获取添加的数据分块在第二数据分块表中的新的存储标识，在第二数据指纹表中将添加的数据分块的数据指纹对应的存储标识修改为新的存储标识，将添加的数据分块和新的存储标识发送给第一通信端。此外，还有必要提供一种能降低在网络传输过程中重复数据的传输以提高网络带宽利用率的网络数据传输系统。一种网络数据传输系统，包括第一通信端，第一通信端包括第一指纹计算模块，计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第二通信端；第一查找模块，用于在第一数据指纹表中查找所述数据指纹是否存在，若是，则在第一数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第一数据分块表中的存储标识；第一通信模块，用于将第一查找模块查找到的存储标识传送给第二通信端；第一数据添加模块，用于第一查找模块在第一数据指纹表中没有查找到所述数据指纹时，将待传输数据分块添加到第一数据分块表中已存储数据分块末尾，获取待传输数据分块在第一数据分块表中的存储标识，将待传输数据分块的数据指纹和待传输数据分块的存储标识对应插入到第一数据指纹表中；第一通信模块还用于第一查找模块在第一数据指纹表中没有查找到所述数据指纹时，将待传输数据分块和待传输数据分块的存储标识传送给第二通信端。在其中一个实施例中，所述系统还包括第二通信端，第二通信端包括第二通信模块，用于接收第一通信端发送的数据，判断第一通信端发送的数据为数据分块的存储标识还是数据分块和数据分块的存储标识；第二查找模块，用于第二通信模块接收到第一通信端发送的数据分块的存储标识时，在第二数据分块表中查找接收的存储标识对应的数据分块；第二数据添加模块，用于第二通信模块接收到第一通信端发送的数据分块和数据分块的存储标识时，将接收的数据分块存储到第二数据分块表中与接收的存储标识对应的位置；第二指纹计算模块，用于第二通信模块接收到第一通信端发送的数据分块和数据分块的存储标识时，计算接收的数据分块的数据指纹；第二数据添加模块还用于将计算得到的数据指纹与接收的存储标识对应插入到第二数据指纹表中。在其中一个实施例中，第二数据添加模块还用于在将接收的数据分块存储到第二数据分块表中与接收的存储标识对应的位置的之前，检查接收的存储标识在第二数据分块表中对应的位置是否已经存储数据分块，若是，则将接收的存储标识对应位置的数据分块添加到第二数据分块表中已存储数据分块末尾，获取添加的数据分块在第二数据分块表中的新的存储标识，在第二数据指纹表中将添加的数据分块的数据指纹对应的存储标识修改为新的存储标识；第二通信模块还用于将添加的数据分块和新的存储标识发送给第一通信端。在其中一个实施例中，第二指纹计算模块还用于计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第一通信端；第二查找模块还用于在第二数据指纹表中查找所述数据指纹是否存在，若是，则在第二数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第二数据分块表中的存储标识；第二通信模块还用于将第二查找模块查找到的存储标识传送给第一通信端；第二数据添加模块还用于第二查找模块在第二数据指纹表中没有查找到所述数据指纹时，将待传输数据本文档来自技高网...

【技术保护点】
一种网络数据传输方法，包括以下步骤：第一通信端计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第二通信端；第一通信端在第一数据指纹表中查找所述数据指纹是否存在，若是，则在第一数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第一数据分块表中的存储标识，将查找到的存储标识传送给第二通信端，若否，则将待传输数据分块添加到第一数据分块表中已存储数据分块末尾，获取待传输数据分块在第一数据分块表中的存储标识，将待传输数据分块的数据指纹和待传输数据分块的存储标识对应插入到第一数据指纹表中，将待传输数据分块和待传输数据分块的存储标识传送给第二通信端。

【技术特征摘要】
1.一种网络数据传输方法，包括以下步骤 第一通信端计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第二通信端; 第一通信端在第一数据指纹表中查找所述数据指纹是否存在， 若是，则在第一数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第一数据分块表中的存储标识，将查找到的存储标识传送给第二通信端，若否，则将待传输数据分块添加到第一数据分块表中已存储数据分块末尾，获取待传输数据分块在第一数据分块表中的存储标识，将待传输数据分块的数据指纹和待传输数据分块的存储标识对应插入到第一数据指纹表中，将待传输数据分块和待传输数据分块的存储标识传送给第二通信端。2.根据权利要求1所述的网络数据传输方法，其特征在于，所述方法还包括步骤 第二通信端接收第一通信端发送的数据，判断第一通信端发送的数据为数据分块的存储标识还是数据分块和数据分块的存储标识； 第二通信端接收到第一通信端发送的数据分块的存储标识时，在第二数据分块表中查找接收的存储标识对应的数据分块； 第二通信端接收到第一通信端发送的数据分块和数据分块的存储标识时，将接收的数据分块存储到第二数据分块表中与接收的存储标识对应的位置，计算接收的数据分块的数据指纹，将计算得到的数据指纹与接收的存储标识对应插入到第二数据指纹表中。3.根据权利要求2所述的网络数据传输方法，其特征在于，在将接收的数据分块存储到第二数据分块表中与接收的存储标识对应的位置的步骤之前，所述方法还包括步骤 第二通信端检查接收的存储标识在第二数据分块表中对应的位置是否已经存储数据分块，若是，则将接收的存储标识对应位置的数据分块添加到第二数据分块表中已存储数据分块末尾，获取添加到第二数据分块表末尾的数据分块在第二数据分块表中的新的存储标识，在第二数据指纹表中将该数据分块的数据指纹对应的存储标识修改为新的存储标识，将该数据分块和新的存储标识发送给第一通信端。4.根据权利要求3所述的网络数据传输方法，其特征在于，所述还包括步骤 第二通信端计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第一通信端; 第二通信端在第二数据指纹表中查找所述数据指纹是否存在， 若是，则在第二数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第二数据分块表中的存储标识，将查找到的存储标识传送给第一通信端，若否，则将待传输数据分块添加到第二数据分块表中已存储数据分块末尾，获取待传输数据分块在第二数据分块表中的存储标识，将待传输数据分块的数据指纹和待传输数据分块的存储标识对应插入到第二数据指纹表中，将待传输数据分块和待传输数据分块的存储标识传送给第一通信端。5.根据权利要求4所述的网络数据传输方法，其特征在于，所述方法还包括步骤 第一通信端接收第二通信端发送的数据，判断第二通信端发送的数据为数据分块的存储标识还是数据分块和数据分块的存储标识； 第一通信端接收到第二通信端发送的数据分块的存储标识时，在第一数据分块表中查找接收的存储标识对应的数据分块；第一通信端接收到第二通信端发送的数据分块和数据分块的存储标识时，检查接收的存储标识在第一数据分块表中对应的位置是否已经存储数据分块，若否，则将接收的数据分块存储到第一数据分块表中与接收的存储标识对应的位置，计算接收的数据分块的数据指纹，将计算得到的数据指纹与接收的存储标识对应插入到第一数据指纹表中，若是，则向第二通信端发送包含接收的存储标识的冲突应答。6.根据权利要求5所述的网络数据传输方法，其特征在于，所述方法还包括步骤第二通信端接收第一通信端发送的冲突应答，将冲突应答中包含的存储标识在第二数据分块表中对应位置的数据分块添加到第二数据分块表中已存储数据分块末尾，获取添加的数据分块在第二数据分块表中的新的存储标识，在第二数据指纹表中将添加的数据分块的数据指纹对应的存储标识修改为新的存储标识，将添加的数据分块和新的存储标识发送给第一通信端。7.—种网络数据传输系统，包括第一通信端，其特征在于，第一通信端包括第一指纹计算模块，计算待传输数据分块的数据指纹，该待传输数据分块的目的地为第二通信端；第一查找模块，用于在第一数据指纹表中查找所述数据指纹是否存在，若是，则在第一数据指纹表中查找所述数据指纹对应的存储标识，所述存储标识为待传输数据分块在第一数据分块表中的存储标识；第一通信模块，用于将第一查找模块查找到的存储标识传送给第二通信端；第一数据添加模块，用于第一查...

【专利技术属性】
技术研发人员：刘进，须成忠，邱健聪，闫茜，彭贤斌，陈凯，陈光华，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：