数据传输方法及系统技术方案

技术编号:14964544 阅读:42 留言:0更新日期:2017-04-02 19:02
一种数据传输方法及系统。在来源装置中,分割原始数据为多个来源区段,并对各来源区段进行相似度计算,以获得相似值集合,并传送相似值集合至目标装置。在目标装置中,通过相似值集合来判断在目标装置中是否存在有与来源区段对应的目标区段,以获得比对结果,并传送比对结果至来源装置。在来源装置中,依据比对结果,对原始数据进行减量获得减量数据后,传送减量数据至目标装置。在目标装置中,将减量数据还原为原始数据。

【技术实现步骤摘要】

本专利技术是有关于一种远程数据传输机制,且特别是有关于一种能够降低网络上数据传输量的数据传输方法及系统
技术介绍
在信息发达的现代,各行各业的营运越来越依赖电子产品,尤其是企业用户更是大力推广电子化,进而使用电子产品来执行各种功能,记录各种数据。在而电子装置间传输档案是一种常见的动作,用户可通过网络将本地端电子装置的档案上传至远程电子装置。然而,随着数据量越来越庞大,如何加速本地端装置与远程装置之间的数据传输则为目前的一大课题。
技术实现思路
本专利技术提供一种数据传输方法及系统,可降低数据传输的数据量。本专利技术的数据传输方法,包括下列步骤。在来源装置中,分割原始数据为多个来源区段,并对各来源区段进行相似度计算,以获得相似值集合,并传送相似值集合至目标装置,其中相似值集合包括各来源区段的相似值。在目标装置中,通过相似值集合来判断在目标装置中是否存在有与其中任一个来源区段对应的目标区段,以获得比对结果,并传送比对结果至来源装置。在来源装置中,依据比对结果,对原始数据进行减量获得减量数据后,传送减量数据至目标装置。在目标装置中,将减量数据还原为原始数据。在本专利技术的一实施例中,上述在目标装置中,获得比对结果的步骤包括下列步骤。在判定在目标装置中不存在与其中任一个来源区段对应的目标区段时,记录与不存在对应的目标区段的来源区段的相似值以及对应的空值至比对结果。在判定在目标装置中存在与来源区段对应的目标区段时,记录存在对应的目标区段的来源区段的相似值以及所对应的目标区段的相似值至比对结果。取出与来源区段对应的目标区段所包括的多个目标区块各自的哈希值,并记录这些哈希值至比对结果。在本专利技术的一实施例中,根据比对结果,对原始资料进行减量的步骤包括:依据比对结果,对在目标装置中不具有对应的目标区段的各来源区段执行差量压缩(deltacompression)算法;对未执行差量压缩算法的各来源区段所包括的多个来源区块执行去重复算法。对经执行差量压缩算法与去重复算法后的原始数据进行压缩而获得减量数据。在本专利技术的一实施例中,上述执行差量压缩算法的步骤包括:依序取出其中一个来源区段作为当前区段,并依据比对结果判断在目标装置中是否具有对应的目标区段。若否,往前取出当前区段的多个先前区段,并将这些先前区段与当前区段进行比对,进而在上述先前区段中取出与当前区段相近程度最高的第N个来源区段,以对当前区段与上述第N个来源区段执行差量压缩算法。在本专利技术的一实施例中,执行去重复算法的步骤包括:在未执行差量压缩算法的来源区段中,依序取出其中一个来源区段所包括的这些来源区块;判断来源装置中的来源区块表与比对结果中是否具有相同的哈希值,以在具有相同的哈希值时,对上述相同的哈希值标记目标索引。依据来源区块表,判断各来源区块的哈希值是否重复,以对重复的哈希值标记内部索引。在本专利技术的一实施例中,在来源装置中,在分割原始数据为来源区段的步骤之后,更包括:分割各来源区段为该些来源区块;对各来源区块进行哈希值计算而分别获得各来源区块的哈希值,并记录至来源区块表。在本专利技术的一实施例中,在目标装置中,将减量数据还原为原始数据的步骤包括:将减量数据解压缩;将解压缩后的减量数据中经由去重复演算所删除的来源区块还原;以及将经由差量压缩算法所减量的来源区段还原。在本专利技术的一实施例中,在来源装置中,传送相似值集合与一已接收相似值至目标装置,其中已接收相似值包括先前自目标装置所接收的比对结果所记录的目标区段的相似值。在目标装置中,在目标装置中存在与任一个来源区段对应的目标区段时,倘若已接收相似值中包括有上述目标区段的相似值时,则不将目标装置的目标区段包括的目标区块各自的哈希值记录至当前欲回传至来源装置的比对结果。本专利技术的数据传输系统,包括来源装置以及目标装置。来源装置包括第一通讯单元以及第一处理单元。目标装置包括第二通讯单元以及第二处理单元。在此,目标装置与来源装置通过第二通讯单元及第一通讯单元进行沟通。第一处理单元分割原始数据为多个来源区段,并对各来源区段进行相似度计算,以获得相似值集合,并传送相似值集合至目标装置,其中相似值集合包括各来源区段的相似值。目标装置在自来源装置接收到相似值集合后,第二处理单元通过相似值集合来判断在目标装置中是否存在有与其中任一个来源区段对应的目标区段,以获得比对结果,并传送比对结果至来源装置。来源装置在自目标装置接收到比对结果后,第一处理单元依据比对结果,对原始数据进行减量获得减量数据后,传送减量数据至目标装置。目标装置在自来源装置接收到减量数据后,第二处理单元将减量数据还原为原始数据。基于上述,通过来源装置和目标装置的协同作业将重复数据删除后再进行传输,以达到降低网络上数据传输的数据量以及节省数据储存量的目的。为让本专利技术的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。图1是依照本专利技术一实施例的数据传输系统的方块图;图2是依照本专利技术一实施例的数据传输方法的流程图;图3是依照本专利技术一实施例的来源装置的数据处理的示意图;图4是依照本专利技术一实施例的相似度计算程序的流程图;图5是依照本专利技术一实施例的目标装置的数据处理的示意图;图6是依照本专利技术一实施例的相似度判断程序的流程图;图7是依照本专利技术一实施例的差量压缩程序的流程图;图8是依照本专利技术一实施例的去重复程序的流程图;图9是依照本专利技术一实施例的解压缩程序的流程图。符号说明11:第一通讯单元12:第一处理单元13:第一记忆单元14:第一储存单元15:第二通讯单元16:第二处理单元17:第二记忆单元18:第二储存单元30:相似度集合40:比对结果100:数据传输系统121:哈希计算处理器122:数据处理器123:差量压缩处理器124:去重复处理器125:压缩处理器131:来源区段表143:来源区块表144:原始资料161:哈希计算处理器162:数据处理器163:差量解压缩处理器164:重建处理器165:解压缩处理器...

【技术保护点】
一种数据传输方法,其特征在于,包括:在一来源装置中,分割一原始数据为多个来源区段,并对每一该些来源区段进行一相似度计算,以获得一相似值集合,并传送该相似值集合至一目标装置,其中该相似值集合包括该些来源区段各自的相似值;在该目标装置中,通过该相似值集合来判断在该目标装置中是否存在有与该些来源区段其中任一个对应的目标区段,以获得一比对结果,并传送该比对结果至该来源装置;在该来源装置中,依据该比对结果,对该原始数据进行减量获得一减量数据后,传送该减量数据至该目标装置;以及在该目标装置中,将该减量数据还原为该原始数据。

【技术特征摘要】
2014.12.03 TW 1031419671.一种数据传输方法,其特征在于,包括:
在一来源装置中,分割一原始数据为多个来源区段,并对每一该些来
源区段进行一相似度计算,以获得一相似值集合,并传送该相似值集合至
一目标装置,其中该相似值集合包括该些来源区段各自的相似值;
在该目标装置中,通过该相似值集合来判断在该目标装置中是否存在
有与该些来源区段其中任一个对应的目标区段,以获得一比对结果,并传
送该比对结果至该来源装置;
在该来源装置中,依据该比对结果,对该原始数据进行减量获得一减
量数据后,传送该减量数据至该目标装置;以及
在该目标装置中,将该减量数据还原为该原始数据。
2.如权利要求1所述的数据传输方法,其特征在于,其中在该目标
装置中,获得该比对结果的步骤包括:
在判定在该目标装置中不存在与该些来源区段其中任一个对应的该
目标区段时,记录与不存在对应的该目标区段的其中一个上述来源区段的
该相似值以及对应的一空值至该比对结果;
在判定在该目标装置中存在与该些来源区段其中任一个对应的该目
标区段时,记录存在对应的该目标区段的其中一个上述来源区段的该相似
值以及所对应的该目标区段的相似值至该比对结果;以及
取出与该些来源区段其中任一个对应的该目标区段包括的多个目标
区块各自的哈希值,并记录该些哈希值至该比对结果。
3.如权利要求2所述的数据传输方法,其特征在于,其中在该来源
装置中,依据该比对结果,对该原始数据进行减量的步骤包括:
依据该比对结果,对在该目标装置中不具有对应的该目标区段的每一
上述来源区段执行一差量压缩(deltacompression)算法;
对未执行该差量压缩算法的每一上述来源区段所包括的多个来源区
块执行一去重复算法;以及
对经执行该差量压缩算法与该去重复算法后的该原始数据进行压缩
而获得该减量数据。
4.如权利要求3所述的数据传输方法,其特征在于,其中执行该差

\t量压缩算法的步骤包括:
依序取出上述来源区段其中一个作为一当前区段,并依据该比对结果
判断在该目标装置中是否具有对应的该目标区段;
若否,往前取出该当前区段的多个先前区段,并将该些先前区段与该
当前区段进行比对,进而在该些先前区段中取出与该当前区段相近程度最
高的第N个上述来源区段,以对该当前区段与上述第N个来源区段执行该
差量压缩算法。
5.如权利要求3所述的数据传输方法,其特征在于,其中执行该去
重复算法的步骤包括:
在未执行该差量压缩算法的上述来源区段中,依序取出上述来源区段
其中一个所包括的该些来源区块;
判断该来源装置中的一来源区块表与该比对结果中是否具有相同的
哈希值,以在具有相同的哈希值时,对上述相同的哈希值标记一目标索引;
以及
依据该来源区块表,判断每一上述来源区块的哈希值是否重复,以对
重复的上述哈希值标记一内部索引。
6.如权利要求5所述的数据传输方法,其特征在于,其中在该来源
装置中,在分割该原始数据为该些来源区段的步骤之后,更包括:
分割每一该些来源区段为该些来源区块;以及
对每一该些来源区块进行一哈希值计算而分别获得该些来源区块各
自的哈希值,并记录至该来源区块表。
7.如权利要求3所述的数据传输方法,其特征在于,其中在该目标
装置中,将该减量数据还原为该原始数据的步骤包括:
将该减量数据解压缩;
将解压缩后的该减量数据中经由该去重复演算所删除的上述来源区
块还原;以及
将经由该差量压缩算法所减量的该些来源区段还原。
8.如权利要求2所述的数据传输方法,其特征在于,更包括:
在该来源装置中,传送该相似值集合与一已接收相似值至该目标装

\t置,其中该已接收相似值包括先前自该目标装置所接收的该比对结果所记
录的该目标区段的相似值;以及
在该目标装置中,在该目标装置中存在与该些来源区段其中任一个对
应的该目标区段时,倘若该已接收相似值中包括有上述目标区段的该相似
值时,则不将该目标装置的上述目标区段包括的上述目标区块各自的哈希
值记录至当前欲回传至该来源装置的该比对结果。
9.一种数据传输系统,其特征在于,包括:
一来源装置,包括一第一通讯单元以及一第一处理单元;以及
一目标装置,包括一第二通讯单元以及一第二处理单元,其中,该目
标装置与该来源装置通过该第二通讯...

【专利技术属性】
技术研发人员:李琦宾李景民
申请(专利权)人:仁宝电脑工业股份有限公司
类型:发明
国别省市:中国台湾;71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1