编码器、解码器和方法技术

用于对输入数据(D1)编码以生成对应编码数据(E2)的编码器，包括数据处理硬件，数据处理硬件可操作为：(a)确定输入数据(D1)内的数据块或数据包的至少部分重现，其中数据块或数据包包括多个字节；(b)采用至少一个参考符号来关联相互类似的数据块或数据包的重现，和/或指示输入数据(D1)内是否存在相互类似的数据块或数据包的重现；(c)采用多个变化符号，例如多个掩码位，来指示输入数据(D1)内的数据块或数据包的部分重现的变化数据元素和未变化数据元素以及变化数据元素的数据值的变化；以及(d)将至少一个参考符号和多个变化符号编码到编码数据(E2)中。本公开提供了使用编码器对输入数据(D1)编码以生成对应编码数据(E2)的方法。另外，本公开提供了对应的解码器，以及对编码数据(E2)解码以生成对应解码数据(D3)的对应方法。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及用于对输入数据(D1)编码以生成对应编码数据(E2)的编码器；本公开还涉及对输入数据(D1)编码以生成对应编码数据(E2)的方法。另外，本公开涉及用于对编码数据(E2)解码以生成对应解码数据(D3)的解码器；本公开还涉及对编码数据(E2)解码以生成对应解码数据(D3)的方法。另外，本公开涉及包括其上存储有计算机可读指令的非暂时性计算机可读存储介质的计算机程序产品，计算机可读指令可通过电脑化设备执行，电脑化设备包括处理硬件以执行上述方法。另外，本公开涉及编解码器，编解码器包括至少一个上述编码器以及至少一个上述解码器。
技术介绍
为本公开提供技术背景的各种已知文献列在与本公开有关的附录中。通常，用来压缩数据的算法是基于无损耗压缩方法[3]或有损耗压缩方法[4]中的一种。在无损耗压缩中，各种文件(即数据(D1))以数据(D1)可稍后恢复为原样的方式进行压缩。通常，当对数据(D1)编码时，使用数据删除复制(datade-duplication)方法是公知的，该方法试图除去数据(D1)中的数据段(即当数据(D1)例如短暂地流动时反复出现而没有变化的那些数据段)的副本。已知的数据删除复制方法能够有效地寻找与期望数据块完全类似的这些数据块。通常，已知的数据删除复制方法通过使用各种不同的方法来寻找先前出现的数据段，诸如：(i)通过相对于参考数据段，检测给定数据段中的改变的数据元素的数；(ii)通过计算给定数据段和参考数据段的数据元素之间的绝对差的总和；(iii)通过利用冗余检验表；或者(iv)通过采用滑动块方法。整个文件也可被复制删除，在这种情况下，用来代替复制文件的符号产生出色的压缩比[5]。另外，可以后处理的方式执行数据删除复制，在这种情况下在数据(D1)已写入之后追溯地执行对关联数据的处理。可替代地，可实时执行数据删除复制，即正在数据(D1)进入给定系统时，在这种情况下给定辨识出的数据块没有完全写入，而是替代地参考之前的、与给定辨识出的数据块彼此类似的数据块。数据删除复制用于当代信息技术工业的各种分支中，诸如数据存储器中以及数据传送网络中。例如，数据删除复制用于云服务中、系统备份复制中、以及电子邮件服务中，其中连续地传送相互类似的文件，或仅仅稍微变化的基本上相互类似的文件。另外，在互联网通信网络中，发送对请求的响应，来回传送数据字节，并且这些字节主要容纳部分或全部的相同互联网协议(IP)包数据；例如数据删除复制与广域网(WAN)优化有关。先前众所周知的是，与常规的数据压缩方法相比，已知的数据删除复制方法更具有成本效率。然而，已知的数据删除复制方法具有许多缺点。首先，由于数据删除复制方法试图实现期望的数据压缩比，所以经常使用可观的数据存储和处理能力。通常，需要增加关联的搜索区域，即用于寻找类似性的大量存储器，来提高数据压缩比。另外，需要使用诸如滑动搜索法的CPU加强方法，来提高数据压缩比。滑动搜索法试图通过在搜索区域内移动至由用于实现滑动搜索法所采用的算法指向的方向，以原始方式来识别目标数据块或数据包。其次，已知的数据删除复制方法不能发现这样数据块或数据包，即内容稍有变化，但是相对于期望数据块仍包含许多未变化数据元素的数据块或数据包。第三，已知的数据删除复制方法可能导致数据断裂，尤其在实时执行与这些数据删除复制方法有关的处理时。
技术实现思路
本公开旨在提供采用数据删除复制技术的改进的编码器，数据删除复制技术能够改进编码性能。另外，本公开旨在提供采用复制技术的改进的解码器，复制技术能够改进解码性能。在第一方面，本公开的实施方式提供了用于对输入数据(D1)编码以生成对应编码数据(E2)的编码器，其特征在于，编码器包括数据处理硬件，数据处理硬件能够操作为：(a)确定所述输入数据(D1)内的数据块或数据包的至少部分重现，其中，所述数据块或数据包包括多个字节；(b)采用至少一个参考符号来关联相互类似的数据块或数据包的重现，和/或指示所述输入数据(D1)内是否存在相互类似的数据块或数据包的重现；(c)采用多个变化符号来指示所述输入数据(D1)内的数据块或数据包的部分重现的变化数据元素和未变化数据元素，以及变化数据元素的数据值的变化；以及(d)将所述至少一个参考符号和所述多个变化符号编码到所述编码数据(E2)中。编码器的处理硬件可操作为确定输入数据(D1)内的数据块或数据包的至少部分重现。为此目的，可选地，编码器10的处理硬件可操作为确定用于数据块或数据包的最佳尺寸。另外，可选地，编码器的处理硬件可操作为在编码数据(E2)内提供指示用于数据块或数据包的最佳尺寸的信息。另外，编码器的处理硬件可操作为使用至少一个参考符号来关联相互类似的数据块或数据包的重现，和/或指示输入数据(D1)内是否存在相互类似的数据块或数据包的重现。就此而言，可选地，编码器的处理硬件可操作为使用一个或多个指示器，用于指示数据块或数据包相对于它们的对应参考数据块或数据包的一个或多个至少部分重现。可选地，一个或多个指示器为一个或多个相对指示器。可选地，在上述(d)中的编码数据(E2)包括变化符号，变化符号包括指示变化值和未变化值以及变化值的位/标记，或者变化符号包含与delta值内的变化值或未变化值以及值的变化有关的信息。更可选地，在编码器的操作中，delta值被分配零值以用于指示未变化，并且被分配非零值以用于指示变化。应理解，“变化符号”总是包含用于表示已经变化的值以及用于表示特定值或其delta变化将如何进一步发送所必需的所有信息。换言之，如果使用了delta/ODelta值，那么只有一个值增加到变化符号中，并且仅添加到该符号中。这样，这些单个值当然可插入包含那些delta/ODelta值的数据值的流中，但是如果指示变化/未变化的位/标记被增加到变化符号，那么将存在两个值而不是一个，这样当然将两个值插入两个数据流中。这些数据流之一将包含指示变化/未变化的位/标记，并且然后第二数据流将同样包含新值，或者与在相同位置中待复制的数据块/数据包的值有关的不同的值。关于“参考符号”，它表示数据块或数据包是否已被复制，并且还表示在部分复制或全部复制中使用了哪个数据块或数据包。换言之，在相对参考中或数据块自身索引或直接参考的指示器中的值“0”指示该数据块将不被复制。这样，使用直接或相对参考，其它值指示哪里可发现该数据块或数据包的重现。可通过不同程度的精度来执行直接和相对参考二者；换言之，地址/索引可对字节/字/块/包寻址/索引。当然，还可能通过直接参考来使用不是用于重现的可能位置的数据值，以指示关注的数据块/数据包没有被复制。与使用数据块自身索引/指示器相比较，使用不可能直接参考的值产生一个特别的优点，即该值将总是同样的，即其例如可更好地熵压缩。在直接参考中的不可能值例如为负值或出现在数据块/数据包范围之外的值。在间接参考中，上述零值“0”总是指示好的(即，可能的)值，因为它每次都是同样的，并且相对地其总是指向相同的数据块，并且因而易于识别关注的数据块/数据包不可具有重现的数据块/数据包。另外，编码器可操作为将(c)中的多个变化符号用作为多个掩码位，以指示输入数据(D1)内的数据块或数据包的部分重现的变化数本文档来自技高网...

【技术保护点】
一种编码器，用于对输入数据(D1)编码以生成对应编码数据(E2)，其特征在于，所述编码器包括数据处理硬件，所述数据处理硬件能够操作为：(a)确定所述输入数据(D1)内的数据块或数据包的至少部分重现，其中，所述数据块或数据包包括多个字节；(b)采用至少一个参考符号来关联相互类似的数据块或数据包的重现，和/或指示所述输入数据(D1)内是否存在相互类似的数据块或数据包的重现；(c)采用多个变化符号来指示所述输入数据(D1)内的数据块或数据包的部分重现的变化数据元素和未变化数据元素，以及变化数据元素的数据值的变化；以及(d)将所述至少一个参考符号和所述多个变化符号编码到所述编码数据(E2)中。

【技术特征摘要】
【国外来华专利技术】2014.06.27 GB 1411531.51.一种编码器，用于对输入数据(D1)编码以生成对应编码数据(E2)，其特征在于，所述编码器包括数据处理硬件，所述数据处理硬件能够操作为：(a)确定所述输入数据(D1)内的数据块或数据包的至少部分重现，其中，所述数据块或数据包包括多个字节；(b)采用至少一个参考符号来关联相互类似的数据块或数据包的重现，和/或指示所述输入数据(D1)内是否存在相互类似的数据块或数据包的重现；(c)采用多个变化符号来指示所述输入数据(D1)内的数据块或数据包的部分重现的变化数据元素和未变化数据元素，以及变化数据元素的数据值的变化；以及(d)将所述至少一个参考符号和所述多个变化符号编码到所述编码数据(E2)中。2.如权利要求1所述的编码器，其特征在于，所述编码器能够操作为将步骤(c)中的所述多个变化符号实现为多个掩码位，所述掩码位包括指示变化值和未变化值以及变化值的位/标记，或者变化符号包含与delta值内的变化值或未变化值以及值的变化有关的信息。3.如权利要求2所述的编码器，其特征在于，所述delta值被分配零值以用于指示未变化，并且被分配非零值以用于指示变化。4.如权利要求1、2或3所述的编码器，其特征在于，所述处理硬件能够操作为通过使用指示未变化的一个或多个值来表示给定数据块或数据包的一个或多个未变化数据元素，其中，所述一个或多个值与所述输入数据(D1)中出现的那些值不同。5.如权利要求1至4中的任一项所述的编码器，其特征在于，所述处理硬件能够操作为使用一个或多个指示器，所述指示器用于指示数据块或数据包相对于对应参考数据块或数据包的一个或多个至少部分重现。6.如权利要求5所述的编码器，其特征在于，所述一个或多个指示器为一个或多个相对指示器。7.如权利要求1至6中任一项所述的编码器，其特征在于，所述数据处理硬件能够操作为将所述至少一个参考符号和所述多个变化符号编码到多个数据流中，以提供所述编码数据(E2)。8.如权利要求1至7中任一项所述的编码器，其特征在于，所述处理硬件能够操作为对所述输入数据(D1)编码，所述输入数据(D1)为以下中的至少一种：一维数据、多维数据、音频数据、图像数据、视频数据、传感器数据、文本数据、二进制数据、医学数据。9.如权利要求1至8中任一项所述的编码器，其特征在于，所述编码器包括附加编码单元，所述附加编码单元用于将所述至少一个参考符号和所述多个变化符号的至少一部分编码到所述编码数据(E2)中，其中，所述附加编码单元能够操作为采用以下中的至少一种：熵调整编码、delta编码、ODelta编码、区间编码、行程长度编码(RLE)、拆分行程长度编码(SRLE)、插值编码。10.如权利要求1至9中任一项所述的编码器，其特征在于，所述处理硬件能够操作为确定在处理所述输入数据(D1)时用于所述数据块或数据包的最佳尺寸，并且在所述编码数据(E2)内提供指示用于所述数据块或数据包的所述最佳尺寸的信息。11.在编码器中对输入数据(D1)编码以生成对应编码数据(E2)的方法，其中，所述编码器包括数据处理硬件，所述数据处理硬件用于处理所述输入数据(D1)，其特征在于，所述方法包括：(a)确定所述输入数据(D1)内的数据块或数据包的至少部分重现，其中，所述数据块或数据包包括多个字节；(b)采用至少一个参考符号来关联相互类似的数据块或数据包的重现，和/或指示所述输入数据(D1)内是否存在相互类似的数据块或数据包的重现；(c)采用多个变化符号来指示所述输入数据(D1)内的数据块或数据包的部分重现的变化数据元素和未变化数据元素，以及变化数据元素的数据值的变化；以及(d)将所述至少一个参考符号和所述多个变化符号编码到所述编码数据(E2)中。12.如权利要求11所述的方法，其特征在于，步骤(c)中的所述多个变化符号包括多个掩码位，所述掩码位包括指示变化值和未变化值以及变化值的位/标记，或者变化符号包含与delta值内的变化值或未变化值以及值的变化有关的信息。13.如权利要求12所述的方法，其特征在于，所述delta值被分配零值以用于指示未变化，并且被分配非零值以用于指示变化。14.如权利要求11、12或13所述的方法，其特征在于，所述方法包括：通过使用指示未变化的一个或多个值来表示给定数据块或数据包的一个或多个未变化数据元素，其中，所述一个或多个值与所述输入数据(D1)中出现的那些值不同。15.如权利要求11、12、13或14所述的方法，其特征在于，所述方法包括使用一个或多个指示器，所述指示器用于指示数据块或数据包相对于对应参考数据块或数据包的一个或多个至少部分重现。16.如权利要求15所述的方法，其特征在于，所述一个或多个指示器为一个或多个相对指示器。17.如权利要求11至16中任一项所述的方法，其特征在于，所述方法包括将所述至少一个参考符号和所述多个变化符号编码到多个数据流中，以提供所述编码数据(E2)。18.如权利要求11至17中任一项所述的方法，其特征在于，所述方法包括对所述输入数据(D1)编码，所述输入数据(D1)为以下中的至少一种：一维数据、多维数据、音频数据、图像数据、视频数据、传感器数据、文本数据、二进制数据、医学数据。19.如权利要求11至18中任一项所述的方法，其特征在于，所述方法包括：(e)使用附加编码单元，用于将所述至少一个参考符号和所述多个变化符号的至少一部分编码到所述编码数据(E2)中；以及(f)将所述附加编码单元设置为采用以下中的至少一个：熵调整编码、delta编码...

【专利技术属性】
技术研发人员：托马斯·卡开宁，奥西·卡雷沃，
申请(专利权)人：古鲁洛吉克微系统公司，
类型：发明
国别省市：芬兰;FI