使用比特分区操作将数据嵌入变换系数中制造技术

本文描述的示例涉及解码和编码信号。本文描述的某些示例将非信号数据的自定义数据封装在编码信号数据流中。自定义数据可以包括注释信号数据或提供与信号数据相关的附加信息的多种元数据。本文描述的某些示例将自定义数据封装在一组变换系数值中，这些变换系数值表示从形成信号编码的一部分的变换操作中导出的数据。可以通过对表示该变换系数值组的系数比特应用比特移位操作来执行封装。比特应用比特移位操作来执行封装。比特应用比特移位操作来执行封装。

【技术实现步骤摘要】
【国外来华专利技术】使用比特分区操作将数据嵌入变换系数中


[0001]本专利技术涉及用于处理信号的方法，诸如通过非限制性示例视频、图像、高光谱图像、音频、点云、3DoF/6DoF(自由度)和体积信号。处理数据可包含但不限于获取、导出、编码、输出、接收、解码和重构信号。本专利技术涉及通过修改一组变换系数的比特值将数据嵌入到编码比特流中。

技术介绍

[0002]许多信号编码方法使用变换操作来变换信号数据块。例如，许多图像、视频和音频编码方法利用离散余弦变换(DCT)来根据以不同频率振荡的余弦函数之和来表示数据点的有限序列。视频编码中使用的标准化DCT操作压缩8x8帧数据块以生成编码数据流。在解码器处，该编码数据流可以通过应用DCT的反向版本来解码。在AVC(高级视频编码)标准和HEVC(高效视频编码)标准中使用整数DCT，在MP3音频编码和数字电视编码方案中可以找到其他DCT实施方式。
[0003]基于层的编码格式，诸如ISO/IEC MPEG
‑
5Part2 LCEVC(以下简称“LCEVC”)或SMPTE VC
‑
62117(以下简称“VC
‑
6”)，也对残差数据应用变换以生成不同“梯队”或“分层”的数据。在这种情况下，可以应用多个变换操作，例如每个梯队或层对应一个变换操作，其中每个梯队或层对应于不同的质量等级。质量等级可以对应于不同的采样率和/或空间分辨率。
[0004]信号编码方案的一个挑战是如何传达与编码信号相关联的元数据。例如，元数据可以包括关于信号的附加信息，其中期望元数据与信号一起被接收以使元数据可用于重构操作。在某些应用中，可能需要标记信号的某些部分，诸如音频或视频数据的不同帧。对于图像编码(无论是静态的还是视频的)，还可能需要标记特定图像内的某些区域，诸如与出现在图像中的实体相关联的信息。例如，这些可能是对象标识符、超链接、对象属性、面部标识符等。
[0005]元数据编码的数个解决方案引入了附加的边信道或数据流来承载元数据。例如，除了承载编码视频流的网络抽象层(NAL)单元之外，数个视频编码标准还使用补充增强信息(SEI)消息来承载元数据流。编码视频流的NAL单元的一般组可分为视频编码层(VCL)单元和非VCL单元，非VCL单元可用于承载非视频数据，诸如SEI消息或其他参数组。
[0006]承载元数据的另一解决方案是使用数字水印技术。一种示例数字水印技术是高级电视系统委员会(ATSC)视频水印发射标准
‑
A/335。定义该标准的文件，例如如2016年9月20日公布的，通过引用并入本文。
[0007]在A/335中，视频信号的前一列或两列用于嵌入水印信息。在A/335中，这些列内的像素的亮度值被修改以承载水印信息。接收器提取视频信号每帧的前一列或前两列，并应用一组阈值操作来恢复编码数据。
[0008]A/335和类似的数字水印方法存在的一个问题是，它们要求嵌入的数据能够经受住各种压缩和转码操作，以及通过传统的消费类高清多媒体接口(HDMI)递送。为了实现鲁
棒性，在接收器处应用了更复杂的阈值操作。A/335也不打算是防篡改或不可磨灭的；它可能被中介故意抹掉。
[0009]通常，期望有用于自定义或用户(即非信号)数据与信号数据的有效传送的方法和系统。期望方法和系统最大限度地减少对现有信号编码方法的改变，同时提供灵活和可寻址的附加数据流。

技术实现思路

[0010]本专利技术的各个方面和变化在所附权利要求中阐述。在下面的详细描述中进一步阐述了某些未要求保护的方面。
附图说明
[0011]图1是表示示例信号编码系统的方框图；
[0012]图2是表示视频数据的示例编码的示意图；
[0013]图3A
‑
3C是表示用户数据插入的示例过程的示意图；以及
[0014]图4A
‑
4C是表示用户数据提取的示例过程的示意图。
具体实施方式
[0015]本文描述的某些示例将非信号数据的自定义数据封装在编码信号数据流中。自定义数据可以包括注释信号数据或提供与信号数据相关的附加信息的多种元数据。如果信号数据包括视频或音频流，则自定义数据可以包括流内注释或标签，其标识在流中起重要作用的人或对象。本文描述的某些示例将自定义数据封装在一组变换系数值中，这些变换系数值表示从形成信号编码的一部分的变换操作中导出的数据。
[0016]在本文描述的特定示例中，在编码器处，对表示变换系数值的比特应用比特移位操作，并且将用户数据比特插入到新的移入比特中。在解码器处，可以在应用进一步的比特移位操作以将表示变换系数值的比特移回其原始位置之前读出用户数据比特。尽管比特移位操作有可能修改变换系数值，但由于它只改变表示变换系数值的比特序列一端的比特值，因此可以重构原始变换系数值的近似值，已发现该近似值减小了对重构信号的视觉影响。另外，如果在具有多个残差数据流的基于层的层次中执行用户数据封装，则更高等级的残差数据流可以纠正对当前等级残差数据流的任何细微修改，因此仍然允许无损编码选项。在编码和解码期间，可以对多个变换系数值快速(例如并行)应用比特移位操作，这些系数值构成信号数据的特定平面，从而最大限度地减少用户数据插入和提取过程的处理开销。此外，通过将移位大小和用户数据作为可配置参数，可以提供不同等级的数据嵌入。本示例可以进一步实施为对现有信号编码技术的可选修改，而无需修改这些技术的核心编码操作。
[0017]本说明书涉及“信号”编码。作为非限制性示例，信号可以是图像、音频信号、多信道音频信号、遥测信号、视频信号、3DoF/6DoF视频信号、体积信号(例如，医学成像、科学成像、全息成像等)、体积视频信号，甚至是超过四个维度的信号。
[0018]本文参照作为样本序列(即，二维图像、视频帧、视频场、声音帧等)的信号来呈现示例。为简单起见，本文说明的非限制性实施例通常是指显示为设置的2D平面的信号(例
如，合适颜色空间中的2D图像)，诸如例如视频信号。术语“图片”、“帧”或“场”将与术语“图像”可互换地使用，以指示视频信号的时间样本：为由帧构成的视频信号(渐进式视频信号)说明的任何概念和方法也可以很容易地应用于由场构成的视频信号(隔行视频信号)，反之亦然。尽管本文说明的实施例的重点是图像和视频信号，但本领域技术人员可以容易地理解相同的概念和方法也适用于任何其他类型的多维信号(例如，音频信号、体积信号、立体视频信号、3DoF/6DoF视频信号、全光信号、点云等)。尽管提供了图像或视频编码示例，但相同的方法可以应用于维度小于二(例如，音频或传感器流)或大于二(例如，体积信号)的信号。
[0019]在说明书中，术语“图像”、“图片”或“平面”(意指“超平面”的最广泛含义，即具有任意维数和给定采样网格的元素阵列)将通常用于标识沿样本序列的信号样本的数字再现，其中，每个平面对于其每个维度(例如X和Y)具有给定的分辨率，并且包括一组平面元素(或“元素”或“画素”或本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种编码信号数据的方法，包括：获取表示一组变换系数的值的系数比特，所述值是通过对从编码的输入信号中导出的信号数据块至少应用变换操作而生成的；获取表示自定义数据的用户数据比特以添加到编码信号比特流；对所述系数比特应用比特移位操作，所述比特移位操作将所述系数比特移位了预定义数量的比特；基于所述用户数据比特，设置添加到所述系数比特的一组附加比特的值，以生成一组修改的系数比特；以及使用所述修改的系数比特组来指示编码比特流的生成，其中，所述编码比特流承载所述自定义数据和信号数据编码。2.根据权利要求1所述的方法，在获取系数比特之前，包括：获取所述从编码的输入信号中导出的信号数据块；对来自每个所述信号数据块中的数据应用所述变换操作，以生成初始变换系数；以及对所述初始变换系数进行量化，以生成所述变换系数组。3.根据权利要求1或2所述的方法，进一步包括：使用熵编码和游程编码中的一个或多个来编码所述修改的系数比特组，以生成所述编码比特流。4.根据前述权利要求中的任一项所述的方法，其中，所述信号数据块包括通过比较从所述编码的输入信号中导出的数据和从所述输入信号的重构中导出的数据而生成的残差数据，所述输入信号的所述重构是由较低质量等级的输入信号的表示生成的。5.根据权利要求4所述的方法，其中，所述较低质量等级的输入信号的所述表示包括较低分辨率的输入信号的表示。6.根据权利要求4或5所述的方法，其中，所述编码比特流是编码增强比特流以增强编码基础比特流，所述编码基础比特流是较低质量等级的输入信号的编码表示。7.根据权利要求4至6中的任一项所述的方法，其中，所述编码比特流是用于第一质量等级的第一增强子层的编码增强比特流，并且所述方法进一步包括：获取表示第二质量等级的一组变换系数的值的进一步系数比特，所述第二质量等级比所述第一质量等级高，所述值通过对所述第二质量等级的信号数据块至少应用变换操作而生成；以及使用所述进一步系数比特指示所述第二质量等级的第二增强子层的编码增强比特流的生成，而无需应用比特移位操作。8.根据前述权利要求中的任一项所述的方法，其中，所述信号数据块包括n
×
n信号数据块，并且所述变换操作实现了应用于表示所述信号数据块的长度为n2的摊平向量的矩阵乘法。9.根据权利要求8所述的方法，其中，所述矩阵乘法包括使用n2×
n2Hadamard矩阵的乘法。10.根据前述权利要求中的任一项所述的方法，其中，所述变换操作输出每个信号数据块的一组数据元素的值，并且所述系数比特表示所述数据元素组中预定义的一个数据元素的变换系数值。
11.根据前述权利要求中的任一项所述的方法，包括：获取自定义数据以添加到所述编码信号比特流；获取指示用户数据值的比特长度的参数，所述比特长度指示用于所述比特移位操作的所述预定义数量的比特；以及对所述自定义数据进行预处理以生成自定义数据值的比特流，每个值均通过一组所述比特长度的比特在所述比特流中表示。12.根据前述权利要求中的任一项所述的方法，其中，所述自定义数据包括与使用所述输入信号定义的特定位置相关联的数据，并且所述方法包括：基于所述使用所述输入信号定义的特定位置，对所述自定义数据进行预处理以将自定义数据值分配给特定的信号数据块，其中，至少对所述特定的信号数据块执行应用所述比特移位操作和复制所述用户数据比特。13.根据权利要求11或权利要求12所述的方法，其中，所述比特长度包括2或6个比特。14.根据权利要求1至14中的任一项所述的方法，其中，所述比特移位操作是向左移位。15.一种解码信号数据的方法，所述方法包括：获取编码比特流；对所述编码比特流进行解码以获取表示一组变换系数的值的一组初始系数比特，所述值是编码期间通过对从输入信号中导出的信号数据块至少应用变换操作而生成的；从所述初始系数比特组的一组末端比特提取用户数据；对所述初始系数比特组应用比特移位操作，所述比特移位操作在与编码期间应用的比特移位操作的方向相反的方向上，所述比特移位操作生成一组重构的系数比特；以及指示所述重构的系数比特组进行进一步的解码，所述进一步的解码包括对由所述重构的系数比特组表示的值至少应用反变换操作，其中，所述进一步的解码用于生成所述输入信号的重构。16.根据权利要求15所述的方法，其中，对所述编码比特流进行解码包括熵解码和游程解码中的一个或多个，并且其中，对所述重构的系数比特组进行进一步的解码包括在所述反变换操作之前应用反量化操作。17.根据权利要求15或权利要求16所述的方法，其中，所述重构的系数比特组包括变换的残差数据，并且所述方法进一步包括：指示由所述重构的系数比特组的所述进一步解码获取的残差数据与由较低质量等级的输入信号的表示生成的输入信号的重构的组合，以生成第一质量等级的输入信号的重构。18.根据权利要求17所述的方法，其中，所述编码比特流是编码增强比特流以增强编码基础比特流，所述输入信号的所述重构从所述编码基础比特流的解码中导出。19.根据权利要求17或权利要求18所述的方法，其中，所述编码比特流是用于所述第一质量等级的第一增强子层的编码增强比特流，并且所述方法进一步包括：获取第二质量等级的第二增强子层的编码增强比特流；对所述第二增强子层的所述编码增强比特流进行解码以获取所述第二质量等级的第二组残差数据；
指示所述第二残差数据组与从所述第一质量等级的所述输入信号的所述重构中导出的所述第二质量等级的重构的组合，以生成所述第二质量等级的所述输入信号的重构。20.根据权利要求17至19中的任一项所述的方法，其中，每个质量等级均与不同的空间分辨率相关联。21.根据权利要求15至20中的任一项所述的方法，其中，提取用户数据包括：获取指示用于用户数据值的比特
‑
D
‑
的数量的参数；获取位于所述初始系数比特组的一端的一组D比特的比特值，所述D比特组在编码期间应用的所述比特移位操作期间被添加；以及对所述比特值进行后处理以重构一组用户数据值，其中，所述比特移位操作的大小通过所述用于用户数据值的比特
‑
...

【专利技术属性】
技术研发人员：洛伦佐，
申请(专利权)人：威诺瓦国际有限公司，
类型：发明
国别省市：