将包含图形对象的图像内容添加至图像帧的方法及系统技术方案

本发明专利技术涉及将包含图形对象的图像内容添加至图像帧的方法及系统。具体涉及一种将图形对象添加至包括第一图像帧的一个或多个图像帧的图像数据的方法，所述图形对象是在使用编码器对所述一个或多个图像帧进行编码期间添加的，其中图像数据生成器将所述图形对象转化为第一离散频率变换DFT块集，每个DFT块和一个或多个图像中的与所述DFT块相对应的位置相关联。所述编码器对所述第一图像帧的多个像素块执行DFT，以输出第二DFT块集，然后根据与所述第一DFT块集相关联的位置，用所述第一DFT块集替换所述第二DFT块集的DFT块子集。

【技术实现步骤摘要】
将包含图形对象的图像内容添加至图像帧的方法及系统
本专利技术涉及视频编码，尤其是将图像内容添加至被编码的视频流的方法。
技术介绍
目前普遍在视频流中添加图形特征。可添加这些以例如有助于观众分辨流中的各种对象、或仅附加信息。图形特征可包括边界框、隐私遮蔽、界线以及诸如快速响应(QR)码之类的矩阵条码。然而，当直接将附加图像特征作为像素添加至视频流的图像帧时，在编码期间视频流的图像帧被压缩时、这可能时常产生图形特征的变形。这是因为许多编码方法依赖于通过类似于离散余弦变换(DCT)的数学运算、将图像从空间域变换为频域并消除高频信息。这与离散颜色及强度过渡的损失相对应，当图像被变换回空间域时、这可能使添加的诸如QR码或边界框之类的图形特征变形。在将图形特征添加为在源视频顶部呈现的覆盖的情况下，可找到此问题的一种解决方案。然而，生成这些覆盖可能因增加的渲染步骤以及较高的比特率需求、导致额外的系统负担。在一些情况下，使用单个硬件编码器对视频流和渲染的覆盖进行编码也可能不是可行的，增加了所需的系统复杂性。覆盖方法未解决的另一限制是缺少基本图像帧的区域的特定处理，其中该覆盖包括图形特征，这可能导致编码效率低，因为视频的同一区域可能被渲染多于一次。在此情况下，存在进一步改进此
的需求。
技术实现思路
鉴于上述情况，本专利技术的目标因而是克服或减少至少一些讨论的问题。尤其是，目标是提供将图形对象添加至被编码的视频流、解码时添加的图形对象几乎没有或无信息损失的方法、软件及系统。根据本专利技术的第一方面，提供了一种将图形对象添加至包括第一图像帧的一个或多个图像帧的图像数据的方法，在使用编码器对一个或多个图像帧进行编码期间添加图形对象，该方法包括步骤：由图像数据生成器接收与要被添加至一个或多个图像帧的图像数据的图形对象相关的数据；由图像数据生成器基于编码器的编码单元CU的定义大小，将图形对象转换为第一离散频率变换DFT块集，每个DFT块和一个或多个图像帧中的与该DFT块相对应的位置相关联；由编码器对第一图像帧的多个像素块执行DFT，以输出第二DFT块集；由图像数据生成器指示编码器根据与第一DFT块集相关联的位置，用第一DFT块集替换第二DFT块集的DFT块子集。短语“图形对象”普遍意指例如边界框、隐私遮蔽、界线、标识、矩阵条码以及其它图形对象。这些可用来突出或隐藏帧中的东西或仅携带某种形式的信息。术语“离散频率变换”普遍指的是数个不同的数学变换运算，诸如离散余弦变换、离散正弦变换和离散傅里叶变换之类。公分母是它们可用来将空间色域输入变换为其频域表示。术语“编码单元”普遍指的是编码过程中利用的图像帧子单元。宏块为视频编码中常用类型的编码单元，并且可普遍由图像中的16x16像素块构成。本专利技术涉及通过使用编码器将包含一个或多个图形对象的图像内容添加至第一图像帧或图像帧的视频序列。图像数据生成器充当编码过程的输入步骤，其中接收构建此类图形对象必需的图形对象或数据。如果接收到数据，图像数据生成器可使用此来构建图形对象。关于例如图形对象的大小和它相对第一帧的位置的信息可存储在图像数据生成器。图形对象可为静态或动态的(意指它可在多个图像帧上保持不变)，或它可在视频序列的帧间更新或修改。图像数据生成器进一步与基于第一图像帧或视频序列生成第二DFT块集的编码器分离地将图形对象变换为第一DFT块集。接着通过由图像数据生成器指示编码器根据与第一DFT块集相关联的位置用第一DFT块集替换第二DFT块集的DFT块子集，可使用先前存储的位置及大小的信息将图形对象附加于第一帧。在编码期间，这使得能够关于第一图像帧的压缩选择性压缩图形对象。这允许使用较高的压缩比(在此情况下它可被安全地使用而无需过度牺牲图像质量)，以减少图像的比特率及带宽需求，同时保证更精细的细节，即添加的图形对象不会损失它们携带的信息，因为较低的压缩比可用于这些特征。此方法超过使用完全渲染的覆盖的优点是可降低比特率，因为无额外的覆盖要处理、存储或传送。另一优点可为节省系统资源及整体复杂性，因为执行相同步骤可能必需的硬件较少。而且，图形对象的分开编码可缓解编码效率低，并且消除冗余的编码操作，因此例如最终编码的图像帧的特定区域不被处理多余一次。根据一些实施方式，第一图像帧由编码器进行帧内编码，其中一个或多个图像帧包括在第一图像帧之后的第二帧，第二图像帧被帧间编码并且参考第一图像帧，该方法包括步骤：由图像数据生成器指示编码器对第二图像帧中的与和第一DFT块集相关联的位置相对应的像素块进行帧间编码，并且将第二图像帧中所述像素块的运动矢量设为零。因此，此实施方式有利地允许跨数个帧重复使用图形对象的数据，以减少编码器执行的冗余工作量(即，执行与图形对象相对应的块的块匹配)，并且进一步降低比特率。根据一些实施方式，一个或多个图像帧表示图片组GOP，其中针对GOP中在第一图像帧之后的所有图像帧重复上面提及的方法。因此，此实施方式有利地允许进一步跨GOP中的数个帧的多个帧重复使用关于图形对象的数据，以减少编码器执行的冗余工作量。根据一些实施方式，与图形对象相关的数据包括描述图形对象的位图。“位图”意指具有每个图像中的像素或阵列中的单元的值的图像或阵列。在一个简单的位图中，这些值可为0或1，与覆盖到另一图像上时那个像素透明与否相对应。位图还可包含涉及颜色的更多信息，并且在这些情况下可叫做像素图。因此，使用位图来描述图形对象可表示在图像生成器中产生DFT块的低复杂性方法。根据一些实施方式，与图形对象相关的数据进一步包括定义应该添加图形对象的一个或多个图像帧的图形数据中位置的坐标。因此，增加了该方法的灵活性，因为例如定义图形对象的位图仅需包含图形对象的像素值，而第一图像帧上的位置是使用例如X坐标及Y坐标来定义的。根据一些实施方式，与图形对象相关的数据定义描述图形对象的多边形。因此，添加图形对象的复杂性代价减少，因为仅需要一些坐标和/或定义矢量来描述对象边界。在将要使用可预测的标准图形对象版本、诸如边界框、隐私及界线之类的情况下，可有利地利用多边形。根据一些实施方式，与图形对象相关的数据进一步包括定义图形对象的颜色的数据。因此，图形对象可将其颜色定义为例如保证实现相对第一图像帧的对比度。根据一些实施方式，一种方法在由图像数据生成器指示编码器根据与第一DFT块集相关联的位置用第一DFT块集替换第二DFT块集的DFT块子集的步骤之后，进一步包括步骤：由编码器执行第二DFT块集的量化，以形成量化的DFT块集，其中使用量化参数的映射来执行量化，该量化参数的映射针对第二DFT块集的每个DFT块定义量化参数，由编码器执行该量化的DFT块集的熵编码，以形成比特流。术语“熵编码”普遍意指无损编码策略，诸如哈夫曼编码、上下文适配可变长度编码(CAVLC)和上下文适配二进制算术编码(CABAC)之类。“量化”本文档来自技高网...

【技术保护点】
1.一种将图形对象添加至包括第一图像帧(104；404a)的一个或多个图像帧的图像数据的方法，所述图形对象在使用编码器(308)对所述一个或多个图像帧进行编码期间被添加，其中所述第一图像帧(404a)由所述编码器进行帧内编码，其中所述一个或多个图像帧包括在所述第一图像帧之后的第二帧(404b)，所述第二图像帧被帧间编码并且参考所述第一图像帧，所述方法包括步骤：/n由图像数据生成器(305)接收(S502)与要被添加至所述一个或多个图像帧的所述图像数据的所述图形对象(100)相关的数据(322)；/n由所述图像数据生成器基于所述编码器的编码单元CU(307)的定义大小，将所述图形对象转换(S506)为第一离散频率转换DFT块集(306a)，每个DFT块和所述一个或多个图像帧中的与该DFT块相对应的位置相关联；/n由所述编码器对所述第一图像帧的多个像素块执行(S508)DFT，以输出第二DFT块集(306b)；/n由所述图像数据生成器指示(S510)所述编码器根据与所述第一DFT块集相关联的位置、用所述第一DFT块集替换所述第二DFT块集的DFT块子集；以及/n由所述图像数据生成器指示所述编码器对所述第二图像帧中的与和所述第一DFT块集相关联的所述位置相对应的像素块进行帧间编码，并且将所述第二图像帧中的所述像素块的运动矢量设为零。/n...

【技术特征摘要】
20181221 EP 18215276.91.一种将图形对象添加至包括第一图像帧(104；404a)的一个或多个图像帧的图像数据的方法，所述图形对象在使用编码器(308)对所述一个或多个图像帧进行编码期间被添加，其中所述第一图像帧(404a)由所述编码器进行帧内编码，其中所述一个或多个图像帧包括在所述第一图像帧之后的第二帧(404b)，所述第二图像帧被帧间编码并且参考所述第一图像帧，所述方法包括步骤：
由图像数据生成器(305)接收(S502)与要被添加至所述一个或多个图像帧的所述图像数据的所述图形对象(100)相关的数据(322)；
由所述图像数据生成器基于所述编码器的编码单元CU(307)的定义大小，将所述图形对象转换(S506)为第一离散频率转换DFT块集(306a)，每个DFT块和所述一个或多个图像帧中的与该DFT块相对应的位置相关联；
由所述编码器对所述第一图像帧的多个像素块执行(S508)DFT，以输出第二DFT块集(306b)；
由所述图像数据生成器指示(S510)所述编码器根据与所述第一DFT块集相关联的位置、用所述第一DFT块集替换所述第二DFT块集的DFT块子集；以及
由所述图像数据生成器指示所述编码器对所述第二图像帧中的与和所述第一DFT块集相关联的所述位置相对应的像素块进行帧间编码，并且将所述第二图像帧中的所述像素块的运动矢量设为零。


2.根据权利要求1所述的方法，其中所述一个或多个图像帧表示图片组GOP，其中针对所述GOP中的在第一图像帧之后的所有图像帧重复权利要求2的所述方法。


3.根据权利要求1所述的方法，其中与图形对象相关的所述数据包括描述所述图形对象的位图。


4.根据权利要求3所述的方法，其中与图形对象相关的所述数据进一步包括定义所述一个或多个图像帧的所述图像数据中的应该添加所述图形对象的位置的坐标。


5.根据权利要求1所述的方法，其中与图形对象相关的所述数据定义描述所述图形对象的多边形。


6.根据权利要求3所述的方法，其中与图形对象相关的所述数据进一步包括定义所述图形对象的颜色的数据。


7.根据权利要求1所述的方法，在由所述图像数据生成器指示所述编码器根据与所述第一DFT块集相关联的位置、用所述第一DFT块集替换所述第二DFT块集的DFT块子集的步骤之后，进一步包括步骤：
由所述编码器执行(S512)所述第二DFT块集的量化，以形成量化的DFT块集，其中所述量化使用量化参数的映射来执行，所述量化参数的映射针对所述第二DFT块集的每个DFT块定义量化参数，
由所述编码器执行(S514)所述量化的DFT块集的熵编码，以形成比特流(320)。


8.根据权利要求1所述的方法，其中由所述图像数据生成器将所述图形对象转换为第一DFT块集的步骤包括：
a)使用试验频率变换将所述图形对象转换(S604)为临时的第一离散频率变换DFT块集，
b)使用所述试验频率变换的逆将所述临时的第一DFT块集转换(S606)回所述图形对象的表示；
c)计算(S608)所述图形对象的表示与所接收的图形对象之间的差值，
一旦确定所述差值超过阈值误差值，则使用不同的试验频率变换迭代地执行步骤a)至c)，直至所述差值不超过所述阈值误差值，并且将产生不超过所述阈值误差值的差值的试验频率变换用...

【专利技术属性】
技术研发人员：袁嵩，维克托·埃德帕尔姆，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典;SE