用于对超像素边界进行编码和解码的方法和装置制造方法及图纸

本发明专利技术涉及一种用于对图像的像素区域的边界进行编码的方法，其中所述边界包含将所述图像细分为像素区域(超像素)的顶点的序列，这是通过从字母表生成符号序列，所述方法包括以下步骤：‑根据对所有超像素通用的标准为每个超像素定义用于对所述超像素的边界进行编码的第一顶点；‑为每个超像素定义边界顶点的同一编码顺序，无论是顺时针的或是逆时针的；‑定义用于对超像素进行编码的顺序，这是基于与所述第一顶点的相对位置相关的通用规则；‑将一组顶点定义为已知的边界(Γ)，其中，为了选择字母表中的符号以及为了对超像素的边界进行编码，而执行以下步骤：a)通过通用标准确定被个别化的下一个超像素边界的第一顶点；b)基于编码方向确定待编码的下一个顶点；c)如果边界的下一个顶点属于所述已知的边界(Γ)，则选择用于对所述下一个顶点进行编码的第一符号(“0”)，d)如果所述下一个顶点不在所述已知的边界(Γ)上，则选择不同于所述第一符号(“0”)的符号(“1”；“2”)；e)重复步骤b)、c)、d)和e)，直至超像素边界的所有顶点已被编码为止；f)将不在所述已知的边界(Γ)上的超像素边界的每个顶点添加至集合(Γ)；g)如果有的话，根据通用规则确定其边界有待编码的下一个超像素；i)重复步骤a)至g)，直至图像的所有超像素的边界已经被添加至所述已知的边界(Γ)为止。

Method and device for encoding and decoding super pixel boundary

【技术实现步骤摘要】
【国外来华专利技术】用于对超像素边界进行编码和解码的方法和装置
本专利技术是关于数字图像和视频编码的领域。即，本专利技术描述了一种方法和系统，其用于压缩和解压缩图像，特别是自然图像，从而使得其能够在带宽受限的信道上传输或者被储存在容量有限的介质上。本专利技术所解决的问题是对图像和由图像所构成的视频序列进行编码。
技术介绍
大多数现有技术(作为基础编码工具)依赖基于块的变换，其被称为离散余弦变换(DCT)，例如在各种JPEG和MPEG编码标准中。图像要被细分成多个具有正方形形状的块，随后向每个块应用DCT(有可能使得块的尺寸适应图像特征)，其在最简单的情况下被独立地编码和解码(更高级的压缩方案可包括帧内和帧间块预测，从而改善解码器性能)。DCT在图像编码领域得到了广泛的认可，因为DCT具有理想的特性，其趋向于在变换系数矩阵的左上部中聚集在感知上最有意义的变换系数(即，为了压缩信号的能量)，从而实现有效的压缩方案，比如非均匀的量化、Z字形系数扫描和熵编码。显然，DCT压缩信号中的能量的实际能力取决于被编码的特定图像块的语义(semantic)。期望有均匀的块(例如，表示对象的光滑表面的块)，原因在于，其产生具有很少重要系数的变换系数矩阵，所以易于编码，并且在通过解码器恢复时不会产生重构伪像。相反，包含不连续(例如在不同色彩的对象之间的接合、文本等等)的块导致变换系数的矩阵，其中重要系数不被约束到矩阵的区域，并且其可能在解码时产生明显的重构伪像。块的预定义正方形形状代表DCT最大限制之一，因为在块中有可能存在某种不连续。然而，大多数现代编码技术通过调整每个块的尺寸来适应图像特性从而解决这个问题，在这种情况下，图像分割起到了关键作用。图像分割是将图像划分成多个部分或区域(也称为“超像素”)，其对应于不同的对象或对象部分。通过内容来定位图像的均匀区域是相关文献(其找到了若干实际应用)中众所周知的问题。例如，可能想要分离在背景图像上的前景对象。图像分割算法使得能够确定图像中的哪些像素属于语义仿射(semanticallyaffine)区域，定位分隔区域的边界。在文献中存在用于图像分割的若干不同算法，这些算法的不同之处不仅在于(会影响分割时间的)复杂性，而且还在于输出，即不同的图像分割算法有望产生对同一图像的不同分割。最近，为了在图像视频编码的情况下执行图像分割，已提出了SLIC算法(RadhakrishnaAchanta、AppuShaji、KevinSmith、AurelienLucchi、PascalFua和SabineSüsstrunk，“SLICSuperpixels(SLIC超像素)”，EPFL技术报告，第149300号，2010年6月)。特别地，SLIC算法产生超像素，其不改变图像不连续。图1a显示了带有大量细节的自然图像样本：该图像被细分成语义均匀的区域，这些区域是相似的(例如：花朵的纹理、围绕窗口的大理石等等)。图1b显示了SLIC算法关于图1a的图像的输出：该算法返回大量小的超像素，其粘附到图像中的对象的边界。文件“Superpixel-drivengraphtransformforimagecompression(用于图像压缩的驱动超像素的图形变换)”(发表于IEEE图像处理国际会议(ICIP)，2015年，E.Magli、M.Grangetto、F.Verdoja和G.Fracastoro)描述了一种数字图像或视频流的编码和解码系统，其用于将图像细分成任意形状的均匀编码部分，使得每个部分很容易编码，从而实现带宽有效的基于图形的表示。还参考图2，在编码器200处，图像首先使用SLIC算法被分割成超像素(单元210)，随后将定位的区域迭代地聚集成较大的超像素，直至在所得的超像素组上满足了某个预定义的要求为止。所述预定义的要求能够为例如图像编码目标比特率或者最佳速率失真平衡(optimumrate-distortiontrade-off)。接下来，以分段方式在该组的每个超像素上单独地且独立地执行图形傅里叶变(GFT)(单元220)。图形G＝(E,V)由一组与链路相连的节点v∈V所构成。对于每个连接节点vi和vj的链路ei,j∈E，存在相关的非负值权重wij∈[0,1]，其获得在所连接的节点之间的相似性。图像f能够被表示为其中图像像素对应于图形节点的图形，而链路的权重描述了能够使用预定义的非线性函数(例如，高斯函数或柯西函数)来评估的像素相似性，所述非线性函数依赖于在图像的第i个像素fi和第j个像素fj之间的灰度空间距离di,j＝|fi-fj|。在图形傅里叶变换(GFT)技术中，图形信息能够使用权重矩阵W来表示，所述权重矩阵W的元素为图形的权重wij，随后能够得到对应的拉普拉斯矩阵，即L＝D-W，其中D为一对角线矩阵，其带有元素根据数学表达式来执行GFT，其中U为一矩阵，其列是矩阵L的特征向量，并且f是每个超像素样本的光栅扫描向量表示。随后对系数进行量化和熵编码。代替在GFT中使用的权重矩阵W，以某种编码形式将超像素的形状传送至解码单元。超像素是内部均匀的，因此其相应的权重矩阵W能够通过常数值来近似，这允许向解码器传送边界Rb形式的超像素形状，而不是完整的权重矩阵W。超像素边界根据任何已知的无损图像压缩/编码技术(单元230)，例如通过使用比如JBIG(联合二值图像专家组)的熵编码器，被编码为黑白图像(见图3b)。在解码器250处，被重构的图像的获得是通过：执行超像素边界Rb的逆熵解码，并且最终执行超像素系数R^的逆图形傅里叶变换。为了压缩边界，链式码技术被广泛使用，因为其保存了信息且带来了显著的数据减少。链式码技术还允许直接根据表示来评估各种形状特征；还可容易地计算边缘平滑和形状比较。链式码借助于区域的边界形状来描述区域的能力被证明是处理这一任务最有效的方式。H.Sánchez-Cruz、E.Bribiesca和R.M.Rodríguez-Dagnino在“Efficiencyofchaincodestorepresentbinaryobjects(链式码表示二进制对象的效率)”(发表于图像识别，2007年6月)和I.Schiopu和I.Tabus在“Losslesscontourcompressionusingchain-coderepresentationsandcontexttreecoding(使用链式码表示和上下文树状编码的无损轮廓压缩)”(发表于科学与工程信息理论方法研讨会(WITMSE)，东京，2013年)中证实了使用链式码的算法相较于使用JBIG可实现更高的压缩率。链式码算法通过使用字母表中的符号序列来描述二进制区域的轮廓，从而对二进制区域进行编码。二进制输入图像I的轮廓图(图1b)通过所谓的水平和垂直裂纹边界(见图4中所绘的示例)来表示。所述裂纹边界为分隔两个相邻的像素的轮廓线段：如果像素属于两个不同的区域，则裂纹边界被称为“活动的(active)”；否则，如果其属于同一区域，则裂纹边界被称为“不活动的(inactive)”。活动的裂纹边界的两个端点称为顶点，并且表示为Pk和Pk+1。链式码算法凭借在活动的裂纹边界周围的顶点的位置来对活动的裂纹边界进行编码。图4显示了3×3样本图像的示例，该图本文档来自技高网...

【技术保护点】
1.一种用于对图像的像素区域的边界进行编码的方法，其中所述边界包含将所述图像细分为像素区域(超像素)的顶点的序列，这是通过从字母表生成符号序列，所述方法包括以下步骤：‑根据对所有超像素通用的标准为每个超像素定义用于对所述超像素的边界进行编码的第一顶点；‑为每个超像素定义边界顶点的同一编码顺序，无论是顺时针的或是逆时针的；‑定义用于对超像素进行编码的顺序，这是基于与所述第一顶点的相对位置相关的通用规则；‑将一组顶点定义为已知的边界(

【技术特征摘要】
【国外来华专利技术】2017.03.03 IT 1020170000242211.一种用于对图像的像素区域的边界进行编码的方法，其中所述边界包含将所述图像细分为像素区域(超像素)的顶点的序列，这是通过从字母表生成符号序列，所述方法包括以下步骤：-根据对所有超像素通用的标准为每个超像素定义用于对所述超像素的边界进行编码的第一顶点；-为每个超像素定义边界顶点的同一编码顺序，无论是顺时针的或是逆时针的；-定义用于对超像素进行编码的顺序，这是基于与所述第一顶点的相对位置相关的通用规则；-将一组顶点定义为已知的边界(Γ)，其中，为了选择字母表中的符号以及为了对超像素的边界进行编码，而执行以下步骤：a)通过通用标准确定被个别化的下一个超像素边界的第一顶点；b)基于编码方向确定待编码的下一个顶点；c)如果边界的下一个顶点属于所述已知的边界(Γ)，则选择用于对所述下一个顶点进行编码的第一符号(“0”)，d)如果所述下一个顶点不在所述已知的边界(Γ)上，则选择不同于所述第一符号(“0”)的符号(“1”；“2”)；e)重复步骤b)、c)、d)和e)，直至超像素边界的所有顶点已被编码为止；f)将不在所述已知的边界(Γ)上的超像素边界的每个顶点添加至集合(Γ)；g)如果有的话，根据通用规则确定其边界有待编码的下一个超像素；i)重复步骤a)至g)，直至图像的所有超像素的边界已经被添加至所述已知的边界(Γ)为止。2.如权利要求1所述的方法，其中，所述已知的边界的集合最初仅包括图像的外轮廓，其顶点根据所述通用标准和所述通用规则来排序。3.如权利要求1或2所述的方法，其中，所述通用标准是在超像素的整个边界内的所述第一顶点的相对位置。4.如权利要求1至3中任一项所述的方法，其中，不为超像素边界的每个第二顶点执行所述步骤c)和d)。5.如前述权利要求中任一项所述的方法，其中，如果在先前被编码的顶点被包括在所述集合(Γ)中并且属于仍有待编码的边界的顶点的数量大于两个，则为了对当前边界所有接下来剩余的顶点进行编码而选择另一个不同的符号(“3”)。6.如前述权利要求中任一项所述的方法，其中，在步骤d)，基于在先前被编码的顶点属于或者不属于所述集合(Γ)的事实，选择不同于第一符号(“0”)的符号(“1”；“2”)。7.如权利要求6所述的方法，其中，步骤d)包括：d1)如果在先前被编码的顶点不在所述集合(Γ)中，则根据已知的边界编码技术来选择不同于所述第一符号(“0”)的符号(“1”；“2”)，以及d2)否则，根据与所述已知的边界编码技术不同的规则来选择此类不同的符号(“1”；“2”)。8.一种用于对图像的像素区域(超像素)的边界进行重构的方法，其基于所接收的符号序列的解码，其中，所述边界包含将所述图像细分为超像素的顶点的序列，所述方法包括：-根据对所有超像素通用的标准定义用于对超像素进行编码的第一顶点；-为每个超像素定义用于对边界顶点进行重构的同一解码顺序，无论是顺时针的或是逆时针的；-定义用于对超像素进行解码的顺序，这是基于与第一顶点的相对位置相关的通用规则；-将一组顶点定义为已知的边界(Γ)，其中，为了对超像素的边界进行重构，而执行以下步骤：a...

【专利技术属性】
技术研发人员：M·格兰齐，弗朗西斯科·韦尔多加，
申请(专利权)人：西斯维尔科技有限公司，
类型：发明
国别省市：意大利,IT