当前位置: 首页 > 专利查询>北京大学专利>正文

一种针对屏幕视频帧间残差的基础色索引映射算法制造技术

技术编号:10264820 阅读:156 留言:0更新日期:2014-07-30 12:02
本发明专利技术针对屏幕视频的帧间残差,设计了一种基础色索引映射算法。在该算法中,帧间残差的相关性被发掘并利用,以获得高效的编码压缩比。在该方法中,残差被颜色量化成基础色和索引映射,而不进行传统编码的变换及量化过程。在进行颜色量化时,基于K-Means算法的YUV联合颜色量化方法被使用。接着,与上下文相关的层级熵编码方法被用来进行索引映射的熵编码。最后,我们将该发明专利技术作为帧间残差的新模式,加入到HEVC range extension的标准参考软件中。

【技术实现步骤摘要】
一种针对屏幕视频帧间残差的基础色索引映射算法
本专利技术涉及视频编码
,具体涉及帧间残差的基础色索引映射(basecolorandindexmap,BCIM)算法。
技术介绍
屏幕视频是指包含文字、图形、图像与自然视频的混合视频,它由计算机产生并记录得到,可应用在云计算、远程连接等诸多方面。随着移动互联网的发展,工业界对屏幕视频的压缩要求越来越高。然而,屏幕视频的采集与传统视频不同。传统视频利用摄像机采集,因而,视频中不可避免的会引入噪声。但屏幕视频由计算机产生并记录得到,因而,可以认为是无噪的。除了采集方式不同外,屏幕视频的内容与传统视频也并不相同。传统视频一般指自然视频,它包含的内容均是自然界中真实发生的场景。但屏幕视频是一种混合视频,不仅包含由计算机产生的内容(诸如word文档、pdf文档、网页等)还可能包含传统视频。因而,传统视频与屏幕视频具有不同的特性,传统的视频编码方法并不完全适用于屏幕视频的编码。传统的视频编码标准如MPEG-2[1]、H.264/AVC[2]、HEVC[3]等均是根据自然视频的特性设计形成的,因而,并不能直接应用到屏幕视频的编码中。为了充分的利用屏幕视频的特性,以对其进行高效地压缩编码,JCT-VC组织开展了针对屏幕视频编码的HEVCrangeextension标准制定工作。目前,有许多技术提案被提出,这些技术提案大体可以分成三类:帧内块拷贝(intrablockcopy)技术[4-5]、变换跳过(transformskip)技术[6-8]及基础色索引映射(BCIM)技术[8-10]。本专利技术提出一种基础色索引映射算法。下面,我们简要介绍基础色索引映射算法的基本思想,以及它是如何节省码率的。由于屏幕视频中包含的文字及图形等内容,往往只包含少数几种像素值(例如,word文档中的文字,大部分都是黑色),因而,我们可以通过聚类的方式将这几种像素值聚类出作为基础色,并形成基础色集合。对于视频帧中的每个像素点,我们不再用其自身的像素值表示,而使用集合中对应基础色的索引来表示,从而,形成了一个索引映射。在编码时,将基础色及对应的索引映射传至码流中。这就是基础色索引映射技术的基本思想。为有效说明基础色索引映射技术如何有效节省码率,我们以一个8x8编码块为例进行说明。假设每个像素点均用8bit来表示,那么传输这个8x8块需要8x8x8=512bit。假设将这个8x8块聚类成4个基础色,那么每个索引只需要2bit进行表示。在传输过程中,4个基础色先被传输,需要4x8=32bit。接着,8x8大小的索引映射被传输,需要8x8x2=128bit。因而,采用基础色索引映射技术,总共需要128+32=160bit。相比于传统的技术,码率被节省。由于基础色索引映射技术有效,因而,在HEVCrangeextension的制定过程中,有许多关于它的技术提案,但这些提案多应用于帧内块。在本专利技术中,一种针对帧间残差的基础色索引映射算法被提出。
技术实现思路
本专利技术提出一种将基础色索引映射技术应用于帧间的残差块的新方法。在该技术中,基础色信息、索引映射信息及一些其它信息均需要写入到码流中。因而,我们做了一个简单实验,以查看三部分信息所占用的码率情况。从表1可以看到,索引映射所占用码率最高,因而,在基础色索引映射技术中,高效的索引映射的熵编码十分重要。为达到该目的,在本专利技术中,我们提出两个子算法:YUV联合颜色量化算法及与上下文相关的分级熵编码算法。对于帧间的残差块,首先利用YUV联合颜色量化算法得到对应的基础色和索引映射。然后,利用上下文相关的分级熵编码算法对索引映射进行熵编码。基础色的熵编码则采用一般的CABAC算法。表1.基础色索引映射技术中各部分信息所占用码率的占比组成成份基础色索引映射其它占比4.25%95.50%0.25%下面,分别介绍YUV联合颜色量化算法及与上下文相关的分级熵编码算法。YUV联合颜色量化算法是一种优化的K-Means聚类算法,通过该算法可以聚类获得所有的基础色。在得到所有基础色后,我们再通过公式1来计算某像素点与基础色的距离,使得距离最小的基础色所在的聚类的编号被设为该像素点的索引。将所有像素点以聚类索引的方式进行表示,从而形成索引映射。在公式1中,Sresi代表残差各分量的值,SAi代表第i个基础色各分量的值。在YUV联合颜色量化算法中,每一个基础色均包含Y、U、V三个分量,因而,每个块只对应一个索引映射,并且索引映射的大小与当前编码块的大小相同。此外,在该算法中,基础色的数目可固定,也可以自适应。与上下文相关的分级熵编码利用索引映射的空域相关性,高效地表示该索引映射。对于索引映射的每一行,它被分成三级:行级、组级和像素级。若某行的所有索引值均相同,那么该行不再往下划分。将行级标识和该行的索引值传至码流中,完成该行的索引编码。否则,进一步将该行划分成若干个组级。若某一组级中所有的索引值均相同,那么该组不再往下划分。将组级标识和该组的索引值传至码流中,完成该组的索引编码。否则,将该组进一步划分成若干个像素级。组级包含的索引数目,可以固定,也可以自适应。对于像素级的索引值,我们利用图1所示的相邻索引值进行映射,并将映射后的值传至码流中。映射方法如公式2所示。在公式2中,A代表相邻索引中出现频率最高的索引,B代表相邻索引中出现频率第二高的索引,依次类推。对于本专利技术,将其作为帧间残差的一种新模式加入到HEVCrangeextension的参考软件中。加入本专利技术后的编码框架如图2所示。在图2中,共有两条路径,其中路径1为传统编码路径。它将帧间残差进行传统的变换与量化过程,适用于自然视频的编码。路径2使用本专利技术的方法,将帧间残差表示成基础色与索引映射,更适用于屏幕视频中的文字、图形等内容的编码。最后实际采用的路径,通过模式决策过程进行选择。图2中的BCIM模块进一步由图3的两部分组成,即YUV联合颜色量化部分和与上下文相关的分级熵编码部分。在解码端,通过解析一个块采用的模式来判断一个块是否采用基础色索引映射的编码方式。若是,那么通过熵解码将基础色信息解码出来,接着解码索引映射。在解码索引映射时,采用与上下文相关的分级熵编码的逆过程进行解码,称为与上下文相关的分级熵解码过程。首先解码行级标识,若行级标识为true,表明该行索引的索引值完全相同,接着解码该行的索引值,完成该行的索引解码。若行级标识为false,表明该行索引值不完全相同,那么解码组级标识。若组级标识为true,表明该组索引的索引值完全相同,接着解码组级的索引值,完成该组的索引解码。若组级标识为false,表明该组索引值不完全相同,那么依次解码每个像素级的索引值。在像素级,解出来的值并不是真正的索引值,我们需要根据周围已经解码的索引值(即上下文)进行反映射,得到当前像素级的真正索引值。得到基础色信息和索引映射后,即可得到残差块,再与预测块相加,即可得到重构块。附图说明图1:当前编码索引的相邻索引位置关系图。图2:帧间编码框架图。图3:本专利技术基础色索引映射的组成部分示意图。图4:YUV联合颜色量化的一个例子。具体实施方式本专利技术的基本思想:利用YUV联合颜色量化获得基础色集合及对应的索引映射。为高效压缩索引映射,采用与上下本文档来自技高网
...
一种针对屏幕视频帧间残差的基础色索引映射算法

【技术保护点】
一种针对屏幕视频帧间残差的基础色索引映射算法,包含YUV联合颜色量化算法和与上下文相关的分级熵编码方法;对于帧间的残差块,首先利用YUV联合颜色量化算法得到对应的基础色和索引映射,然后利用上下文相关的分级熵编码算法对索引映射进行熵编码。

【技术特征摘要】
1.一种针对屏幕视频帧间残差的基础色索引映射算法,包含YUV联合颜色量化算法和与上下文相关的分级熵编码方法;对于帧间的残差块,首先利用YUV联合颜色量化算法得到对应的基础色和索引映射,然后利用上下文相关的分级熵编码方法对索引映射进行熵编码;所述的YUV联合颜色量化算法是将Y、U、V三个颜色分量映射成一个索引映射,YUV联合颜色量化算法为:a)使用优化的K-Means聚类算法进行基础色的聚类;b)每一个基础色包含Y、U、V三个分量;c)每一个块对应一个索引映射,索引映射的大小与块大小相同;d)基础色的数目可自适应,也可固定;所述的与上下文相关的分级熵编码方法,是将索引映射中的每一行进行分级,对其中的某一级或者所有级利用上下文进行映射,将映射后的值而非原始值编入码流,与上下文相关的分级熵编码方法为:a)每一行索引值分成三级:行级、组级、像素级;b)若一行中所有索引值均相同,则该行不划分成组级,否则划分成组级;c)若一组中所有索引值均相同,则该组不划分成像素级,否则划分成像素级;d)组级中所包含的索引数目可自适应,也可固定;e)像素级的索引不直接编入码流中,而是先利用周围索引值进行映射,将映射后的值编入码流;f)对于行级的索引,将行级标...

【专利技术属性】
技术研发人员:马思伟陈蕾王诗淇王苫社
申请(专利权)人:北京大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1