一种与H264标准兼容的屏幕内容编码解码方法技术

本发明专利技术公开了一种与H264标准兼容的屏幕内容编码解码方法，本发明专利技术将字典压缩引入传统的视频编码框架中，新增一种针对文本内容的编码模式——字典编码。通过码率和失真的联合优化，为每个图像块选择最恰当的编码模式，文本区域一般选择字典编码，其它区域保留原有的编码方式，从而提高屏幕内容中大量出现的文本区域的压缩质量。同时，通过对H264保留的编码模式的合理利用和字典编码时机的恰当处理，保持了与标准技术的兼容性。本发明专利技术具有较高的压缩质量，同时码流与H264标准兼容。

【技术实现步骤摘要】

本专利技术属于视频编解码
，涉及一种屏幕内容编解码方法，具体涉及一种与H264标准兼容的屏幕内容编码解码方法。技术背景在视频会议、远程教育、远程协作办公系统中，共享计算机屏幕内容是一项重要的功能，屏幕共享为展示和分享远端文档资料提供了一条迅捷的途径。屏幕内容图像是一种文字图形和自然图像混合的图像，包含Word/PDF文档，PPT演讲文档，Web页面等各种类型且日益多样化，同时由于屏幕图像分辨率较高，对网络带宽消耗较大，因此，必须对其进行有效的压缩。混合图像中的文字图形部分包括许多人眼敏感的高频信息，传统的静态图像压标准(如JPEG)和动态视频压缩标准(如H264)基于人眼对自然图像中高频信息不敏感的特点将高频部分粗糙量化，直接用于压缩混合图像，往往导致文字图形模糊不清。一些意在维持文本图形边缘高频信息的改进技术，如空域直接量化、调色板编码、无损压缩，需要修改标准编码框架的内核，无法做到与标准解码器的兼容，影响了屏幕内容共享的互操作性。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种与H264标准兼容的屏幕内容编码解码方法。本专利技术所采用的技术方案是:一种与H264标准兼容的屏幕内容编码解码方法，其特征在于，所述的编码方法，包括以下步骤:步骤1:图像块编码比特数预估，选取若干典型的文本屏幕内容组成大的训练数据集，对训练集中的图像逐帧执行字典编码，统计产生的总体比特数，再根据图像块的总数目，将这些比特数折算到单个图像块，即得到单个图像块字典编码方式下的比特数R ;步骤2:在H264标准编码模式和步骤I中得到的字典编码模式中，通过码率失真优化代价函数为每个图像块选取最佳编码模式，对于被选中为字典编码模式的图像块将其模式代码设置为I_PCM，但不立即编码；步骤3:图像块数据收集，将每个判别为I_PCM的图像块数据写入一个公共缓冲区；重复步骤2，直至一帧图像处理完毕；步骤4:对每个图像块的像素按列优先顺序重组后执行字典编码，包含亮度和两个色度分量，然后执行字典编码，将字典编码的码流写入H264标准编码的码流的前面，形成复合码流。作为优选，步骤I中所述的典型的文本屏幕内容包括Word文档、PPT幻灯片、网页、CAD图形。作为优选，步骤I中所述的字典编码采用的是Lempel-Ziv-Markovchain-Algorithm 算法。作为优选，步骤2中所述的，通过码率失真优化代价函数为每个图像块选取最佳编码模式，其具体实现过程是计算图像块在两种编码模式下的失真D和比特数R，然后通过码率失真优化代价函数J = D+ λ R选取联合失真J最小的模式作为最佳编码模式；其中J为联合失真，参数λ为拉格朗日参数，λ用于权衡失真与码率间的度量权重。作为优选，编码后进行解码方法，包括以下步骤:步骤1:从复合码流中提取字典码流，然后执行字典解码，得到所有模式为I_PCM图像块的解码样点数据；步骤2:顺序扫描解码样点数据并解析H264码流，对解析出模式为I_PCM的图像块，将其对应的像素样点数据写入H264码流中；步骤3:执行标准的H264解码过程。与标准化的H264编码技术以及目前一些针对屏幕视频编码的改进方案比较，本专利技术具有以下优点和积极效果:(I)本专利技术通过新增加的字典编码模式对前景分布稀疏的文本区域采取无损压缩，提高了屏幕视频的编码质量和压缩效率；(2)本专利技术借用H264定义的、但未用到的I_PCM模式指示字典编码模式，因此，码流可被标准的H264解码器识别，不需要修改解码器，保持了标准兼容性。(3)本专利技术新增加的字典编码模式不需要逐块计算编码失真和比特数消耗，因此，不带来运算复杂度的额外增加。【附图说明】图1:本专利技术实施例的编码流程图。图2:本专利技术实施例的解码流程图。【具体实施方式】为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。屏幕内容主要以文本、图形为主，前背景色彩层次分明，图像底色单一、前景颜色相对也不丰富，像素颜色空间的数据分布比较稀疏，一般集中在少数的几种数值上，图像块中像素间的局部相关性不强，因此，去空间相关性的变换编码的作用有限；另一方面，不同于自然场景视频，屏幕内容一般不含带噪声，而且文字边缘锐利，量化失真会模糊文字边缘，造成文字不清晰。基于以上两点认识，传统的变换加量化的编码方案不适合高质量的屏幕内容压缩。相反，屏幕内容文本区域像素稀疏分布的特点，恰好适合无损字典压缩。在上述技术思路下，本专利技术需要重点解决三个关键问题:(1)H264等现有压缩标准中定义了多种编码模式，本专利技术又新增了一种字典编码模式。通常而言，现有的编码模式对具有自然视频属性的区域比较有效，如嵌入的图像、动画等，而新增的编码字典模式一般更适合文本块压缩，错误地选择了编码模式反而会降低整体压缩性能。因此，准确地为每个图像块分配恰当的编码模式很关键。(2)字典编码的核心原理就是从历史数据中寻找当前数据的匹配，如果匹配成功，就以数据对(匹配长度、匹配距离)来替代原始数据，从而实现对数据的无损压缩。因此，字典编码的效率与待编码数据的长度密切相关，一次编码输入的数据越多，效率越高，反之越低。用WinZip或WinRar等工具压缩文件的大量实践也证明了这一点。然而，16x16像素图像块的原始数据长度很短，逐个单独进行压缩必将极大地限制了字典编码器的性能。如何通过适当的数据重组保证字典编码效率至关重要。(3)新增的字典编码模式显然不能被符合H264等标准的解码器所接受，直接将码流送给标准解码器解码，解码器会视为错误；修改解码器内核可以做到对增加的模式的兼容性，但在很多场合下，解码器对用户和程序开发人员来说都是透明的，不具备修改的条件，如硬件解码器。因此，如何将字典与现有标准混合编码的码流在送入解码器内核前还原为标准的码流从而维持标准兼容性很重要。针对上述问题，本专利技术在分析H264编码标准和代表性字典压缩技术的特点的基础上，逐一提出如下解决方法。(I)视频编码通常根据码率失真优化(RDO)来选择最优的编码模式，优选的编码模式要同时给出最小编码失真与码率消耗，即优化的代价函数为J = D+AR，其中J为联合失真，D为有损编码带来的图像失真，R为按该模式编码产生的比特数，参数λ为拉格朗日参数，权衡失真与码率间的度量权重，一般事先通过统计或经验的方式预设置好。Η264原有的编码模式执行的是有损编码，失真D和比特数R指标都要统计，但在字典编码模式下，由于是无损编码，失真实际为零，只需要衡量比特数。通常有损编码通过将变换、量化等环节产生的参数送入熵编码器编码、再根据实际编码的比特数来确定参数R的值，但在字典编码模式下，如果也采取这种思路，由于字典编码器对于少量数据的压缩性能不佳，压缩效率将被低估，导致产生的比特数R要高出比实际编码情况，从而带来模式判断不准确，很多本该判断为字典编码的块可能被误判为其它模式。因此，本专利技术在衡量字典编码一个图像块需要的比特数时，不是对图像块进行实际的编码来获得，而是采取训练的方式为图像块预先估计一个数值。具体做法是，选取若干典型的文本屏幕内容组成大的训练数据集，然后对训练集中的图像逐帧执行字典编本文档来自技高网...

【技术保护点】
一种与H264标准兼容的屏幕内容编码解码方法，其特征在于，所述的编码方法，包括以下步骤：步骤1：图像块编码比特数预估，选取若干典型的文本屏幕内容组成大的训练数据集，对训练集中的图像逐帧执行字典编码，统计产生的总体比特数，再根据图像块的总数目，将这些比特数折算到单个图像块，即得到单个图像块字典编码方式下的比特数R；步骤2：在H264标准编码模式和步骤1中得到的字典编码模式中，通过码率失真优化代价函数为每个图像块选取最佳编码模式，对于被选中为字典编码模式的图像块将其模式代码设置为I_PCM，但不立即编码；步骤3：图像块数据收集，将每个判别为I_PCM的图像块数据写入一个公共缓冲区；重复步骤2，直至一帧图像处理完毕；步骤4：对每个图像块的像素按列优先顺序重组后执行字典编码，包含亮度和两个色度分量，然后执行字典编码，将字典编码的码流写入H264标准编码的码流的前面，形成复合码流。

【技术特征摘要】

【专利技术属性】
技术研发人员：王中元，傅佑铭，何政，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42