针对压缩视频的基于转码的鲁棒性流媒体技术和系统技术方案

本发明专利技术描述了一种用于提高视频传输的抗误码能力的被称为无损帧间转码技术（ＬＩＦＴ）的新型转码技术。根据多个实施例，传统编码块被有选择地转码为新的转码块。在解码端，当能获得预测图像时，转码块可被转码回传统编码块。当不能获得预测图像时，转码块仍然可以独立地被鲁棒性的解码。根据另一实施例，提供了一种离线转码在线合成技术。该技术用转码块和传统编码块生成出一个复合帧，并且可调节转码块的比例，以此获得可伸缩的抗误码能力。

【技术实现步骤摘要】

本专利技术总的来说涉及视频压縮领域，特别是涉及基于转码的视 频压縮。
技术介绍
视频编码包括表示模拟和数字视频的视频数据，用于存储和/或 者传输。视频编码的目的在于紧凑地准确地表达视频数据，提供视频 导航的方式(即向前搜索，向后搜索，随机访问等)，并提供其他额 外的作者和内容的信息，如字幕。视频编码中最困难的任务之一是利用视频压縮减小视频数据的大小。视频压縮技术通常指减少表示数字 视频数据的数据量。该技术是空间域图像压縮和时域运动补偿的结 合°从80年代初以来，寻找高效的视频压縮技术已成为视频编码领 域的主导活动。第一个重要的里程碑是H. 261标准，从该标准中，JPEG 图形专家组采用了使用离散余弦变换(DCT)的想法。从那时起，压 縮技术取得了很多进步，如运动估计。特别是，国际电信联盟(ITU) 己经发布了许多在编码视频方面标准，包括H. 261， H. 262和H. 263。 国际标准化(ISO)和国际电工委员会(IEC)的国际组织联合制定了 最新的视频编码标准，H. 264/高级视频编码(AVC)，也称为MPEG-4第10部分。H. 264标准是早期的标准如MPEG-2和MPEG-4的发展产 物。在此，标准协议H. 261， H. 262， H. 263， H. 264/AVC, MPEG - 2， MPEG - 4， AVS (包括AVS-M， AVS1. 0，等)，以及H. 264 / SVC在 此以引用的方式并入。由于互联网的迅速发展和对视频内容的需求不断增加，通信网 络的视频流媒体服务已收到来自学术界和工业界的极大关注。在一个 典型的流媒体系统中，压縮的视频流从服务器传输到客户端设备时进行实时解码和显示。为了减少数据包传输过程中丢失或延误，多种错 误恢复技术被提出。大多数以前的错误恢复技术着力于提高在线压縮 过程中错误的鲁棒性。但是，在视频流系统中，如视频点播系统，视 频服务器依据离线压縮视频提供视频服务。因此，人们渴望提高传输 之前压縮过的视频时的抗误码能力，从而提供高质量的视频服务。
技术实现思路
在此描述了一项可以提供对离线压縮视频数据有错误恢复能力 的传输的专利技术的多个实施例。根据该项专利技术的多个实施例，无损帧间 转码(LIFT)技术把传统的编码视频数据块转化成为一种被称作转码 块的新型块，以实现类似帧内编码I块的抗误码能力。根据其中一个 实施例，在没有传输错误时，转码块可以无损的转换回到精确的原始 编码块。根据其中另一个实例，当传输错误造成预测块不可知时，转 码块可以像内部编码I块那样被鲁棒性的解码。不同于传统编码数据块，转码数据块在编码过程中，不仅包含 和视频数据块相关的编码系数，而且还包含用来生成系数数据的预测 数据。根据该项专利技术的一个实施例，转码数据块包含一个由与原始视 频数据块相关的系数块和一个与原始视频数据块相关的预测块构成 的线性组合。该系数块和预测块的线性组合优选地是经量化和变换的 系数块，与经量化和变换的预测块之和。在解码端，当从之前的编码数据块中可得到预测块时，原始的 视频数据可无损的从编码的比特流和预测数据中恢复。当由于包丢 失，解码器不能得到预测块时，原始的视频数据仍可鲁棒性地从编码 的比特流中重建。因为，经量化和变换的系数块和经量化和变换的预 测块的和是原始视频数据的近似值，所以如此产生的数据重建是原始 视频数据的无损估计。根据一个可替换的实施例，转码数据块可以直接从原始视频数 据产生。此外，转码数据块可转换回可由传统解码器解码的传统编码 数据块。此外， 一种利用新型离线转码和在线合成技术的视频服务器是12该专利技术的另一个实施例。根据这一实施例，视频服务器以离线转码的 方式，把传统的编码视频流数据块转化为其相应的转码数据块。当采 用编码数据块提供视频服务时，视频服务器有选择性地将视频流中的 一个或多个传统的编码数据块用其转码后的对应部分取代。由于转码 数据块可以被鲁棒性的解码，即使当解码器不能得到它们的预测块 时，所以在时变信道下高丢包率的环境中，如无线信道、Wi-Fi/Wi-Max， 3G/3.5G/4G、蓝牙、有线信道、互联网、IP网络等，原始视频数据 仍可从编码视频流中恢复。对于一个时变信道，在服务器不能在线转 码时，这个技术能实现和在线转码时相同的自适应抗误码能力。这项 技术尤其适合不同的信道状态下的多个客户同时连接到服务器的视 频流系统。根据一个实施例，提供了一种用于传输具有多个数据块的数字 视频数据的方法。该方法包括将视频数据块编码成编码数据块；将编码数据块转化成一个转码数据块，该转码数据块包含一个与视频数据块相关的预测块和一个与视频数据块相关的残差块；以及将转码数 据块传送到一个解码器进行解码。根据这个实施例，编码视频数据块进一步包括形成和视频数 据块相关的预测块；通过从视频数据块中减去预测块来计算残差块； 变换残差块；量化经变换的残差块；通过编码经量化和变换的残差块 来形成编码数据块。此外，将编码数据块转换成转码数据块进一步包括将编码数 据块解码至经量化和变换的残差块；形成与视频数据块相应的预测块；变换和量化预测块；对经量化和变换的残差块和经量化和变换的 预测块求和；通过编码求得的和值产生转码数据块。根据上述实施例，提供了一种计算机可读介质，其包括指示一 个或多个数字处理器的程序代码，用于传输具有多个数据块的数字视 频数据。该程序代码包括以下指令将一个视频数据块编码成一个编 码的数据块；将编码的数据块转换成一个转码的数据块，该转码数据 块包含一个预测块和与视频数据块相关的残差块；传送转码数据块至 解码器进行解码。根据专利技术的另一个实施例，描述一种可提供视频服务的方法， 这种视频服务是一种基于具有多个数据块的数字视频数据的视频服 务。该方法包括将多个数据块中的每一个数据块编码成一个编码数 据块；将多个编码数据块中的每一个转换为一个包含与编码数据块相 关的预测块和残差块的转码数据块；在通过计算机网络传送到解码器 的比特流中，传送多个编码数据块中的至少一个编码数据块和多个转 码数据块中的至少一个转码数据块；以及调整比特流中转码数据块的 比例。在另一个实施例中，提供了一种计算机可读的介质，包括其上存储的程序代码，它们可被数字处理器执行，以提供基于具有多个数据块的数字视频数据的视频服务。计算机代码包括以下指令将多个编码数据块中的每一个编码成为编码数据块；将每个编码数据块转换为转码数据块，该转码数据块中包括一个与编码数据块相关的预测块 和一个与编码数据块相关的残差块；在通过计算机网络传送到解码器的比特流中，传送多个编码数据块中的至少一个编码数据块和多个转 码数据块中的至少一个转码数据块；调整比特流中的转码数据块的比 例。在另一个实施例中，提供了一种用于解码具有多个块的视频数 据的方法。这种方法包括接收携带编码数据块的比特流，其中编码 数据由一个视频数据块编码得来；通过解码比特流获取编码数据块； 确定编码数据块是一个转码数据块，该转码数据块包括一个与视频数 据块相关的预测块和一个与视频数据块相关的残差块；确定与视频数 据块相关的预测块的可得性；以及根据预测块的可得性选择第一和第 二解码方案中的一个解码方案来解码转码数据块。根据这个实施例，第一种解码方本文档来自技高网...

【技术保护点】
一种传输具有多个数据块的数字视频数据的方法，该方法包括：　将一个视频数据块编码成为一个编码数据块；　将该编码数据块转换成包括与视频数据块相关联的一个预测块和一个残差块的转码数据块；　将该转码数据块传送到解码器进行解码。

【技术特征摘要】
US 2008-9-19 61/136,6211.一种传输具有多个数据块的数字视频数据的方法，该方法包括将一个视频数据块编码成为一个编码数据块；将该编码数据块转换成包括与视频数据块相关联的一个预测块和一个残差块的转码数据块；将该转码数据块传送到解码器进行解码。2. 根据权利要求1所述的方法，其中视频数据块、编码数据块、转码数据块、预测块和残差块的大小相同，它们的大小是4x4， 8x8，或者16x16。3. 根据权利要求1所述的方法，编码视频数据块还包括构造与视频数据块相关联的预测块；通过从视频数据块中减去预测块来计算出残差块；对残差块进行变换；量化变换后的残差块；利用熵编码对量化变换后的残差块进行编码，来构造编码数据块。4. 根据权利要求3所述的方法，其中数字视频数据包含一个帧序列，并且每个帧具有一个或多个数据块。5. 根据权利要求4所述的方法，其中编码数据块是一个帧内编码数据块，并且与视频数据块相关联的预测块是基于来自包含该视频数据块的帧的数据形成的。6. 根据权利要求4所述的方法，其中编码数据块是一个帧间编码数据块，并且与视频数据块相关联的预测块是基于来自不包含该视频数据块的帧的数据形成的。7. 根据权利要求3所述的方法，其中变换、量化和编码运算都有符合视频编码标准的逆运算。8. 根据权利要求7所述的方法，其中视频编码标准是下列标准之一H. 261， H. 262, H. 263， H. 264/AVC， MPEG-2， MPEG-4， AVS-M，AVSl.O， H. 264/SVC。9. 根据权利要求3所述的方法，其中，将编码数据块转换成转码数据块还包括-将该编码数据块解码成为量化变换后的残差块；构造对应于视频数据块的预测块；变换和量化预测块；对量化变换后的残差块和量化变换后的预测块求和；通过编码所述和来产生转码数据块。10. 根据权利要求3所述的方法，其中变换、量化和编码符合以下视频编码标准中的一个H. 261， H. 262， H. 263， H. 264/AVC，MPEG-2， MPEG-4， AVS-M， AVS1. 0， H. 264/SVC。11. 根据权利要求IO所述的方法，其中数字视频数据包含一个帧序列，该方法还包括构造残差块的一个近似值；通过对残差块的近似值和预测块求和来重建视频数据块；将重建后的视频数据块合并成帧序列的重建结果。12. 根据权利要求11所述的方法，还包括将运动补偿应用到帧序列的重建结果上，其中预测块是从运动补偿后的帧中获得的。13. 根据权利要求12所述的方法，其中编码数据块是一个帧内编码数据块，并且预测块是从一个包含了重建的视频数据块的运动补偿后的帧中获得的。14. 根据权利要求12所述的方法，其中编码数据块是一个帧间编码数据块，并且预测块是从一个不包含重建的视频数据块的运动补偿后的帧中获得的。15. —种计算机可读媒体，其包含用来指示一个或多个数字处理器的程序代码，其中数字处理器用来传输具有多个数据块的数字视频数据，该程序代码包括将视频数据块编码成为编码数据块的指令；将编码数据块转换成转码数据块的指令，其中转码数据块包含了与视频数据块相关联的一个预测块和一个残差块；将转码数据块传输给解码器进行解码的指令。16. 根据权利要求15所述的计算机可读媒体，将视频数据块编码成为编码数据块的指令还包括构造与视频数据块相关联的预测块的指令；通过将预测块从视频数据块中减去来计算残差块的指令；变换残差块的指令；量化变换后的残差块的指令；通过编码量化变换后的残差块来构造编码数据块的指令。17. 根据权利要求16所述的计算机可读媒体，将编码数据块转换成为转码数据块还包括将编码数据块解码成为量化变换后的残差块的指令；构造与视频数据块对应的预测块的指令；对量化变换后的残差块和量化变换后的预测块求和的指令；编码所述和以及产生转码数据块的指令。18. 根据权利要求17所述的方法，其中数字视频数据包括一个帧序列，计算机代码还包括从量化变换后的残差块构造残差块的近似值的指令；对残差块的近似值和预测块求和并产生视频数据块的重建结果的指令；将视频数据块的重建结果合并成为帧序列的重建结果的指令。19. 一种基于具有多个数据块的数字视频数据来提供视频服务的方法，该方法包括将多个数据块中的每个数据块编码成为编码数据块；将多个编码数据块中的每个编码数据块转换成为包括与编码数据块相关联的一个预测块和一个残差块的转码数据块；在通过计算机网络传送到解码器的一个比特流内，传输多个编码数据块中的至少一个编码数据块和多个转码数据块中的至少一个转码数据块；调节比特流中转码数据块和编码数据块的比例。20. 根据权利要求19所述的方法，还包括从解码器接收一个与通过计算机网络进行传输相关联的误差参数；根据该误差参数调节转码数据块和编码数据块的比例。21. 根据权利要求20所述的方法，其中计算机网络是一个基于包的网络，同时所述误差参数包含丢包率。22. 根据权利要求21所述的方法，还包括检测丢包率的上升趋势；根据丢包率的上升趋势来提高转码数据块和编码数据块的比例。23. 根据权利要求21所述的方法，还包括检测丢包率的下降趋势；根据丢包率的下降趋势来降低转码数据块和编码数据块的比例。24. 根据权利要求21所述的方法，还包括确定丢包率高于一个预设的阈值；根据该确定结果来提高转码数据块和编码数据块的比例。25. 根据权利要求21所述的方法，还包括确定丢包率低于一个预设的阈值；根据该确定结果来降低转码数据块和编码数据块的比例。26. 根据权利要求19所述的方法，在比特流内传送多个编码数据块中的至少一个编码数据块和多个转码数据块中的至少一个转码数据块，还包括通过用一个或多个转码数据块来替换多个编码数据块中对应的一个...

【专利技术属性】
技术研发人员：区子廉，范晓鹏，
申请(专利权)人：香港科技大学，
类型：发明
国别省市：HK[中国|香港]