视频编码设备和解码设备、视频编码方法和解码方法技术

本公开提供了一种视频编码设备、视频解码设备、视频编码方法以及视频解码方法。视频编码设备将解码延迟和显示延迟校正信息附至编码视频数据，以便确保即使当已从该视频数据流中包含的图像之中丢弃在编码顺序上比待剪接至另一个编码视频数据流的尾端的视频数据流中的起始编码图像晚的一个或多个图像时，起始编码图像及其随后的图像也能够通过视频解码设备连续地解码与显示。校正信息是基于每个丢弃的图像与紧邻在该丢弃的图像前的图像之间的解码间隔来计算的。该视频编码设备通过利用所计算的校正信息来校正起始编码图像及其随后的图像的解码延迟和显示延迟。

【技术实现步骤摘要】
视频编码设备和解码设备、视频编码方法和解码方法本申请为于2013年9月30日提交、申请号为201310462438.7、专利技术名称为“视频编码设备和解码设备、视频编码方法和解码方法”的中国专利申请的分案申请。
这里所讨论的实施例涉及一种无需对编码的视频数据进行解码即可编辑该视频数据的视频编码设备和视频编码方法，并且还涉及一种用于对通过这样的视频编码设备所编码的视频数据进行解码的视频解码设备和视频解码方法。
技术介绍
通常，用于表示视频数据的数据量是非常大的。因此，处理这样的视频数据的设备在将该视频数据发送到另一个设备之前、或者在将该视频数据存储在存储装置中之前通过编码对视频数据进行压缩。诸如由国际标准化组织/国际电工委员会(ISO/IEC)所设计的MPEG-2(运动图像专家组阶段2)、MPEG-4、H.264MPEG-4高级视频编码(MPEG-4AVC/H.264)的编码标准是如今被广泛使用的典型视频编码标准。这样的编码标准采用帧间编码(通过不仅使用信息本身、而且还使用来自它之前和之后的图像的信息来对图像进行编码的编码方法)和帧内编码(通过仅使用包含在待编码图像中的信息来对图像进行编码的编码方法)。帧间编码方法使用称为帧内编码图像(I图像)、通常根据过去的图像来预测的前向预测图像(P图像)、以及通常根据过去和未来两种图像来预测的双向预测图像(B图像)这三种类型的图像。通常，通过帧间编码所编码图像或块的代码量小于通过帧内编码所编码图像或块的代码量。这样，相同视频序列内的图像与图像的代码量视所选择的编码模式而变化。同样，相同图像内的块与块的代码量视所选择的编码模式而变化。因此，为了使包含有编码视频的数据流即使在该代码量在时间上变化的情况下也能够以恒定的传输率来发送，将用于缓冲数据流的发送缓冲器设于发送端，而将用于缓冲数据流的接收缓冲器设于接收端。MPEG-2和MPEG-4AVC/H.264f分别各自定义了被称为视频缓冲检验器(VBV)或编码图像缓冲器(CPB)的理想的视频解码设备中的接收缓冲器的行为。为方便起见，理想的视频解码设备将会在下文中简称为理想解码器。规定理想解码器执行花费零时间来解码的瞬时解码。例如，日本特开2003-179938号公报公开了一种关于VBV的视频编码控制方法。为了不引起理想解码器中的接收缓冲器上溢或下溢，视频编码器控制代码量以确保当理想解码器解码给定图像时解码给定图像所需要的所有数据在接收缓冲器中是可用的。当视频编码器以恒定的传输率来发送编码视频数据流时，如果到图像要被视频解码器解码和显示的时候尚未完成对解码图像所需要的数据的传输的话，则接收缓冲器可能下溢。也就是说，接收缓冲器下溢是指其中解码图像所需要的数据在视频解码器的接收缓冲器中是不可用的情况。如果发生这种情况，视频解码器则不能够执行解码，并且会发生跳帧。鉴于此，视频解码器在自它的接收时间起的规定时间以前显示延迟了流之后的图像，以使得在不引起接收缓冲器下溢的情况下能够进行解码。如前所述，规定了理想解码器在零时间内完成解码。结果，如果将第i个图像输入到视频编码器的时间是t(i)、而第i个图像在理想解码器处的解码时间为tr(i)的话，则图像变为准备好用于显示的最早时间与t(i)相同。由于对于任何图像来说图像显示期{t(i+1)-t(i)}与{tr(i+1)-tr(i)}是相等的，所以将解码时间tr(i)给定为tr(i)＝t(i)+dly，即，自输入时间t(i)起延迟固定时间dly后的时间。这意味着，视频编码器不得不在时间tr(i)以前完成将解码所需的所有数据到接收缓冲器的传输。参考图1，将给出接收缓冲器如何进行操作的描述。在图1中，横坐标表示时间，而纵坐标则表示接收缓冲器的缓冲器占用量。实线曲线100描绘了作为时间的函数的缓冲器占用量。接收缓冲器的缓冲器占用量以与规定的传输率同步的速率还原，而用于解码每个图像的数据在图像的解码时间时从缓冲器中恢复。在时间at(i)时开始将第i个图像的数据输入到接收缓冲器，而在时间ft(i)时输入第i个图像的最后的数据。理想解码器在时间tr(i)时完成对第i个图像的解码，从而第i个图像在时间tr(i)时变为准备好用于显示。但是，如果数据流包含B图像的话，则第i个图像的实际显示时间可能由于图像重新排序(改变编码顺序)的发生而变得迟于tr(i)。下面将详细描述MPEG-4AVC/H.264中描述每个图像的解码时间和显示时间的方法。在MPEG-4AVC/H.264中，在补充增强信息(SEI)消息中描述与像素的解码不直接相关的补充信息。定义了几十个SEI消息类型，且类型是通过payloadType参数来标识的。SEI被附至每个图像。作为SEI的一种类型的BPSEI(缓冲期SEI)被附到独立图像，即，无需任何过去的图像即可解码的图像(通常为I图像)。在BPSEI中描述了InitialCpbRemovalDelay这个参数。InitialCpbRemovalDelay参数表示附BPSEI的图像的第一个位在接收缓冲器中的到达时间与附BPSEI的图像的解码时间之间的差。该差的分辨率是90kHz。第一个图像的解码时间tr(0)是编码视频数据的第一个位到达视频解码器时的时间(将该时间指定为0)；也就是说，解码时间自时间at(0)起而被延迟了InitialCpbRemovalDelay÷90,000[秒]的时间量。通常，作为一种类型的SEI的PTSEI(图片定时SEI)被附到每个图像。PTSEI中描述了参数CpbRemovalDelay和DpbOutputDelay。参数CpbRemovalDelay表示紧邻在前的附有BPSEI的图像的解码时间与附有PTSEI的图像的解码时间之差。参数DpbOutputDelay表示附有PTSEI的图像的解码时间与该图像的显示时间之差。这些差的分辨率是一场图像间隔。因此，当图像为帧时，参数CpbRemovalDelay和DpbOutputDelay中的每一个的值是2的倍数。第二个和后续图像中的每一个的解码时间tr(i)比第一个图像的解码时间tr(0)延迟与tc*CpbRemovalDelay(i)[秒]相等的时间量。CpbRemovalDelay(i)是附到第i个图像的CpbRemovalDelay。另一方面，tc是图像间的时间间隔[秒]；例如，在29.97赫兹逐行视频的情况下，tc是1001/60000。包括附有BPSEI的图像在内的图像中的每一个的显示时间比tr(i)延迟了等于tc*DpbOutputDelay(i)的时间量。DpbOutputDelay(i)是附到第i个图像的DpbOutputDelay。即，在时间tr(0)后，每个图像在tc的整数倍的时间时进行解码和显示。根据视频数据的用途，可以对编码视频进行编辑。编辑编码视频涉及将编码视频数据划分成更小的部分以及将它们剪接以生成新的编码视频数据流。例如，将另一个视频流(例如，广告)插入到当前广播的视频流(即，剪接)是编辑操作的一个例子。当编辑帧间预测编码视频时，特别是在帧间编码图像的情况下，编码图像不能自身正确解码。因此，当在期望的图像位置剪接两个编码视频数据流时，编码视频数据编辑机首先解码待剪接的两个编码视频本文档来自技高网...

【技术保护点】
一种视频编码方法，用于通过将利用帧间预测编码的第一编码视频数据和第二编码视频数据剪接在一起来生成剪接的编码视频数据，所述视频编码方法包括：获得解码延迟和显示延迟校正信息并且将所述校正信息附至所剪接的视频数据，所述解码延迟和显示延迟校正信息用于确保即使当已从所述第二编码视频数据中包含的图像中丢弃在编码顺序上比待剪接至所述第一编码视频数据的尾端的所述第二编码视频数据中的起始编码图像晚的一个或多个图像时，所述第二编码视频数据中包含的所述起始编码图像和随后的图像也能够通过视频解码设备连续地解码与显示；以及从所剪接的视频数据中丢弃以下图像：在编码顺序上晚于所述起始编码图像且如果从所述起始编码图像开始解码则不保证被正确解码的任何图像，其中，所述校正信息是基于每个丢弃的图像与在解码顺序上紧邻在所述丢弃的图像前的图像之间的解码间隔来计算的。

【技术特征摘要】
2012.10.01 JP 2012-2196631.一种视频编码方法，用于通过将利用帧间预测编码的第一编码视频数据和第二编码视频数据剪接在一起来生成剪接的编码视频数据，所述视频编码方法包括：获得解码延迟和显示延迟校正信息并且将所述校正信息附至所剪接的视频数据，所述解码延迟和显示延迟校正信息用于确保即使当已从所述第二编码视频数据中包含的图像中丢弃在编码顺序上比待剪接至所述第一编码视频数据的尾端的所述第二编码视频数据中的起始编码图像晚的一个或多个图像时，所述第二编码视频数据中包含的所述起始编码图像和随后的图像也能够通过视频解码设备连续地解码与显示；以及从所剪接的视频数据...

【专利技术属性】
技术研发人员：数井君彦，小山纯平，岛田智史，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP