视频编码设备、控制视频编码方法技术

可以实现一种简单结构的视频编码设备，其能够避免因为视频编码处理的超限运行而导致的视频显示质量下降。该视频编码设备包括：编码装置，用于使得每个视频帧经历第一编码处理；处理时间检测装置，用于检测执行帧编码所需要的编码处理时间；延迟时间计算装置，用于根据对于编码处理给出的估计编码处理时间和实际编码处理时间来计算帧编码处理的处理延迟时间；以及编码负荷控制装置，用于当帧处理延迟时间超过预定阈值时以具有低于第一编码处理方法的处理负荷的第二编码处理方法对随后的帧进行编码。因此，可以在已经发生了超限运行之后减少帧处理时间，恢复超限运行，防止跳帧发生。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频编码设备、控制视频编码的方法和控制视频编码的程序，并且适于被应用到实施软件编码的视频编码设备。
技术介绍
传统地，对视频信号进行压缩编码/解码的设备常常以视频处理专用硬件来进行编码处理(编码)和解码处理(解码)。将此称为硬件编解码(例如，见专利文献1)。相反地，随着近来计算机技术的发展，已经通过在通用CPU(中央处理单元)上执行视频处理程序来实现上述的编码处理和解码处理(将此称为软件编解码)。与硬件编解码不同，这种软件编解码的优点是其具有仅仅通过改变视频处理程序就能容易地对诸如MPEG(运动图像专家组)1/2/4和JPEG2000等的国际标准化的压缩编码系统或其他各种压缩编码方法进行解析的能力。此外，在其中已经开发了新的压缩编码方法的情况中，仅仅根据该方法来更新视频处理程序就能够容易的解析最新的压缩编码方法。专利文献1日本专利公开No.2003-61097在软件编码中，CPU以分时的方式交替地处理视频编码处理(视频编码线程或进程)和音频编码处理(音频编码线程或进程)。对于音频，其延迟或缺失易于被用户察觉，而且通常，音频编码线程优先进行处理。例如，覆盖一帧的音频在一帧时间段期间(1/30秒)经历处理，之后一帧的视频经历处理。图8示出了软件编码的处理状态，将从外部输入的视频数据以及音频数据临时分别存储在视频输入缓存器以及音频输入缓存器中。CPU首先执行音频编码线程并且从音频输入缓存器中读出压缩的代码，之后将覆盖一帧的音频数据输出。随后，CPU执行视频编码线程，从视频输入缓存器中读出压缩的代码，之后输出一帧的视频数据。因此，CPU以分时的方式以帧时间段为基础顺序地进行对音频数据以及视频数据的编码。这里，在对音频进行压缩编码处理中，其处理时间变化不大，但是相反地，在对视频进行压缩编码处理中，其处理时间根据试图经历编码的输入视频(图片或运动画面等)的复杂程度而明显变化。例如，对于有很多相对平缓部分和较少运动的视频的处理时间较短，相反地，对包括复杂画面和诸如体育广播的、以中等速度经历镜头移动和缩放的正在进行的运动的视频的处理时间就会增加。因为这种处理时间的增加，存在其中在一帧时间段内不能完成编码处理的情况。将这种处理延迟称为超限运行(overrun)。也就是，在图8中，第N帧极其复杂并且认为在一帧时间段内完成编码已经失败(发生超限运行)。在这种情况中，经历超限运行发生的CPU对第N帧的编码处理的完成将以削减对第N+1帧进行编码的时间而结束。这里，通常由OS(操作系统)的上下文切换来实施对音频的各个编码线程的切换。这里，这种帧时间段原来是用于处理第N+1帧的时间段，但是经历超限运行发生的帧已经经历了处理，所以第N+1帧不能经历处理。因此，CPU跳过对相关第N+1帧的编码处理以从随后的第N+2帧进行编码处理。因此，传统的软件编码被设计来在视频编码处理中已经发生超限运行的情况中跳过对随后帧的编码。但是，发生这种跳帧将使得所显示的视频处于逐帧提前的状态，从而产生损害视频的显示质量的问题。为了防止这种超限运行，可以考虑多个CPU的并行操作和增加CPU的时钟频率等，但是就会存在使得整个设备变得复杂并且增加功耗的问题。
技术实现思路
在考虑到上述问题的情况下已经获得了本专利技术，本专利技术试图提出一种结构简单并且能够避免因为视频编码处理的超限运行而导致的视频显示质量下降的视频编码设备，以及一种控制视频编码的方法和一种控制视频编码的程序。为了解决这种问题，将本专利技术进行设计以提供一种视频编码设备，其带有编码装置，用于以第一编码处理方法基于帧将视频送入编码处理；处理时间检测装置，用于检测对帧进行编码处理所需要的实际编码处理时间；延迟计算装置，用于根据对编码处理给出的预定的编码预期处理时间和实际编码处理时间来计算对帧进行编码处理的处理延迟时间；以及编码负荷控制装置，用于在对帧的处理延迟时间大于或等于预定的阈值的情况中，指令编码装置以带有低于第一编码处理方法的编码处理负荷的第二编码处理方法对随后的帧实施编码处理。根据编码处理中延迟的发生，为了减小对随后帧的编码负荷而进行的控制使得在发生超限运行之后缩短帧处理时间从而从超限运行中恢复成为可能，并且使得防止由于超限运行的发生而导致的跳帧和防止视频显示质量下降成为可能。此外，已经将本专利技术进行设计以当对连续的多个帧的处理延迟时间的累积值大于或等于预定的阈值时，以带有低于第二编码处理方法的编码处理负荷的第三编码处理方法对相关多个帧之后的帧实施编码处理。即使在超限运行的值较大并且从对一帧的相关超限运行的恢复以失败结束的情况中，进一步减轻对前向帧的编码处理负荷也使得在多个帧期间从超限运行进行具体实际的恢复成为可能。如上所述，本专利技术可以实现一种视频编码设备、控制视频编码的方法和控制视频编码的程序，其能够根据视频编码处理中延迟的发生来控制对随后帧的编码负荷以减少延迟的发生；从而，在发生超限运行之后缩短帧的处理时间以从超限运行中进行恢复；并且防止由于发生超限运行而导致的跳帧并且避免视频显示质量的下降。附图说明图1示出了根据本专利技术的信号处理设备的整体结构框图；图2示出了信号处理设备的系统的示意框图；图3示出了用于解释根据本专利技术的超限运行恢复的时序图；图4示出了对正常编码进行处理的示意框图；图5示出了在恢复编码模式1上进行处理的示意框图；图6示出了在恢复编码模式2上进行处理的示意框图；图7示出了根据本专利技术的超限运行恢复处理过程的流程图；和图8示出了用于解释根据超限运行的跳帧的时序图。具体实施例方式以下，参照附图来说明本专利技术的实施方式。(1)信号处理设备的整体结构在图1中，参考数字1整体表示作为根据本专利技术的视频编码设备的信号处理设备，并且将本地存储器3、信号输入/输出部分4和网络接口5都连接到整体控制相关信号处理设备1的CPU2。用快速本地总线将CPU2直接连接到本地存储器3。而且在信号处理设备1中，将CPU2进行设计以读出和执行未在图中示出的ROM中所存储的编解码程序，从而用软件对视频和音频信号进行编码和解码处理。也就是，信号处理设备1在编码视频和音频的时候，将从外部输入的模拟视频信号和模拟音频信号送到信号输入/输出部分4的A/D(模拟/数字)转换器4A进行数字转换，产生数字视频数据和数字音频数据(之后简称为视频数据和音频数据)，并且临时将它们存储在本地存储器3中。CPU2顺序地读出在本地存储器3中存储的视频数据和音频数据，并且例如以诸如MPEG1/2/4等的国际标准化的压缩系统，或者以符合已经在上面描述的编解码程序的其他各种视频/音频压缩系统，对所述数据进行压缩编码，并且产生编码的视频数据和编码的音频数据。而且CPU2临时地将这些编码的视频数据和编码的音频数据存储在本地存储器3中，之后顺序地读出它们并且将它们提供给网络接口5。网络接口5处理编码的视频数据和编码的音频数据以根据预定的格式形成数据包(打包)，从而将它们发送到外部存储介质或者位于发送目的地的设备。在另一方面，信号处理设备1在对视频和音频进行解码的时候，将从外部存储介质和位于发送源处的设备提供来的打包过的编码的视频数据和编码的音频数据用网络接口5进行恢复(解打包)，并且将它们临时地存储在本地存储器3中。作为编码装置的CPU2顺序地本文档来自技高网...

【技术保护点】
一种视频编码设备，其特征在于包括：编码装置，用于以第一编码处理方法基于帧将视频送入编码处理；处理时间检测装置，用于检测对所述帧进行编码处理所需要的实际编码处理时间；延迟计算装置，用于根据对所述编码处理给出的预定的编码预期处理时间和所述实际编码处理时间来计算对所述帧进行编码处理的处理延迟时间；以及编码负荷控制装置，用于在对所述帧的所述处理延迟时间大于或等于预定的阈值的情况中，指令所述编码装置以带有低于所述第一编码处理方法的编码处理负荷的第二编码处理方法对随后的帧实施编码处理。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：塚越郁夫，高田信司，后藤晃一，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]