视频处理方法及装置制造方法及图纸

本发明专利技术涉及视频处理方法，上述视频处理方法包括：在影像中央处理单元与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务的步骤；对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息的步骤；以及在多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理的步骤。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频处理方法及装置，更详细地，涉及利用多个处理单元对视频进行处理的结构。
技术介绍
随着对超高清(UHD，ultra-highdensity)的需求，以目前的视频压缩技术很难收容存储介质的大小及传输介质的带宽，随之，需要一种用于压缩超高清视频的新型压缩标准技术，由此，高效视频编码(HEVC，HighEfficiencyVideoCoding)于2013年1月实现标准化。但是，高效视频编码也可用于通过网路(internet)、第三代移动通信技术(3G)及长期演进(LET，LongTermEvolution)等网络提供的视频流，此时，不仅可通过高效视频编码对超高清级别的视频进行压缩，而且还可对全高清(FHD，FullHigh-Definition)或高清(HD，HighDefinition)级别的视频进行压缩。如超高清电视(TV)，短期内，视频处理技术将以4K30fps为主，但预计将以4K60fps/120fps、8K30fps/60fps/…的速度使每秒钟处理的像素数量持续增多。根据如上所述的应用方式，为了以具有成本效益(cost-effective)的方式应对各种分辨率、帧率等，需具有可根据应用中所需的性能、功能容易处理视频的视频译码装置。尤其，为了实现如山所述的应用方式，目前，可提出利用多个处理单元的并行处理(parallelprocessing)方式的影像处理技术。在利用多个处理单元的并行处理方式中，可预想到将通过向多个处理单元分别分配所分割的比特流进行译码。但是，在单纯使用如上所述的并行处理方式的情况下，有可能发生导致多个处理单元之间的处理量不不均衡的情况。并且，因如上所述的处理量不均衡的情况而有可能导致带宽效率降低，而且，在硬件方面也将发生对硬件不利的情况。尤其，在一个图像中存在尺寸互不相同的译码单位(例如，片(tile)或切片(slice))的情况下，对向各个处理单元分配的片或切片的译码时间可相异。因此，即使执行基于利用多个处理单元的多译码，也因各个处理单元的处理时间各异，从而，不仅很难使整体译码时间实现同步以及很难预测实现同步的时间，而且还有可能导致时间非效率性地增长。另一方面，为了实现基于利用多个单元的并行译码，可提出波前并行处理(WPP，WavefrontParallelProceccing)方式的编码及译码方法。但是，在近期新兴的高效视频编码标准方式中，在结构方面，当执行译码时，只有在比特流的头部信息标明波前并行处理形式，才可在执行译码时用多个处理单元执行并行译码，因而存在适用范围有限的问题。并且，根据普通的波前并行处理方式，不仅存在之前所说明的不均衡等的问题，而且还存在对各个处理单元的处理顺序(ordering)分配方面的问题。通常，为了使影像正常再生，输出将按图像单位同步化，由此可执行按图像单位同步化的解码。因此，将产生一部分处理单元为了实现同步化而等待的时间。由此，会发生同步化过程中延迟(latency)增加或者整体解码时间变长的问题。
技术实现思路
技术问题本专利技术根据上述必要性提出，本专利技术涉及具有多核(Multicore)结构的影像处理单元(VPU，VideoProcessingUnit)的视频处理装置及方法。技术方案用于实现上述目的的本专利技术一实施例的视频处理装置为对视频进行处理的装置，上述视频处理装置的特征在于，可包括：影像中央处理单元，与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务；预扫描模块，对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息；以及多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理。另一方面，根据用于实现上述目的的本专利技术的一实施例，在对视频进行处理的方法可包括：在影像中央处理单元与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务的步骤；对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息的步骤；以及在多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理的步骤。另一方面，上述视频处理方法可通过计算机可读记录介质体现，上述计算机可读记录介质记录有可在计算机执行上述视频处理方法的程序。有益效果根据本专利技术的实施例，基于通过预扫描模块生成的预扫描信息，即使以与比特流的结构无关的方式按规定段单位进行分割并分配，也可使多个处理单元不间断(seamless)执行并行处理。尤其，可在预扫描模块抽取及存储用于通过对比特流进行扫描，使各个核连续执行熵解码的必要的最少信息。由此，可消除多个处理单元之间的处理量不均衡，并可抑制因处理量不均衡而导致的带宽效率降低。并且，可在影像中央处理单元通过利用各个处理单元可执行基于利用预扫描信息的不间断并行处理这一点，可更加有效地排列比特流处理顺序，并可缩短译码时间。而且，可在影像中央处理单元以与各个处理单元相对应的方式生成适当的任务并进行分配，非同步控制基于开始处理各个图像的预扫描、重新排列及基于译码的完成处理时间，由此，不仅可提高比特流处理率，而且可减少数据的开销，并可较少延迟。并且，通过近期新兴的波前并行处理方式，还可在未被编码的流中进行基于利用波前并行处理方式的多个处理单元的多核译码，从而可提高译码器兼容性。附图说明图1为示出视频编码装置的结构的框图。图2为用于说明以块单元分割影像并进行处理的方法的一例的图。图3为示出在编码装置中执行帧间预测的结构的一实施例的框图。图4为示出本专利技术一实施例的视频译码装置的结构的框图。图5为示出在译码装置中执行帧间预测的结构的一实施例的框图。图6及图7为示出序列参数集(SPS，SequenceParameterSet)的结构的一例的图。图8及图9为示出图像参数集(PPS，PictureParameterSet)的结构的一例的图。图10至图12为切片头部(SH，SliceHeader)的结构的一例的图。图13为示出本专利技术一实施例的视频译码装置的层状结构(layerstructure)的图。图14为示出本专利技术一实施例的影像中央处理单元的视频译码工作的时序图。图15为用于说明本专利技术一实施例的预扫描模块的框图。图16为用于说明根据本专利技术一实施例的预扫描模块进行预扫描的信息的框图。图17为用于说明本专利技术一实施例的预扫描模块的工作的流程图。图18至图21为用于说明借助本专利技术实施例的预扫描模块的工作而生成的预扫描信息的图。具体实施方式以下，参照附图，详细说明本专利技术的实施例，使本专利技术所属
的普通技术人员容易实施本专利技术。但是，本专利技术可体现为多种不同形态，本专利技术并不局限于在本说明书中所进行说明的实施例。而且，为了明确地说明本专利技术，在附图中省略与本专利技术的说明无关的部分，在说明书全文中，对类似的部分赋予类似的附图标记。在本专利技术的说明书全文中，当一个部分与另一部分“相连接”时，不仅包括一个部分与另一部分“直接连接”的情况，而且还包括在两个部分之间设置其他元件使两个部分“间接连接”的情况。在本专利技术的说明书全文中，当一个部件位于另一部件“上”时，不仅包括本文档来自技高网...

【技术保护点】
一种视频处理装置，对视频进行处理的装置，其特征在于，包括：影像中央处理单元，与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务；预扫描模块，对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息；以及多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理。

【技术特征摘要】
【国外来华专利技术】1.一种视频处理装置，对视频进行处理的装置，其特征在于，包括：影像中央处理单元，与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务；预扫描模块，对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息；以及多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理。2.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描信息包含针对一个以上的被包含在从上述比特流所识别的编码树单元中的特定块的位置信息。3.根据权利要求2所述的视频处理装置，其特征在于，上述特定块与上述编码树单元的各行起始块相对应。4.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描信息包含针对一个以上的被包含在从上述比特流所识别的编码树单元中的特定块的熵编码的引擎信息、上下文信息中的至少一种。5.根据权利要求1所述的视频处理装置，其特征在于，在从上述比特流所识别的编码树单元包括特定单位的块集合的情况下，上述预扫描信息包含与上述特定单位块的起始位置相对应的引擎初始化信息。6.根据权利要求5所述的视频处理装置，其特征在于，上述特定单位的块集合包括以片或切片为单位的块集合。7.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描模块包括：比特流分析部，为了进行预扫描，对上述比特流的一部分进行熵解码，分析必要的信息；以及预扫描控制器，基于由比特流分析部分析的信息，生成预扫描信息。8.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描模块包括：内部缓冲器，用于按预扫描段单位对上述预扫描信息进行缓冲；以及外部存储器，在规定数量的上述预扫描段累积于上述内部缓冲器的情况下，存储与上述累积规定数量的预扫描段相对应的预扫描信息。9.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描模块按预扫描段单位对上述预扫描信息进行索引化并进行存储，上述预扫描段单位以从上述比特流所识别的编码树单元所包括的片或切片的起始块或上述编码树单元的各行最后块为基准分割而成。10.一种视频处理方法，对视频进行处理的方法，其特征在于，包括：在影像中央处...

【专利技术属性】
技术研发人员：金贤奎，李相澈，崔信赫，
申请(专利权)人：明达半导体股份有限公司，
类型：发明
国别省市：韩国;KR