多模多尺度运动估计的超大规模集成电路体系结构及方法技术

本发明专利技术涉及数字视频信号编码中多尺度多模式运动估计的超大规模集成电路实现的体系结构及处理过程。本发明专利技术所提出的装置和方法的核心部件为由四个内部结构完全一样的处理单元ＰＥ－Ａ、ＰＥ－Ｂ、ＰＥ－Ｃ和ＰＥ－Ｄ组成的多模运动估计器，和一个控制器。该装置通过四个ＰＥ彼此间的协作运算、控制器对各ＰＥ的任务分配、以及对各处理单元中基本计算部件ＳＡＤ↓［１６］的运用，实现灵活高效的运动估计过程。本发明专利技术提出了一整套方法来支持从４×４到１６×１６各种尺度多种模式的运动估计。本发明专利技术特别适用于ＩＴＵ－Ｔ　　Ｈ．２６４视频编码中多种块模式运动估计方法的集成电路硬件实现，也同样可以有效地支持其他视频编码方法（例如ＭＰＥＧ－２，ＭＰＥＧ－４等）的超大规模集成电路实现。

【技术实现步骤摘要】

本专利技术属于电子行业
，具体涉及一种超大规模集成电路体系结构，及该集成电路中进行多尺度多模式运动估计的方法。
技术介绍
图1是一般视频编码中以块为单位的运动估计(Motion Estimation，ME)的功能示意图。运动估计的方法是，对当前帧图像中一个被编码的像素块，在参考帧图像中一个指定的窗口中搜索与之相差最小的像素块，作为最佳匹配。运动估计得到两个值一个是被编码的像素块相对于参考帧中最佳匹配像素块的偏移，即运动矢量MV(Motion Vector)；另一个是被编码像素块与最佳匹配像素之间的残差绝对值之和SAD。这部分计算占了整个编码过程计算量的很大比重，因此，这部分硬件的执行效率直接关系到整个集成电路芯片是否有效运行。图2是ITU-TH.264/MPEG-4AVC标准中运动估计的功能示意图。在这个标准中，有七种不同尺寸和形状的像素块被用于运动估计。运动估计在整个视频编码过程中占有相当重要的地位，也占有了大量的处理器资源，尤其在H.264中引入了从4×4到16×16块的各种尺度的各种模式的运动估计技术，进一步增加了运动估计的计算量和复杂度，因此使运动估计过程灵活高效地进行是实现H.264实时编码的一个重要条件。由于技术改进、市场化进程、和标准化过程三者之间的不同步发展，视频编码领域内形成了多种编码标准共存的局面。因此，在同一个计算平台上对包括MPEG-1/2/4和H.264在内的多种数字视频编码标准的支持是必要的。
技术实现思路
本专利技术的一个目的是提供一种超大规模集成电路体系结构，为进行灵活高效的运动估计提供一种硬件结构。一种超大规模集成电路体系结构，用于多尺度多模式运动估计，其特征在于包括一个当前帧像素块数据提供器；一个参考帧搜索窗口块数据提供器；一个多模运动估计器；一个控制器。其中多模运动估计器由四个内部结构完全一样的处理单元PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)组成。四个处理单元PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)与控制器(301)之间的控制和通道；四个处理单元PE-A(302)，PE-B(303)，PE-C(304)，和PE-D(305)之间的数据通道和控制通道。本专利技术的另一个目的是提供一种在该超大规模集成电路体系结构中的计算方法，使运动估计过程得以灵活高效地进行。该方法包括以下步骤当前帧像素块数据器和参考帧搜索窗口块数据器的数据调入多模运动估计器。多模运动估计器根据控制器的指令灵活地对数据采用不同的工作模式进行运动估计。多模运动估计器在16个SAD16部件下对不同的工作模式实现高效运动估计。其中多模运动估计器能够实现的不同工作模式运动估计方法包括第一种工作模式下，四个PE各自并行地独立工作，生成针对四个不同的4×4像素块的运动估计结果MV和SAD。第二种工作模式下，PE-A和PE-B协同工作，生成针对一个8×4像素块的MV和SAD；与此同时，PE-C和PE-D协同工作，生成针对另一个8×4像素块的MV和SAD。第三种工作模式下，PE-A和PE-C协同工作，生成针对一个4×8像素块的MV和SAD；与此同时，PE-B和PE-D协同工作，生成针对另一个4×8像素块的MV和SAD。第四种工作模式下，四个PE协同工作，生成针对一个8×8像素块的MV和SAD。第五、六种工作模式下，四个PE协同工作，并且循环计算两次，得出针对一个8×16或反向16×8像素块的MV和SAD。第七种工作模式下，四个PE协同工作，并且循环计算四次，生成针对一个16×16像素块的MV和SAD。其中多模运动估计器在16个SAD16部件下对不同的工作模式实现高效运动估计的方法包括第一种工作模式下，四个PE各自并行地独立工作，每个PE中的四个SAD16的输出端连接到一个比较器上。第二种工作模式下，把PE-A中的四个SAD16的输出端和PE-B中的四个SAD16的输出端分别连接到四个加法器上，这四个加法器的输出再被送到比较器上。同样地，PE-C中的四个SAD16的输出端和PE-D中的四个SAD16的输出端分别连接到四个加法器上，这四个加法器的输出再被送到比较器上。第三种工作模式下，多模运动估计器的工作模式与第二种模式类似，但PE搭配不同，由PE-A和PE-C协同工作、PE-B和PE-D协同工作，得到与第二种工作模式反向的MV和SAD。第四种工作模式下，四个PE协同工作，各自的四个SAD16的输出端分别连接到四个加法器上，这四个加法器的输出再被送到比较器上. 第五、六、七种工作模式下，其运动估计的实现需要对多模运动估计器重复使用一次以上，实现方法可以是纯软件的，即完全由图3中的控制器(301)完成；也可以是纯硬件的，即完全由多模运动估计器完成；还可以是一个软硬件协同工作的过程。由于有控制器中软件程序的参与，因此实现的方式并非唯一。本专利技术针对数字视频及图像编码、转码等计算处理过程中的运动估计步骤，提出了一种灵活、高效的计算方法，及其专用超大规模集成电路并行实现结构。使得基于其开发的新一代多模ASIC芯片组可支持包括最新的ITU-TH.264(即MPEG-4第10部分)标准和中国的AVS标准在内的所有MPEG/ITU-TH.26x类标准。适用范围涵盖包括数字电视、网络媒体、信息家电、多媒体移动通讯、激光视盘等在内的多个产业领域。附图说明图1为一般视频编码中以块为单位的运动估计(Motion Estimation，ME)的功能示意图； 图2为ITU-TH.264/MPEG-4 AVC标准中运动估计的功能示意图；图3为本专利技术超大规模集成电路体系结构；图4为本专利技术实现的第一种工作模式；图5为本专利技术实现的第二种工作模式；图6为本专利技术实现的第三种工作模式；图7为本专利技术实现的第四种工作模式；图8为本专利技术实现的第五、六种工作模式；图9为本专利技术实现的第七种工作模式；图10显示多模运动估计器ME的组成结构，即数据提供单元和计算单元；图11显示对本专利技术构造原理的不同实现方式；图12介绍计算单元的基本计算部件SAD16；图13显示四个SAD16部件在多模运动估计器中的配置情形；图14显示十六个SAD16部件在多模运动估计器中的配置情形；图15显示十六个SAD16部件下第一种工作模式(图4)的运动估计；图16显示第一种工作模式(图4)中任意一个PE处的数据提供情况；图17显示十六个SAD16部件下第二种工作模式(图5)的运动估计；图18介绍第二种工作模式(图5)中当前帧中的关联4×4像素块和参考帧中的关联搜索位置；图19显示第二种工作模式(图5)中的数据提供情况；图20显示十六个SAD16部件下第三种工作模式(图6)的运动估计；图21介绍第三种工作模式(图6)中当前帧中的关联4×4像素块和参考帧中的关联搜索位置； 图22显示第三种工作模式(图6)中的数据提供情况；图23显示十六个SAD16部件下第四种工作模式(图7)的运动估计；图24显示十六个SAD16部件下第四种工作模式(图7)的运动估计；图25介绍第四种工作模式(图7)中当前帧中的关联4×4像素块和参考帧中的关联搜索位置；图26介绍第五、六、七种工作模式(图8、9)中当前帧中的关联4×4像素块和参考本文档来自技高网...

【技术保护点】
一种超大规模集成电路体系结构，用于多尺度多模式运动估计，其特征在于包括：１）一个能完成４×４，４×８，８×４，８×８，８×１６，１６×８，１６×１６等尺度像素块运动估计的多模运动估计器；２）一个通过向上述多模运动估计器发出指 令来决定该多模运动估计器执行何种尺度像素块运动估计的控制器；３）一个为上述多模运动估计器提供当前帧像素块数据的数据提供器和一个为上述多模运动估计器提供参考帧搜索窗口数据的数据提供器。

【技术特征摘要】
1.一种超大规模集成电路体系结构，用于多尺度多模式运动估计，其特征在于包括1)一个能完成4×4，4×8，8×4，8×8，8×16，16×8，16×16等尺度像素块运动估计的多模运动估计器；2)一个通过向上述多模运动估计器发出指令来决定该多模运动估计器执行何种尺度像素块运动估计的控制器；3)一个为上述多模运动估计器提供当前帧像素块数据的数据提供器和一个为上述多模运动估计器提供参考帧搜索窗口数据的数据提供器。2.根据权利要求1所述的多模多尺度运动估计的超大规模集成电路体系结构，其特征在于多模运动估计器的组织结构为1)多模运动估计器由四个内部结构完全一样的处理单元PE-A，PE-B，PE-C，和PE-D组成；2)四个处理单元PE-A，PE-B，PE-C，和PE-D均能接受控制器的指令，以决定工作模式；3)四个处理单元PE-A，PE-B，PE-C，和PE-D均从一个共享或独享的当前帧像素块数据提供器和一个共享或独享的参考帧搜索窗口数据提供器获得输入数据；4)每个处理单元PE均能独立完成一个4×4大小的像素块的运动估计，其结果是一组运动矢量MV-A，MV-B，MV-C，MV-D，和相应的残差绝对值和SAD-A，SAD-B，SAD-C，SAD-D。这些运动矢量和残差绝对值和被送往控制器。3.根据权利要求1和权利要求2所述的多模运动估计器，其特征在于多模运动估计器中每个处理单元PE的内部构造包括一个基本计算部件SAD16。在流水处理情形中，该基本计算部件SAD16每个时钟节拍可以产生一个关于16对整数的差的绝对值的和(SAD)。4.用于权利要求1所述的多模多尺度运动估计的超大规模集成电路体系结构中，使运动估计过程得以灵活高效进行的计算方法包括以下步骤1)控制器向多模运动估计器发出指令以决定运动估计的不同工作模式；2)当前帧像素块数据提供器和参考帧搜索窗口块数据提供器的数据被调入多模运动估计器；3)多模运动估计器中的四个基本处理单元PE-A，PE-B，PE-C，PE-D根据控制器指令所决定的模式，分别独立并行地对当前帧像素块数据提供器和参考帧搜索窗口块数据提供器的数据进行运动估计；4)多模运动估计器产生的运动矢量和残差绝对值和被送往控制器。5.根据权利要求4所述的多模多尺度运动估计的方法，其特征在于多模运动估计器能够实现不同工作模式的运动估计，包括1)第一种工作模式，四个PE各自并行地独立工作，生成针对四个不同的4×4像素块的运动估计结果MV和SAD；2)第二种工作模式，PE-A和PE-B协同工作，生成针对一个8×4像素块的MV和SAD；与此同时，PE-C和PE-D协同工作，生成针对另一个8×4像素块的MV和SAD；3)第三种工作模式，PE-A和PE-C协同工作，生成针对一个4×8像素块的MV和SAD；与此同时，PE-B和PE-D协同工作，生成针对另一个4×8像素块的MV和SAD；4)第四种工作模式，四个PE协同工作，生成针对一个8×8像素块的MV和SAD；5)第五种工作模式，四个PE协同工作，并且循环计算两次，得出针对一个8×16像素块的MV和SAD；6)第六种工作模式，四个PE协同工作，并且循环计算两次，得出针对一个16×8像素块的MV和SAD；7)第七种工作模式，四个PE协同工作，并且循环计算四次，生成针对一个16×16像素块的MV和SAD。6.根据权利要求4和权利要求5所述的多模多尺度运动估计的方法，第一种工作模式的实现方法，其特征在于四个PE各自并行地独立工作，每个PE中的四个SAD16...

【专利技术属性】
技术研发人员：刘华平，王识霖，苑泽生，
申请(专利权)人：Thomson宽带研发北京有限公司，
类型：发明
国别省市：11[中国|北京]