用于提高数据处理设备的存储单元的性能的装置和方法制造方法及图纸

本发明专利技术涉及一种数据处理设备（１０），其包括处理单元（１２）和存储单元（１４），并且还涉及一种用于控制数据处理设备的存储单元（１４）的操作的方法。存储单元（１４）包括：主存储器（１６）；低级高速缓冲存储器（２０．２），其直接连接到处理单元（１２），并且适于为处理单元（１２）的读出访问保存当前活动的滑动搜索区的全部像素；高级高速缓冲存储器（１８），其连接在低级高速缓冲存储器与帧存储器之间；以及第一预取缓冲器（２０．１），其连接在高级高速缓冲存储器与低级高速缓冲存储器之间，并且适于依据处理单元所遵循的扫描方向和扫描顺序，保存像素块的一个搜索区列或一个搜索区行。在存储单元（１４）中，读出功能和取得功能被分离。取得功能集中在较高的高速缓存器级，而读出功能集中在较低的高速缓存器级。这样就能够实现并发的读出和取得，从而提高了数据处理设备的性能。

【技术实现步骤摘要】
【国外来华专利技术】通过将读出和取得功能分离来提高数据处理设备的存储单元的性能 专利
本专利技术涉及包括处理单元和存储单元的数据处理设备，特别用于视频数据处理应用。其还涉及一种方法，用于控制这种数据处理设备 的存储单元的操作。
技术介绍
欧洲专利申请EP 04101677.5在整体上被包含于本申请中作为参考。视频数据处理设备一方面被要求以高处理速度进行传送，同时另 一方面它们应具有灵活性。视频数据处理设备的灵活性通过其运用各 种视频处理算法，如定标(scaling)、滤波、运动检测等的能力，及 其处理各种视频图像格式的能力来反映。视频处理系统的存储单元通常包括帧存储器。帧存储器保存显示 视频序列的一个或几个视频图像(也称为帧)所需的信息。将当前处理的视频图像的片段缓冲在高速缓冲存储器中使得许 多视频应用受益，如运动估计。如众所周知的，由于高速缓冲存储器 与帧存储器相比具有更小的尺寸并且其直接连接到处理单元，高速缓 冲存储器提供縮短了的等待时间，并需要更少的工作功率。等待时间 确定在来自处理单元的读出请求之后取得第一个图像数据所需的时 间间隔。在己知的视频数据处理设备中，存储单元具有分级存储器结构， 其包括多级高速缓冲存储器。在最低高速缓存级上的高速缓冲存储器 (在下文中也简称为高速缓存器)与处理单元最接近，而在最高高速 缓存级上的高速缓冲存储器与帧存储器最接近。通过在处理单元与帧存储器之间提供不同的高速缓存级，将会实 现在存储单元的成本与性能之间的平衡。成本因素是全部视频数据处理设备的芯片面积和功率要求。在高速缓存器中的数据的替换策略可以是动态的或静态的，取决 于视频处理算法的类型和希望得到的系统的可预测性。在使用动态替换策略的存储单元中，会出现高速缓存命中(cache-hit)或者高速缓 存未中(cache-miss)的情况。在高速缓存未中的情况下，没有在所 访问的髙速缓存器中找到所想要的数据，该数据需要从更高的高速缓 存级或从帧存储器中复制。与此相关的时间损失取决于存储器的等待 时间和带宽。存储器的带宽决定在一个时钟周期中存储器能提供多少 比特。与此相反，当使用静态替换策略时，例如众所周知的先进先出替 换策略，则不太可能出现高速缓存未中的情况。静态替换策略非常适 用于具有可预测存储器访问方式的处理算法。US 6,449,692 Bl描述了一种具有存储单元的视频数据处理设备， 该存储单元具有三级高速缓存器结构。这些高速缓存级被表示为Ll 到L3。高速缓存级的数字指定对应于升序，其中，当从高速缓存器 读出数据或者向高速缓存器写入数据时，处理单元访问高速缓存器。 这就意味着对存储单元的读出访问被首先寻址到L1高速缓存器，并 且，如果对于该高速缓存器发生高速缓存未中，就接着访问L2高速 缓存器，等等，直至在任一高速缓存器中或者最终在主存储器中命中。在US 6,449,692的设备中的存储单元的高速缓存级Ll和L2只 存储非像素信息。非像素信息包括指令或地址转换信息，其对于处理 单元来说是可访问的。与之相对应，L3高速缓冲存储器存储像素数 据以及非像素信息。提供了高速缓存器控制电路，其动态的将高速缓 存级L3的各个部分分配给非像素信息或像素数据。地址和仲裁电路 将处理单元的访问控制到不同高速缓存器级。总线接口单元为L3高 速缓存器级和处理单元直接提供对主存储器的访问。当处理单元发出 对于像素数据的读出请求并且发生高速缓存命中时，L3高速缓存器 经由绕过Ll和L2高速缓存器级的寄存器，将所请求的数据提供到 处理单元。如果发生高速缓存未中，则处理单元就直接寻址主存储器。在US 6,449,692 Bl的视频数据处理设备中，所有高速缓存器级都提供读出(read)和取得(fetch)功能，每一个高速缓存器级用于 其各自所支持的数据类型。视频数据处理设备的总体处理速度受到这 样一个事实的限制高速缓冲存储单元不能并发地(即，同时地)执行向处理单元的输出(读出功能)和存储来自主存储器或更高级的高 速缓存器的数据(取得功能)。
技术实现思路
因此，本专利技术的一个目的是提供一种具有存储单元的视频数据处 理设备，以及一种用于控制数据处理设备的存储单元的操作的方法， 其允许将读出操作和取得操作作为并发任务来执行。根据本专利技术的第一方面，数据处理设备用于处理数据元素的二维 主阵列，其包括主存储单元，其具有主存储器，用于存储主阵列，处理单元，其适于顺序处理构成主阵列的二维子阵列的数据块， 并提供对滑动搜索区的数据元素的读出请求，所述滑动搜索区延伸经 过主阵列中的预置数量的数据块列和数据块行，高级高速缓存器单元，其具有与主存储器相连接的高级高速缓冲 存储器，并且适于从主存储器中取得数据块，用以构成所述图像的、比滑动搜 索区更大的滑动区，将被存储的滑动区中的、更新所述滑动搜索区所需的数据元 素，从高级高速缓冲存储器中预取到第一预取缓冲器中，并在第一预 取缓沖器的输出端提供这些数据元素，低级高速缓存器单元，其具有直接连接在处理单元与第一预取缓 冲器之间的低级高速缓冲存储器，并且适于使用在第一预取缓冲器的输出端提供的数据元素，与上述高 级高速缓存器单元的取得和预取操作并发地存储并在更新低级高速 缓冲存储器中的滑动搜索区，以及与上述高级高速缓存器单元的取得和预取操作并发地选择 所请求的数据元素，并将其输出到处理单元。尽管本专利技术的数据处理设备优选地用于视频处理环境中，但其不 限于这些应用。本专利技术的数据处理设备能够用于处理任何二维数据阵 列的环境中，例如地震学数据的阵列。二维数据阵列是一组数据结构， 其以与二维矩阵相对应的方式来排序。在图像处理的特定环境中，二 维数据阵列(也表示为主阵列)是图像。在该上下文中，其它常用术语应如下来翻译。 数据元素为像素 数据块为像素块 数据行为像素行 数据列为像素列 数据块列为像素块列 数据块行为像素块行 在下文中，将在优选的用于视频图像处理的环境中来说明本专利技术 的数据处理设备。在视频处理应用中，例如，图像可以是视频帧或视 频场。视频帧通常包含图像的所有像素。视频场通常包含一组隔行扫 描的像素行。隔行扫描是本领域普遍公知的概念，其涉及用互补的像 素行子集来提供在时间上连续的视频图像。图像存储在数据处理设备的主存储器中。数据处理设备的处理单 元适于顺序地处理构成图像的二维子阵列的像素块。因此这些像素块被一次处理一个。像素块可以例如由8X8， 16X 16或32X32个像素 构成。处理单元可以适于在不同视频处理环境中使用不同的像素块大 小。处理单元还适于提供对于滑动搜索区的像素的读出请求，滑动搜 索区延伸经过图像中预定数量的像素块列和像素块行。滑动搜索区的 概念是本领域众所周知的，并用于使用搜索策略的视频处理算法中， 例如各种已知的运动估计算法。搜索区是构成图像子阵列的像素块的 二维阵列。通过删除在搜索区一边上的像素块，并在搜索区的相对的 另一边增加像素块，来实现搜索区的滑动运动。哪些像素块被删除及 哪些像素块被增加取决于搜索区穿过图像的滑动运动的预定方向。例 如，搜索区的运动可以是水平地从左至右。搜索区的运动与处理单元用来处理像素块的处理算法的扫描方向和扫描顺序相关联。不同扫描方向和扫描顺序的实例将在下面图4的说明环境中阐明。搜索区的大本文档来自技高网...

【技术保护点】
一种数据处理设备（１０，１０’），用于处理数据元素的二维阵列（３０），所述数据处理设备包括：主存储单元（１６，２２），其具有主存储器（１６），用于存储所述阵列，处理单元（１２），其适于顺序地处理构成所述阵列的二维子阵列的数据 块（３２，Ｏ，Ｎ），并且提供对于滑动搜索区（３４；４２）的数据元素的读出请求，所述滑动搜索区延伸经过所述阵列中预置数量的数据块列和数据块行，高级高速缓存器单元（１８，２４；１８’，２４’），其具有与所述主存储器（１６）相连接的高级高 速缓冲存储器（１８；１８．２），并且适于：从所述主存储器（１６）中取得多个数据块，用以构成所述图像的、比所述滑动搜索区（３４；４２）更大的滑动区，将所述被存储的滑动区中的、更新所述滑动搜索区（３４；４２）所需的数据元素（３６ ），从所述高级高速缓冲存储器（１８；１８．２）中预取到第一预取缓冲器（２０．１）中，并且在所述第一预取缓冲器（２０．１）的输出端提供这些数据元素（３６），低级高速缓存器单元（２０，２６），其具有直接连接在所述处理单元与所述第一预取缓 冲器（２０．１）之间的低级高速缓冲存储器（２０．２），并且适于：使用在所述第一预取缓冲器（２０．１）的输出端提供的所述数据元素，与所述高级高速缓存器单元（１８，２４；１８’，２４’）的上述取得操作和预取操作并发地，在所述低级高速缓冲 存储器（２０．２）中存储并更新所述滑动搜索区，以及与所述高级高速缓存器单元（１８，２４；１８’，２４’）的上述取得操作和预取操作并发地，选择所请求的数据元素并将其输出到所述处理单元（１２）。...

【技术特征摘要】
【国外来华专利技术】EP 2005-2-15 05101101.31、一种数据处理设备(10，10’)，用于处理数据元素的二维阵列(30)，所述数据处理设备包括主存储单元(16，22)，其具有主存储器(16)，用于存储所述阵列，处理单元(12)，其适于顺序地处理构成所述阵列的二维子阵列的数据块(32，O，N)，并且提供对于滑动搜索区(34；42)的数据元素的读出请求，所述滑动搜索区延伸经过所述阵列中预置数量的数据块列和数据块行，高级高速缓存器单元(18，24；18’，24’)，其具有与所述主存储器(16)相连接的高级高速缓冲存储器(18；18.2)，并且适于从所述主存储器(16)中取得多个数据块，用以构成所述图像的、比所述滑动搜索区(34；42)更大的滑动区，将所述被存储的滑动区中的、更新所述滑动搜索区(34；42)所需的数据元素(36)，从所述高级高速缓冲存储器(18；18.2)中预取到第一预取缓冲器(20.1)中，并且在所述第一预取缓冲器(20.1)的输出端提供这些数据元素(36)，低级高速缓存器单元(20，26)，其具有直接连接在所述处理单元与所述第一预取缓冲器(20.1)之间的低级高速缓冲存储器(20.2)，并且适于使用在所述第一预取缓冲器(20.1)的输出端提供的所述数据元素，与所述高级高速缓存器单元(18，24；18’，24’)的上述取得操作和预取操作并发地，在所述低级高速缓冲存储器(20.2)中存储并更新所述滑动搜索区，以及与所述高级高速缓存器单元(18，24；18’，24’)的上述取得操作和预取操作并发地，选择所请求的数据元素并将其输出到所述处理单元(12)。2、 如权利要求1所述的数据处理设备，其中，所述高级高速缓 存器单元(18， 24; 18% 24')适于在其输出端根据固定数据格式来 提供所述滑动区的数据元素，所述固定数据格式具有预置数量的比特 位置，并将预定比特值分配给所述主阵列的格式不使用的所有比特位 置。3、 如权利要求1所述的数据处理设备，其中，所述第一预取缓 冲器(20.1)适于以并行方式向所述低级高速缓冲存储器(20)提供、w - m数据。4、 如权利要求1所述的数据处理设备，其中，所述第一预取缓 冲器(20.1)适于存储用于替换所述搜索区(34)中一个数据块列(38) 或一个数据块行的数据元素(36)。5、 如权利要求1所述的数据处理设备，其中，所述低级高速缓 存器单元(20， 26)包括低级便笺式存储器(20.2)。6、 如权利要求5所述的数据处理设备，其中，所述低级高速缓 存器单元(20， 26)适于根据先进先出替换方案，替换存储在所述低 级便笺式存储器(20.2)中的数据元素。7、 如权利要求1所述的数据处理设备，其中，所述低级高速缓 冲存储器(20.2)包括多个存储体，并且其中，所述低级高速缓存器 单元(20， 26)适于将属于数据块中多个连续数据行的数据元素存储 在不同存储体中，并且将所请求的数据块的多个数据行并行地输出到 所述处理单元(12)。8、 如权利要求7所述的数据处理设备，其中，所述低级高速缓 存器单元(20， 26)适于以交错的方式寻址在所述低级高速缓冲存储 器(20.1)中的位置，以循环重复的方式将连续的地址分配给连续的 存储体中的可寻址位置。9、 如权利要求1所述的数据处理设备，其中，所述低级高速缓 冲存储器(20.2)包括多个行单元，每一个行单元都包含相应的第一 数量的存储体，每个存储体都具有可寻址位置，用于存储第二数量的 数据元素，并且其中，所述低级高速缓存器单元适于将数据块(32)中相应数据行的数据元素或者属于数据块中相应 的交错数据行组的数据行的数据元素，存储到相应的行单元的存储体 中，其中，所述存储体的相应的可寻址位置每一个都适于存储相应的 数据元素组，所述数据元素组由沿着数据行的所述第二数量的连续数 据元素组成，从而使得连续的数据元素组以循环重复方式分配到所述 行单元的存储体上，所述行单元存储所述组所属的相应数据行的数据 元素，通过在所述存储体中将已废弃的数据元素(38)替换为所述搜索 区中新的数据元素(36)，来更新所述滑动搜索区(34)，其中，所述 已废弃的数据元素在所述滑动搜索区移动时脱离了所述滑动搜索区， 所述新的数据元素(36)来自与所述已废弃的数据元素相同的数据行，从多个行单元中并行地取得并输出相应数据行中的数据元素。10、 如权利要求1所述的数据处理设备，其中，所述高级高速缓 存器单元(18， 24)包括高级便笺式存储器(18)。11、 如权利要求1所述的数据处理设备，还包括第二预取缓冲器 (18.1)，其连接在所述高级高速缓冲存储器(18.2)与所述主存储器 (16)之间，并且适于以并行方式将数据提供到所述高级高速缓冲存储器(18.2)。12、 如权利要求11所述的数据处理设备，其中，所述高级高速 缓存器单元(18，， 24')适于从所述主存储器(16)中将所述主阵列(30)中的、根据所述预定扫描顺序和扫描方向更新所述滑动区所需 的所选择的数据块(36)预取到所述第二预取缓冲器(18.1)中，并 且适于使用在所述第二预取缓冲器的输出端提供的数据元素更新在 所述高级高速缓冲存储器中的滑动区。13、 如权利要求1所述的数据处理设备，其中，所述低级高速缓 存器单元(20， 26)适于从接收自所述处理单元的读出请求中获得窗 口 (54)坐标(X，Y)和窗口大小参数，并依据所获得的窗口坐标和 窗口大小参数，将存储在所述低级高速缓存器单元(20， 26)中的数 据元素提供给所述处理单元。14、 如权利要求13所述的数据处理设备，所述设备是图像处理 设备...

【专利技术属性】
技术研发人员：HJAM彼得斯，R塞瑟拉曼，G维尔德曼，PPE梅夫森，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]