基于高速缓存的扭曲引擎制造技术

本发明专利技术涉及能够通过使用高速缓冲存储器以低成本快速地执行图像扭曲的图像扭曲系统及其方法。图像扭曲系统被提供为通过在基于高速缓存的扭曲引擎的帮助下扭曲输入图像来生成变换图像。扭曲引擎访问输入图像并将图像的一部分加载到高速缓冲存储器，以便加速引擎过程。扭曲引擎对输入图像执行插值，以生成无失真的输出图像。所获得的输出图像然后被存储在电子设备的DDR SDRAM中。SDRAM中。SDRAM中。

【技术实现步骤摘要】
基于高速缓存的扭曲引擎


[0001]本专利技术涉及使用高速缓冲存储器的图像扭曲系统及其方法。更具体地，本专利技术涉及能够使用高速缓冲存储器以低成本执行图像扭曲的图像扭曲系统和方法。

技术介绍

[0002]图像扭曲是指通过根据某些规则对原始图像进行重新取样来变换原始图像的几何形状。作为示例，例示了校正拍摄图像的镜头失真以生成校正了镜头失真的图像。图像扭曲还可以用于匹配立体图像的图像校正或用于通过合成多个图像来构成全景图像。
[0003]图像扭曲通过原始图像与变形图像之间的像素坐标转换的过程来执行。变形图像的像素的坐标(x,y)之间的变换规则可以由预定的映射函数来表示。有许多讨论了扭曲技术的现有技术可用。
[0004]公开图像扭曲技术的许多现有技术中的一者是转让给教堂山的北卡罗来纳大学的公开了图像扭曲技术的美国专利第6756993B2号。该专利技术提供了用于渲染图像的方法和装置，更具体地，涉及用于使用3D扭曲技术渲染图像的方法和装置。该专利论述了双线性地对图像进行插值以生成插值输出图像的方法。所公开的扭曲技术从变形图像中去除失真并产生无失真图像。然而，所描述的技术仅能够从变形图像中去除失真，而不能执行几何变换、全景生成和两个图像的混合。
[0005]转让给威斯康星校友研究基金会的另一美国专利第8649558B2号涉及处理图像数据，更具体地，涉及用于扭曲视频数据的设备、系统和方法。视频数据通过针对多个源视频帧中的每一者调整大小来处理，以扭曲(例如，调整大小)视频数据以供显示。该专利通过引入特征(例如几何变换、全景生成和混合)克服了上述专利的缺点。然而，该专利不包括基于高速缓存的扭曲引擎来存储图像以供其稍后使用。因此，所公开的图像扭曲技术成为昂贵且耗时的技术。
[0006]为了克服上述专利的局限性，韩国专利第101540300B1号转让给机器人(Robot)公司，涉及使用高速缓冲存储器的图像扭曲系统及其方法。然而，所公开的技术仅支持一种图像格式，并且仅执行失真校正。
[0007]因此，为了克服所述现有技术的缺点，已经公开了基于高速缓存的扭曲引擎，其对输入图像执行失真校正、全景生成和透视校正。而且，基于高速缓存的扭曲引擎利用非常少的高速缓冲存储器来加速引擎过程，从而显著降低扭曲成本。
[0008]现在很明显，在现有技术中开发了适合各种目的的许多方法和系统。此外，虽然这些专利技术可能适于它们所针对的特定目的，但它们因此将不适于如上所述的本专利技术的目的。

技术实现思路

[0009]本专利技术的目的是提供一种图像扭曲系统，其能够通过利用高速缓冲存储器以低成本迅速地执行图像扭曲。本专利技术的实施例提供了对在本领域中的用于使用基于高速缓存的扭曲引擎(WARP engine)来扭曲全景图像的系统和方法的上述和其它问题的解决方案。具
体地，所公开的系统和方法在不考虑图像内容的情况下通过使用基于高速缓存的扭曲引擎来扭曲具有偏斜边界的全景数字图像以拟合(fit)预定形状来生成增强的全景图像，该基于高速缓存的扭曲引擎能够支持多个图像格式。
[0010]本专利技术的主要目的是提供一种基于高速缓存的扭曲引擎，其执行图像失真校正、几何变换、全景生成以及两个或更多图像在一起的混合。基于高速缓存的扭曲引擎减少了DDR SDRAM访问时间和DDR SDRAM带宽要求，而且减少了本地SRAM要求。另外，引擎统一多个图像格式处理速度，从而使得引擎处理速度独立于图像格式。基于扭曲的引擎所支持的不同类型的图像格式包括RGB888、RGB888
‑
平面、YUV422、NV12和NV21以及YUV420(平面)。
[0011]根据本专利技术的一个方面，提供了一种图像扭曲系统，其用于通过扭曲包括多个原始图像块的原始图像来生成包括多个像素组的变换图像。在主要实施例中，原始图像存储在电子设备的DDR SDRAM中。设备的高速缓冲存储器在SRAM(静态RAM)中实现，以存储输入图像数据，以供基于高速缓存的扭曲引擎访问。高速缓冲存储器通常包括SRAM，SRAM比DDR更昂贵但可提供高得多的带宽。输入图像存储在DDR SDRAM中，且仅一部分图像数据加载到高速缓冲存储器，以加速引擎过程。设备的高速缓冲存储器由存储输入图像数据的多个高速缓存行组成。本专利技术通常支持32k字节的高速缓存；然而，高速缓冲存储器的大小是可配置的。进一步地，各个高速缓存行的大小是可配置的。
[0012]本专利技术的另一目的是提供一种高速缓存查找表，其存储在高速缓冲存储器内，用于存储要顺次加载到高速缓冲存储器中原始图像块的顺序信息。高速缓存查找表包括定义与输入图像有关的信息的多个坐标。输出图像的坐标包括用于X坐标的2个字节和用于Y坐标的2个字节。图像扭曲系统可以使用图像查找表来对原始图像执行图像扭曲，从而生成扭曲的图像。图像查找表可以是存储变换图像中包括的像素与原始图像中包括的像素之间的映射信息的查找表。
[0013]本专利技术的基于高速缓存的扭曲引擎将使用坐标来将输入图像映射到输出图像。输出图像的坐标从左到右和从上到下是固定的。引擎将跟随坐标的输出序列，并查看扭曲表以确定引擎应该抓取输入数据的哪个部分。扭曲引擎使用相同的高速缓存行和相同的高速缓存大小来支持不同的图像格式。各个图像格式支持之间的唯一差别是带宽要求，不同的图像格式要求不同的带宽以实现相同的帧速率。
[0014]然后，扭曲引擎通过基于输入图像的多个坐标双线性地或双三次地对输入图像进行插值来执行扭曲操作。基于高速缓存的扭曲引擎支持双线性和双三次图像插值技术。双三次插值提供了比双线性插值所实现的图像质量更好的图像质量。扭曲引擎的处理器通过光栅扫描方法计算输出图像。
[0015]根据本专利技术的另一方面，提供了一种图像扭曲系统，其包括处理器和用于存储由处理器执行的计算机程序的存储器，其中，计算机程序在由处理器执行时实现上述方法。提供了一种图像扭曲系统，其用于使得执行上述方法。
[0016]从以下结合附图采取的详细描述中，本专利技术的其它目的和方面将变得显而易见，附图以示例的方式例示了根据本专利技术实施例的特征。
[0017]为了实现上述和有关目的，本专利技术可以以附图中例示的形式来实施，然而，注意附图仅是说明性的，并且在所附权利要求的范围内可以对所例示和所描述的具体构造进行改变。
[0018]尽管上文根据各种示例性实施例和实现方式描述了本专利技术，但是应当理解，在一个或多个单独实施例中描述的各种特征、方面和功能不限于它们对描述它们的特定实施例的适用性，而是可以单独地或以各种组合应用于本专利技术的一个或多个其它实施例，无论是否描述了这些实施例，并且无论这些特征是否作为所描述的实施例的一部分呈现。因此，本专利技术的广度和范围不应被任何上述示例性实施例限制。
[0019]在一些情况下，例如“一个或多个”、“至少”、“但不限于”或其他类似短语的扩展词和短语的存在不应被理解为意指在可能不存在这种扩展短语的情况下预期或要求较窄的情况。
附图说明
[0020]根据结合附图采取的下面的描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于使用基于高速缓存的扭曲引擎来扭曲输入图像的方法，其中，所述方法包括：从设备的DDR SDRAM访问所述输入图像；将所述输入图像的一部分加载到所述设备的高速缓冲存储器；预加载存储在所述高速缓冲存储器中的查找表，其中，所述查找表包括所述图像的多个坐标；通过双线性地或双三次地对所述多个坐标进行插值来映射所述输入图像，以生成插值图像；通过光栅扫描所述插值图像来计算输出图像；以及将所述输出图像存储在所述设备的所述DDR SDRAM中。2.根据权利要求1所述的方法，其中，所述扭曲操作包括所述输入图像的失真校正和透视校正。3.根据权利要求1所述的方法，其中，所述扭曲引擎减少DDR SDRAM访问时间和DDR SDRAM带宽要求。4.根据权利要求1所述的方法，其中，所述输出图像的所述多个坐标包括用于X坐标的2个字节。5.根据权利要求1所述的方法，其中，所述输出图像的所述多个坐标包括用于Y坐标的2个字节。6.根据权利要求1所述的方法，其中，所述查找表利用大小为千字节数量级的所述高速缓冲存储器。7.根据权利要求1所述的方法，其中，所述查找表是8
×
8间隔查找表。8.根据权利要求1所述的方法，其中，所述查找表支持多达4095
×
4095图像大小。9.根据权利要求1所述的方法，其中，所述设备能够是平板计算机、PC、膝上型计算机、移动电话中的任一者。10.根据权利要求1所述的方法，其中，所述高速缓冲存储器包括SRAM。11.根据权利要求1所述的方法，其中，所述扭曲引擎能够支持用于所述输入图像的不同格式。12.一种用于扭曲输入图像的系统，其中，所述系统包括：输入设备，其中，所述输入设备包括：DDR SDRAM，其用于存储所述输入图像；具...

【专利技术属性】
技术研发人员：周英，王辉，李敬园，黄艳芳，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：