DSP上用查表法进行折反射全景展开的Cache包围盒加速方法技术

本发明专利技术公开了一种ＤＳＰ上用查表法进行折反射全景展开的Ｃａｃｈｅ包围盒加速方法，目的是解决在ＤＳＰ上用查表法进行全景展开时全向图像数据在高速缓存Ｃａｃｈｅ中经常失效、全景展开速度较慢的问题。技术方案是先在片外存储器中建立待填充全景图像；然后对待填充全景图像和查找表进行分块，得到待填充全景图像子块和查找表子块，并确定每个待填充全景图像子块在全向图像中对应的Ｃａｃｈｅ包围盒子块；最后对待填充全景图像中的每个待填充全景图像子块进行“颜色填充”。采用本发明专利技术可避免直接从慢速的ＤＳＰ片外存储器读写全向图像数据，降低了读写全向图像数据的高速缓存Ｃａｃｈｅ失效率，提高了在ＤＳＰ上用查表法进行全景展开的速度。

【技术实现步骤摘要】

本专利技术涉及折反射全景图像的展开方法，尤其是在数字信号处理器(Digital Signal Processor, DSP)上用查表法进行折反射全景图像展开的加速方法。
技术介绍
折反射全景成像方法利用凸曲面反射镜(如抛物面、双曲面、圆锥面等)把 来自360度范围内物体的光线反射到成像传感器，得到原始的图像。与传统的光学成像方法 相比，折反射全景成像方法能反映视点周围的全方位场景，具有视场范围大、视频图像沉浸 感和立体感强等优点。因此，该方法在机器人视觉导航、全方位视频监控、三维空间漫游与 虚拟场景绘制等领域应用越来越广泛，已成为计算机视觉、机器人和虚拟现实等领域的研究 热点。张茂军等在专利号为ZL 2005 2 0050779.4的专利"二次凸曲面反射成像的实景空间构 造装置"中详细描述了获取折反射全景图像的方法及其装置，但该方法在DSP等嵌入式系统 上进行折反射全景展开的速度较慢，限制了折反射全景成像方法向便携、嵌入式应用方向的 发展。折反射全景成像装置所获取的原始全景图像存在同心圆环状变形，必须进行展开，才能 得到符合人眼视觉习惯的柱面投影图像。为了论述方便，把折反射全景成像装置获取的原始 的、存在同心圆环状变形的图像称为全向图像(Omni-directional Image);把展开后的符合人 眼视觉习惯的柱面投影图像称为全景图像(Panorama Image);把从全向图像展开为全景图 像这一过程称为折反射全景展开(Panorama Unrolling;简称为全景展开)。由于折反射全景成像方法原始获取的是全向图像，此时还没有相应的全景图像。在全景 展开前，首先建立一幅"空白"全景图像，这样，全景展开的过程实际上就是为"空白"全景图 像的每个像素点在全向图像中找到对应的像素点并进行"颜色填充"的过程。为了论述方便， 把全景展开前建立的"空白"全景图像，以及该"空白"全景图像尚未完全填充时的图像称为待 填充全景图像。熊志辉等在2007年第10期《小型微型计算机系统》上发表的"八向对称重用策略降低全 景图像查表展开法查找表空间"一文中，将国际上进行全景展开的方法归纳为三类，S卩光路 跟踪坐标映射法、同心圆环近似展开法和查表法。其中，光路跟踪坐标映射法通过跟踪并分 析光线传播轨迹来完成从全向图像到全景图像的展开，具有较高的展开精度和较小图像变形， 但运算量大；同心圆环近似展开法把展开前的全向图像看作由一系列同心圆环组成，通过"拉直，，每个同心圆环来完成从全向图像到全景图像的展开，该方法计算量相对较小，但展开后的 全景图像存在较大变形。查表法首先精确计算展开前的全向图像和展开后的全景图像之间的像素坐标映射关系， 并保存到一个査找表中，査找表和全向图像均存储在片外存储器中；然后，在进行全景展开 时，对于待填充全景图像中的每个像素点P，通过查找表找到P在全向图像中的对应像素点 Q，并把点Q的颜色值复制给点P，作为像素点P的颜色值，这样就完成了对像素点P的"颜 色填充"。最后，当待填充全景图像中的所有像素点都完成"颜色填充"后，即结束全景展开过 程，而此时待填充全景图像也相应地成为了全景图像。由于查表法进行全景展开避免了进行 复杂运算所需的时间，因此该方法既具有较高的精度，又具有较快的速度。为了使折反射全景成像方法向便携、嵌入式应用方向发展，可以在DSP等嵌入式系统上 用査表法实现全景展开。然而，DSP中高速缓存Cache的容量有限，以美国德州仪器公司 TMS320VC5501型号的DSP为例，其高速缓存Cache容量只有32KB。而在全景展开时，待 填充全景图像中的一行像素对应于全向图像中一个"圆环"上的像素，这些像素点之间不是线 性相邻的映射关系，导致DSP的高速缓存Cache中所暂存的全向图像数据经常失效，使得 DSP需要反复从速度较慢的片外存储器(例如SDRAM)中读取全向图像的数据，严重影响 了在DSP上进行全景展开的速度。技术方案本专利技术要解决的技术问题是在DSP上用査表法进行全景展开时全向图像数据 在高速缓存Cache中经常失效、全景展开速度较慢的问题。技术方案是把待填充全景图像和查找表分块，并确定各个待填充全景图像子块在全向图 像中的Cache包围盒。为论述方便，把待填充全景图像子块在全向图像中对应的Cache包围 盒所覆盖的图像区域称为全向图像Cache包围盒子块。全景展开时，每次处理一个待填充全 景图像子块，在高速缓存Cache中建立一个"空白的"待填充全景图像子块，并把该待填充全 景图像子块对应的查找表子块和全向图像Cache包围盒子块调入高速缓存Cache,这时，就 可以在DSP的高速缓存Cache中完成对当前待填充全景图像子块的"颜色填充"，避免出现高 速缓存Cache失效的情况，在对当前的待填充全景图像子块完成"颜色填充"之后，把这个己 经完成"颜色填充"的待填充全景图像子块调出高速缓存Cache,然后进行下一个待填充全景图 像子块的处理。通过这种方法避免全向图像数据的经常失效，从而提高在DSP上用査表法进 行折反射全景图像展开的速度。本专利技术包括以下步骤第一步，在片外存储器中建立一个"空白"全景图像，即待填充全景图像。第二步，对待填充全景图像和查找表进行分块，得到待填充全景图像子块和查找表子块， 并确定每个待填充全景图像子块在全向图像中对应的Cache包围盒子块。DSP上的高速缓存 Cache容量有限，难以一次性容纳待填充全景图像、全向图像以及查找表的全部数据。例如， 如果全向图像的分辨率为1024x768，全景图像的分辨率为1152x256，假设全景图像和全向图 像的每个像素占用2个字节(使用YUV 4:2:2格式)，那么待填充全景图像和全向图像所需 的存储空间就是2112KB;此外，全景展开所用查找表的大小也是1152x256，查找表的每项 按占用4个字节计算，那么查找表所需的存储空间就是1152KB;这样，存放待填充全景图像、 全向图像和査找表的全部数据共需要3264KB。而目前即使较先进的DSP其高速缓存Cache 容量通常也不超过1024KB，不可能一次性存放待填充全景图像、全向图像以及査找表的全部 数据。若对待填充全景图像和查找表进行分块，并根据待填充全景图像子块确定全向图像 Cache包围盒，每次只对一个待填充全景图像子块进行"颜色填充"，则可满足Cache容量要求。方法是首先，将待填充全景图像划分为大小相等且互不重叠的矩形块，这些矩形块称 为待填充全景图像子块；然后，将查找表划分为大小相等且互不重叠的数据块，这些数据块 称为查找表子块，査找表划分时，确保每个待填充全景图像子块对应一个查找表子块，而且待填充全景图像子块的每个像素点P在该査找表子块中有一个元素，描述了 P在全向图像中 对应像素点尸'的坐标值；最后，在查找表中查找出每个待填充全景图像子块像素集合对应到全向图像上的像素集合c，并确定能够包围c中所有像素点的最小轴向矩形，其中轴向矩形是指四条边都与图像坐标轴平行的矩形。该最小轴向矩形的四条边围成的矩形框称为Cache 包围盒；包含在Cache包围盒中的全向图像像素点构成的集合称为Cache包围盒子块。待填充全景图像子块的大小根据以下公式确定 S本文档来自技高网...

【技术保护点】
一种ＤＳＰ上用查表法进行折反射全景展开的Ｃａｃｈｅ包围盒加速方法，其特征在于包括以下步骤：第一步，在片外存储器（１１）中建立一个“空白”全景图像即待填充全景图像（４）；第二步，对待填充全景图像（４）和查找表（６）进行分块，得 到待填充全景图像子块（７）和查找表子块（１２），并确定每个待填充全景图像子块（７）在全向图像（２）中对应的Ｃａｃｈｅ包围盒子块（１０），方法是：首先，将待填充全景图像（４）划分为大小相等且互不重叠的矩形块，即待填充全景图像子块（７）；然后，将查找表（６）划分为大小相等且互不重叠的查找表子块，每个待填充全景图像子块（７）对应一个查找表子块（１２），而且待填充全景图像子块（７）的每个像素点Ｐ在该查找表子块（１２）中有一个元素，描述了Ｐ在全向图像（２）中对应像素点Ｐ′的坐标值；最后，在查找表（６）中查找出每个待填充全景图像子块（７）像素集合对应到全向图像（２）上的像素集合Ｃ，并确定能够包围Ｃ中所有像素点的最小轴向矩形，该最小轴向矩形的四条边围成的矩形框称为Ｃａｃｈｅ包围盒；包含在Ｃａｃｈｅ包围盒中的全向图像像素点构成的集合称为Ｃａｃｈｅ包围盒子块；第三步，对于待填充全景图像（４）中的每个没有被“颜色填充”的待填充全景图像子块（７），依次执行以下步骤进行全景展开：步骤１，在ＤＳＰ的高速缓存Ｃａｃｈｅ（１３）中建立一个“空白”的待填充全景图 像子块，称为待填充全景图像Ｃａｃｈｅ子块（１４），其大小与待填充全景图像子块（７）相同；步骤２，把待填充全景图像子块（７）对应的查找表子块（１２）调入ＤＳＰ的高速缓存Ｃａｃｈｅ（１３）中，并把查找表子块（１２）存储在高速缓存Ｃａｃｈ ｅ（１３）中的对应子块称为查找表Ｃａｃｈｅ子块（１５）；步骤３，把待填充全景图像子块（７）对应的Ｃａｃｈｅ包围盒子块（１０）调入ＤＳＰ的高速缓存Ｃａｃｈｅ（１３）中，并把Ｃａｃｈｅ包围盒子块（１０）存储在高速缓存Ｃａｃｈｅ（１３）中 的对应子块称为Ｃａｃｈｅ包围盒Ｃａｃｈｅ子块（１６）；步骤４，按照先逐行、再逐列的方式，在ＤＳＰ的高速缓存Ｃａｃｈｅ（１３）中完成待填充全景图像Ｃａｃｈｅ子块（１４）的“颜色填充”，具体方法是：对于待填充全景图像Ｃａｃｈｅ子块（１４ ）中的每一个像素点Ｐ↓［ｃａｃｈｅ］，通过查找表Ｃａｃｈｅ子块（１５）找到Ｐ↓［ｃａｃｈｅ］在Ｃａｃｈｅ包围盒Ｃａｃｈｅ子块（...

【技术特征摘要】

【专利技术属性】
技术研发人员：张茂军，熊志辉，王炜，程钢，包卫东，谭树人，徐玮，李乐，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：43[中国|湖南]