基于小波神经网络的增强现实图像方法技术

技术编号:8131309 阅读:288 留言:0更新日期:2012-12-27 03:45
本发明专利技术提供一种基于小波神经网络的增强现实图像引导方法。步骤包括:分别利用Radon变换及高斯型拉普拉斯滤波确定两幅图像之间的旋转与尺度关系,在对源图像进行平移、旋转及尺度变换之后,同时对源图像及目标图像提取小波特征并计算匹配度;虚拟场景是利用手术前拍摄的CT切片图像重建出内部组织的三维结构,现实场景是内窥镜图像,将现实场景与虚拟场景进行图像配准,然后将融合后的图像显示在增强现实头盔系统上,从而形成一个有透视能力的虚拟内窥镜。本发明专利技术是一种时-频分析法,通过提取图像的小波特征来实现配准。小波神经网结合了小波变换的时-频特性以及神经网络的学习优化机制,能更快速准确地实现图像配准。

【技术实现步骤摘要】

本专利技术涉及图像处理技术,具体说就是一种。
技术介绍
虚拟内窥镜(VirtualEndoscope),又可称作计算内窥镜(Computed Endoscope),就是利用计算机处理三维图像数据,达到或接近普通医用内窥镜的视觉效果。虚拟内窥镜不仅可以用于实际观察或仿真预演,还可以在很多场合直接代替真实的内窥镜。虚拟内窥镜的研究在过去十年得到迅猛发展,主要是因为图像融合及虚拟现实技术已逐渐成熟。由 于虚拟场景是由CT/MRI图像构建,而实际的内窥镜要与之配准就涉及到多体图像融合问题,即将同一对象的不同介质图像协同地混合在一起来揭示更清晰的信息。虽然现在有许多不同介质如超声波、X光、CT、MRI、PET、SPET等都可以获取医学图像,但是如何定量地测量各种图像之间的相互关系以及如何进行优势互补则需要数据融合来解决。比如MRI和CT图像可以高清晰地显示结构信息,PET和SPET则以低分辨率方式提供功能信息。MRI/CT图像与PET/SPET图像融合后就可综合这两方面的信息而更好地定量分析。又比如,MRI图像与CT图像融合可以同时展现高密质的骨骼结构以及疏密质软纤维信息。最简单直接的图像融合方法是采取线性变换,如强度-色调饱和变换。Sharma采用主元分析(PCA)获得两幅图像的变化参数后,将目标图像加权叠加到源图像。这类方法的效果不理想,这是因为两幅图像的特征不一定是同时出现的,所以在融合后的图像上会以降低对比度的方式或机械叠加的方式呈现。研究表明,人类的视觉系统对不同尺度大小的边缘特别敏感,两幅图像的尺寸和分辨率必须相同才能被正确地配准与融合,而上述的线性变换方法没有考虑到这一特点。目前最成功的图像融合方法是时-频分析法。这种方法实际是将图像分解成高通系数与低通系数的表示,在高频和低频部分融合后,经过逆变换生成最终结果。最常用的时-频分析法是小波变换,它在每一级将图像分解成低-低、低-高、高-低、高-高四个空间频率带。低-低带包含了平均的图像信息,高频带则包含了方向或边缘信息。
技术实现思路
本专利技术的目的在于提供一种。本专利技术的目的是这样实现的步骤如下步骤一基于小波神经网络的图像配准分别利用Radon变换及高斯型拉普拉斯滤波确定两幅图像之间的旋转与尺度关系,在对源图像进行平移、旋转及尺度变换之后,同时对源图像及目标图像提取小波特征并计算匹配度;步骤二 基于虚拟内窥镜的增强现实图像系统集成虚拟场景是利用拍摄的CT切片图像重建出内部组织的三维结构,现实场景是内窥镜图像,将现实场景与虚拟场景进行图像配准,然后将融合后的图像显示在增强现实头盔系统上,从而形成一个有透视能力的虚拟内窥镜;步骤三数据集测试与动物实验将已集成的系统应用于人工合成的手写字符集以及公开的基准数据库,经过数据分析和改进算法后,将这种增强现实内窥镜图像系统用于动物实验。本专利技术是一种时-频分析法,通过提取图像的小波特征来实现配准。小波神经网结合了小波变换的时-频特性以及 神经网络的学习优化机制,能更快速准确地实现图像配准。本课题旨在利用增强现实的技术构建一个具有透视能力的虚拟内窥镜,使得使用者能看到被覆盖在表层以下的组织。而实现这一系统的关键技术是虚拟场景与现实场景的图像配准。即系统的准确性与实时性都取决于虚拟场景与现实场景进行图像配准的精度与速度。所以,本专利技术的研究集中在基于并行Radon变换的图像平移、旋转及尺度关系,并利用小波神经网的函数近似与自适应学习能力来匹配两幅图像。该项方法的研究还可以用于管道机器人视觉导航,这将是下一代智能机器人的标准配备,市场前景极为广阔。此外本项研究还可以扩展开发出全自主运作、具有精确定位和目标识别功能的机器人,它不仅可用于工业生产和日常的生活,还可以用于侦察敌情及抗震救灾。具体实施例方式下面举例对本专利技术作进一步说明。实施例I :本专利技术一种,步骤如下步骤一基于小波神经网络的图像配准分别利用Radon变换及高斯型拉普拉斯滤波确定两幅图像之间的旋转与尺度关系,在对源图像进行平移、旋转及尺度变换之后,同时对源图像及目标图像提取小波特征并计算匹配度;步骤二 基于虚拟内窥镜的增强现实图像系统集成虚拟场景是利用拍摄的CT切片图像重建出内部组织的三维结构,现实场景是内窥镜图像,将现实场景与虚拟场景进行图像配准,然后将融合后的图像显示在增强现实头盔系统上,从而形成一个有透视能力的虚拟内窥镜;步骤三数据集测试与动物实验将已集成的系统应用于人工合成的手写字符集以及公开的基准数据库,经过数据分析和改进算法后,将这种增强现实内窥镜图像系统用于动物实验。实施例2 :本专利技术一种,步骤如下(I)基于小波神经网进行图像配准采用计算每幅图像的绝对尺度参数来获得相对缩放比例;通过分析Radon空间获得图像之间的相对旋转角度;最后通过小波神经网找到两幅图像的最佳匹配值。在多尺度图像分析法中,尺度-空间表示法描述的是某一特定点周围的局部图像结构。通过对图像中若干个点进行尺度归一的高斯型拉普拉斯算子运算(Laplacian ofGaussian, LoG),进而经过表决确定整幅图像的尺度。利用快速的并行Radon变换方法,合并多个不同系数的傅立叶变换获得多个频谱集。这种方法不仅不需要传统的补零处理,还可以并行运算,在速度和精度上都有显著提高。给定两幅图像,分别生成频谱图,运用投影定理将直角坐标系映射至极坐标,再对各角度的投影作一维傅立叶逆变换从而形成Radon空间上的正弦图,然后分析两幅图像之间的旋转关系。图像跟踪的第一步是找到视频序列中各帧间的对应。在本方法中,我们关注基于固有三维像素特征的配准方法,该方法直接作用于图像灰度值,无需对图像进行人工预处理。习惯上,上述对应即指计算从两幅图像中抽取特征的变化。基于亮度的方法易受光照变化干扰。此时,在内窥镜成像中普遍采用适用于光照变化的纹理信息。为降低亮度变化的干扰,我们在关注亮度变化的同时,拟采 用特征区域的空间信息来进行相似性估计。利用小波的尺度特性和神经网络的高效学习机制,小波网络一诞生即成为强健的工具用于许多领域。如在小波网络理论中一样,Gabor奇函数被写成平移、旋转和扩张的编码。在本方法中,考虑连续函数空间上的紧致性,我们采用常见的Gabor奇函数和偶函数。首先,我们引入Gabor分析作为信号处理和通信的工具。Gabor将扩展信号f视为如下序列f (X) = Σ cmnexp {i2 31 mbx} g(x-na)。其中g(x_na)是高斯函数。在采用Gabor函数作为网络的母函数之前,我们先关注帧特性。给定参数和函数,1(沢)中形如{el2lIb(mx+ny)g(x-ka, y-la)z 的一巾贞称为 Gabor 巾贞。当 ab 彡 I 时,Gabor 巾贞退化为中的一帧。当且仅当ab = I时,Gabor帧为ReiZs基。(我们仅将两个一维Gabor相乘以获得二维Gabor巾贞)。我们将用Gabor滤波技术中的函数定义Gabor帧,如式(I)所示cos (2;r/nfoc) cos (之咖办){hnmu} =\g(x-ka,y-la).s\n{2nmbx) cos{2nnby)sin (Inmbx) sin (lnnby)V7 V ^ β >J n,mtkJeZ (I)—旦获得G本文档来自技高网
...

【技术保护点】
一种基于小波神经网络的增强现实图像方法,其特征在于:步骤如下:步骤一:基于小波神经网络的图像配准分别利用Radon变换及高斯型拉普拉斯滤波确定两幅图像之间的旋转与尺度关系,在对源图像进行平移、旋转及尺度变换之后,同时对源图像及目标图像提取小波特征并计算匹配度;步骤二:基于虚拟内窥镜的增强现实图像系统集成虚拟场景是利用拍摄的CT切片图像重建出内部组织的三维结构,现实场景是内窥镜图像,将现实场景与虚拟场景进行图像配准,然后将融合后的图像显示在增强现实头盔系统上,从而形成一个有透视能力的虚拟内窥镜;步骤三:数据集测试与动物实验将已集成的系统应用于人工合成的手写字符集以及公开的基准数据库,经过数据分析和改进算法后,将这种增强现实内窥镜图像引导系统用于动物实验。

【技术特征摘要】
1.一种基于小波神经网络的增强现实图像方法,其特征在于步骤如下 步骤一基于小波神经网络的图像配准 分别利用Radon变换及高斯型拉普拉斯滤波确定两幅图像之间的旋转与尺度关系,在对源图像进行平移、旋转及尺度变换之后,同时对源图像及目标图像提取小波特征并计算匹配度; 步骤二 基于虚拟内窥镜的增强现实图像系统集成 虚拟场景是利用拍摄的C...

【专利技术属性】
技术研发人员:石大明唐降龙郑丽颖程丹松赵旭东
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1