基于小波神经网络的图像融合方法、装置、设备及介质制造方法及图纸

本发明专利技术适用图像处理技术领域，提供了一种基于小波神经网络的图像融合方法、装置、设备及介质，该方法包括：接收内窥镜图像和CT图像，计算CT图像对应内窥镜图像的相对缩放比例和相对旋转角度，根据相对缩放比例和相对旋转角度对CT图像进行缩放和旋转，通过训练好的小波神经网络，对CT图像和内窥镜图像进行图像融合，生成增强现实手术图像，通过增强现实显示设备对增强现实手术图像进行显示输出，从而提高了内窥镜图像与CT图像的图像融合效果，提高了增强现实手术图像的图像质量，进而有效地提高了手术的安全程度。

Image Fusion Method, Device, Equipment and Media Based on Wavelet Neural Network

The invention is applicable to the field of image processing technology, and provides an image fusion method, device, device and medium based on wavelet neural network. The method includes: receiving endoscope image and CT image, calculating the relative scaling ratio and relative rotation angle of CT image corresponding to endoscope image, scaling and rotating CT image according to relative scaling ratio and relative rotation angle, and deflating. The trained wavelet neural network can fuse CT image and endoscope image to generate augmented reality image. The augmented reality image can be displayed and output by augmented reality display equipment, which improves the image fusion effect between endoscope image and CT image, improves the image quality of augmented reality image, and effectively improves the safety of operation. To a full extent.

【技术实现步骤摘要】
基于小波神经网络的图像融合方法、装置、设备及介质
本专利技术属于图像处理
，尤其涉及一种基于小波神经网络的图像融合方法、装置、设备及介质。
技术介绍
尽管经历了数个世纪的发展，如今外科手术的操作方式仍与几百年前基本一样。传统外科手术必须切断很多健康的组织层才能达到目标组织，对健康组织造成了严重的破坏。为了降低开销同时又解除患者的创伤，传统的外科开刀手术正被微创手术所替代，比如图像引导外科手术系统，它的目标在于通过整合医学图像和其他信息源，如跟踪仪器，增强并补充医生对于骨骼空间结构的理解能力。图像引导外科手术中医生能够通过利用医学成像技术降低外科手术过程中的创伤，并提高准确性和安全性。然而，现有的图像引导手术系统存在一些问题。首先医生不得不把目光从患者身上移到显示屏上，这就破坏了医生的手眼协调，其次医生不能在显示屏上看到患者，降低了外科手术的安全性，最重要的是，图像引导手术只能增加人眼所不能达到的视觉范围与精度，并不能提供额外的“透视”表层的能力。将增强现实(AugmentedReality,AR)引入到图像引导手术中来可以解决图像引导手术的上述问题。增强现实又称作混合现实(Mi本文档来自技高网...

【技术保护点】
1.一种基于小波神经网络的图像融合方法，其特征在于，所述方法包括下述步骤：接收采集到的内窥镜图像，并获取预先采集到、用于与所述内窥镜图像进行图像融合的CT图像；计算所述CT图像对应所述内窥镜图像的相对缩放比例，计算所述CT图像对应所述内窥镜图像的相对旋转角度；根据所述CT图像对应所述内窥镜图像的相对缩放比例和所述相对旋转角度，对所述CT图像进行缩放和旋转；通过预先训练好的小波神经网络，对所述CT图像和所述内窥镜图像进行图像融合，生成相应的增强现实手术图像；通过增强现实显示设备对所述增强现实手术图像进行显示输出。

【技术特征摘要】
1.一种基于小波神经网络的图像融合方法，其特征在于，所述方法包括下述步骤：接收采集到的内窥镜图像，并获取预先采集到、用于与所述内窥镜图像进行图像融合的CT图像；计算所述CT图像对应所述内窥镜图像的相对缩放比例，计算所述CT图像对应所述内窥镜图像的相对旋转角度；根据所述CT图像对应所述内窥镜图像的相对缩放比例和所述相对旋转角度，对所述CT图像进行缩放和旋转；通过预先训练好的小波神经网络，对所述CT图像和所述内窥镜图像进行图像融合，生成相应的增强现实手术图像；通过增强现实显示设备对所述增强现实手术图像进行显示输出。2.如权利要求1所述的方法，其特征在于，计算所述CT图像对应所述内窥镜图像的相对缩放比例的步骤，包括：通过高斯型拉普拉斯算子计算所述CT图像的图像窗口尺寸和所述内窥镜图像的图像窗口尺寸；根据所述CT图像的图像窗口尺寸和所述内窥镜图像的图像窗口尺寸，计算所述CT图像对应所述内窥镜图像的相对缩放比例。3.如权利要求1所述的方法，其特征在于，计算所述CT图像对应所述内窥镜图像的相对旋转角度的步骤，包括：通过Radon变换方式，计算所述CT图像对应所述内窥镜图像的相对旋转角度。4.如权利要求1所述的方法，其特征在于，对所述CT图像和所述内窥镜图像进行图像融合的步骤，包括：将所述CT图像输入所述小波神经网络，获得所述CT图像的近似图像；根据所述近似图像与所述内窥镜图像的最小均方误差，确定所述CT图像与所述内窥镜图像的匹配度，所述小波神经网络隐含层的神经元为Gabor函数。5.如权利要求1所述的方法，其特征在于，所述增强现实显示设备为头盔式增强现实显示设备。6.一种基于小波神经...

【专利技术属性】
技术研发人员：石大明，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44