多光谱立体视觉内窥镜装置及图像融合方法制造方法及图纸

技术编号:17974637 阅读:31 留言:0更新日期:2018-05-16 14:07
本发明专利技术公开了一种多光谱立体视觉内窥镜装置及图像融合方法,属于医疗器械领域。其包括:光源部,摄像部,图像处理部,显示部。图像融合方法为:步骤1,通过内窥镜图像获取单元获取图像;步骤2,分别构建高斯金字塔及拉普拉斯金字塔;步骤3,处理并融合近红外图像及绿色图像除顶层外的每一层拉普拉斯金字塔;步骤4,对近红外金字塔顶层图像进行目标区域分割;步骤5,处理并融合顶层绿色图像与近红外图像;步骤6,根据融合后的拉普拉斯金字塔重构底层绿色图像;步骤7,将重构的绿色图像与其他通道合并得到最终融合图像;步骤8,利用视差图像移位法处理两组融合图像,生成立体图像对。使用该方法得到了真实的三维结构信息。

【技术实现步骤摘要】
多光谱立体视觉内窥镜装置及图像融合方法
本专利技术公开了一种多光谱内窥镜装置及图像融合方法,尤其涉及一种基于双目立体视觉的多光谱内窥镜装置及图像融合方法,属于医疗器械领域。
技术介绍
内窥镜是一种光学仪器,由冷光源镜头、纤维光导线、图像传输系统、屏幕显示系统等组成,能够扩大手术视野。内窥镜的突出优点是操作灵活简便、手术切口小、术后反应轻、能提高医生的诊疗能力,因而在临床诊断、治疗以及对发病机制、病理变化的监测等方面获得了广泛应用。传统内窥镜观察到的是组织器官水平的结构图像,不能实现体内血管、淋巴管、肿瘤等的功能显像,降低了手术的精确度。而现有的多光谱内窥镜通过在术前向病人体内注射靶向或非靶向的光学分子显影剂,能够在手术中采集并显示反映解剖学结构信息的彩色图像及标记肿瘤、血管、淋巴管等的光学分子影像近红外图像。然而现有的多光谱内窥镜仅显示二维图像,与手术过程中实际的解剖学三维结构存在偏差,因此无法准确判断病灶位置,容易导致医生在手术中出现失误。目前还没有能够解决上述问题的有效方法。
技术实现思路
本专利技术所要解决的问题是克服传统多光谱内窥镜工作过程中获取的二维平面图像无法反映立体信息的不足,提供一种多光谱立体视觉内窥镜装置及图像融合方法,使获取到的图像反映的信息更加全面,从而提高医生进行手术的精确度和准确度,减少失误的发生。人在观察物体时,能够在感知物体形状的同时感知物体与自己的距离及物体间的相对位置关系,然而现有的2D显示器显示时会丢失物体的深度信息。利用3D显示技术可以有效地呈现出具有纵深感的立体图像,克服2D显示丢失三维深度信息的不足。双目立体显示作为3D显示的一种,主要通过光学等技术模拟实现人眼立体视觉特性,将空间物体以立体信息方式再现。该技术能够帮助医生判断病灶在空间中的位置及不同组织间的相对位置。所述内窥镜装置在传统多光谱内窥镜基础上将单路采集相机替换为模拟双目视觉的双路相机,根据内窥镜采集到的两路彩色图像,采用所述图像融合方法与近红外图像分别基于图像金字塔算法进行融合,并将融合后的双路图像经视差图像移位法处理后输入立体视觉显示装置中通过偏光眼镜进行观察,从而还原出真实的解剖学三维结构。由多光谱内窥镜的原理可知,多光谱内窥镜获取的彩色光图像反映目标的结构信息,而近红外图像反映其功能信息,提取近红外图像的细节信息并与彩色光图像进行融合,得到的融合图像可以同时反映目标的结构信息及功能信息,提高了图像的辨识度。首先,采用双通道相机结构模拟人眼观看空间场景,从两个位于同一水平线上的拍摄点拍摄同一景物,得到两幅具有视差信息的视差图像,平行式立体相机拍摄获得的视差图像没有梯形失真及垂直视差,整个场景只有负水平视差;其次,分别处理得到两个通道的融合图像,通过空分的方法将两幅图像显示在偏光显示屏上;最后,采用偏光眼镜等技术使观看者左、右眼分别看到原先从左右拍摄点拍摄得到的左右视差图像,从而实现立体显示,大大提高显示图像与真实解剖学结构的契合度。基于上述思路,本专利技术提出一种多光谱立体视觉内窥镜装置,其包括:光源部,提供可见光和激发光,由白色光源、激发光源和聚光透镜构成,所述聚光透镜使来自所述白色光源的照明光以及所述激发光源的激发光会聚到光纤的入射端面;摄像部,其中摄像部具有:用于引导由所述光源部会聚的光的所述光纤;使通过所述光纤而被引导至前端的光扩散并照射到观察对象的照明透镜;以及用于检测会聚的成像光的摄像单元,所述摄像单元具有两个用于接收会聚的可见光的成像光的摄像元件和两个用于接收会聚的近红外光的摄像元件;图像处理部,其包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的两组RGB彩色图像和近红外图像,并从所述RGB彩色图像提取绿色通道图像、红色通道图像和蓝色通道图像,将绿色通道图像和与其对应的近红外图像分别构建各自的高斯金字塔及拉普拉斯金字塔,根据所述高斯金字塔及拉普拉斯金字塔将所述绿色通道图像与所述近红外图像融合重构出融合后的绿色通道图像,将所述融合后的绿色通道图像与所述红色通道图像和所述蓝色通道图像合并处理后得到两组具有视差信息且融合了彩色图像与近红外图像细节信息的融合后的彩色图像;立体图像生成部,其利用视差图像移位法处理两组具有视差信息的所述融合后的彩色图像,生成立体图像对;显示部,其将所述立体图像生成部生成的立体图像对显示为以立体图像。所述图像融合部包括图像分离单元,其将从所述图像取得部获取两个用于接收会聚的可见光的成像光的摄像元件中的一个的RGB彩色图像和两个用于接收会聚的近红外光的摄像元件中的一个的近红外图像,将彩色图像进行通道分离得到红色、绿色、蓝色三个通道的图像,选取其中绿色通道图像;金字塔构建单元,其将从所述图像分离单元获取的所述近红外图像和所述绿色通道图像作为底层图像,分别向下采样构建二者各自的高斯金字塔及拉普拉斯金字塔;金字塔更新单元,其分别比较所述金字塔构建单元构建的近红外图像和绿色通道图像除顶层外的每一层拉普拉斯金字塔每个像素点的数值大小并取较大值保存为新的拉普拉斯金字塔;顶层金字塔处理单元,其将所述金字塔构建单元构建的近红外图像顶层的高斯金字塔图像进行边界提取及孔洞填充,再与原来的顶层近红外图像相乘得到去除背景的近红外图像;顶层金字塔更新单元,其分别比较所述金字塔构建单元构建的绿色通道图像的顶层与所述金字塔处理单元获取的去除背景的近红外图像的每个像素点的值并取较大值保存为新的绿色通道图像的顶层高斯金字塔;图像重构单元,其将顶层金字塔更新单元根据取得的融合后的顶层高斯金字塔图像向上采样,然后与该层的拉普拉斯金字塔相加继续向上采样,如此循环直至重构出底层绿色通道图像;图像合并单元,其所述图像重构单元重构出的底层绿色通道图像与所述图像分离单元分离出的红色及蓝色通道的图像进行通道合并,得到最终融合后的彩色图像。所述摄像单元还包括:两个物镜,所述物镜会聚从观察对象返回的反射光;两个分光镜,该分光镜投射近红外光,反射可见光。所述摄像单元还包括:两个物镜,所述物镜会聚从观察对象返回的反射光;两个分光镜,该分光镜投射近红外光,反射可见光。本专利技术一种图像处理装置,包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的两组RGB彩色图像和近红外图像,并从所述RGB彩色图像提取绿色通道图像、红色通道图像和蓝色通道图像,将绿色通道图像和与其对应的近红外图像分别构建各自的高斯金字塔及拉普拉斯金字塔,根据所述高斯金字塔及拉普拉斯金字塔将所述绿色通道图像与所述近红外图像融合重构出融合后的绿色通道图像,将所述融合后的绿色通道图像与所述红色通道图像和所述蓝色通道图像合并处理后得到两组具有视差信息且融合了彩色图像与近红外图像细节信息的融合后的彩色图像,其包括;图像分离单元,其将从所述图像取得部获取两个用于接收会聚的可见光的成像光的摄像元件中的一个的RGB彩色图像和两个用于接收会聚的近红外光的摄像元件中的一个的近红外图像,将彩色图像进行通道分离得到红色、绿色、蓝色三个通道的图像,选取其中绿色通道图像;金字塔构建单元,其将从所述图像分离单元获取的所述近红外图像和所述绿色通道图像作为底层图像,分别向下采样构建二者各自的高斯金字塔及拉普拉斯本文档来自技高网...
多光谱立体视觉内窥镜装置及图像融合方法

【技术保护点】
一种多光谱立体视觉内窥镜装置,其特征在于,包括:光源部,提供可见光和激发光,由白色光源、激发光源和聚光透镜构成,所述聚光透镜使来自所述白色光源的照明光以及所述激发光源的激发光会聚到光纤的入射端面;摄像部,其中摄像部具有:用于引导由所述光源部会聚的光的所述光纤;使通过所述光纤而被引导至前端的光扩散并照射到观察对象的照明透镜;以及用于检测会聚的成像光的摄像单元,所述摄像单元具有两个用于接收会聚的可见光的成像光的摄像元件和两个用于接收会聚的近红外光的摄像元件;图像处理部,其包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的两组RGB彩色图像和近红外图像,并从所述RGB彩色图像提取绿色通道图像、红色通道图像和蓝色通道图像,将绿色通道图像和与其对应的近红外图像分别构建各自的高斯金字塔及拉普拉斯金字塔,根据所述高斯金字塔及拉普拉斯金字塔将所述绿色通道图像与所述近红外图像融合重构出融合后的绿色通道图像,将所述融合后的绿色通道图像与所述红色通道图像和所述蓝色通道图像合并处理后得到两组具有视差信息且融合了彩色图像与近红外图像细节信息的融合后的彩色图像;立体图像生成部,其利用视差图像移位法处理两组具有视差信息的所述融合后的彩色图像,生成立体图像对;显示部,其将所述立体图像生成部生成的立体图像对显示为以立体图像。...

【技术特征摘要】
1.一种多光谱立体视觉内窥镜装置,其特征在于,包括:光源部,提供可见光和激发光,由白色光源、激发光源和聚光透镜构成,所述聚光透镜使来自所述白色光源的照明光以及所述激发光源的激发光会聚到光纤的入射端面;摄像部,其中摄像部具有:用于引导由所述光源部会聚的光的所述光纤;使通过所述光纤而被引导至前端的光扩散并照射到观察对象的照明透镜;以及用于检测会聚的成像光的摄像单元,所述摄像单元具有两个用于接收会聚的可见光的成像光的摄像元件和两个用于接收会聚的近红外光的摄像元件;图像处理部,其包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的两组RGB彩色图像和近红外图像,并从所述RGB彩色图像提取绿色通道图像、红色通道图像和蓝色通道图像,将绿色通道图像和与其对应的近红外图像分别构建各自的高斯金字塔及拉普拉斯金字塔,根据所述高斯金字塔及拉普拉斯金字塔将所述绿色通道图像与所述近红外图像融合重构出融合后的绿色通道图像,将所述融合后的绿色通道图像与所述红色通道图像和所述蓝色通道图像合并处理后得到两组具有视差信息且融合了彩色图像与近红外图像细节信息的融合后的彩色图像;立体图像生成部,其利用视差图像移位法处理两组具有视差信息的所述融合后的彩色图像,生成立体图像对;显示部,其将所述立体图像生成部生成的立体图像对显示为以立体图像。2.根据权利要求1所述的多光谱立体视觉内窥镜装置,其特征在于,所述图像融合部包括:图像分离单元,其将从所述图像取得部获取两个用于接收会聚的可见光的成像光的摄像元件中的一个的RGB彩色图像和两个用于接收会聚的近红外光的摄像元件中的一个的近红外图像,将彩色图像进行通道分离得到红色、绿色、蓝色三个通道的图像,选取其中绿色通道图像;金字塔构建单元,其将从所述图像分离单元获取的所述近红外图像和所述绿色通道图像作为底层图像,分别向下采样构建二者各自的高斯金字塔及拉普拉斯金字塔;金字塔更新单元,其分别比较所述金字塔构建单元构建的近红外图像和绿色通道图像除顶层外的每一层拉普拉斯金字塔每个像素点的数值大小并取较大值保存为新的拉普拉斯金字塔;顶层金字塔处理单元,其将所述金字塔构建单元构建的近红外图像顶层的高斯金字塔图像进行边界提取及孔洞填充,再与原来的顶层近红外图像相乘得到去除背景的近红外图像;顶层金字塔更新单元,其分别比较所述金字塔构建单元构建的绿色通道图像的顶层与所述金字塔处理单元获取的去除背景的近红外图像的每个像素点的值并取较大值保存为新的绿色通道图像的顶层高斯金字塔;图像重构单元,其将顶层金字塔更新单元根据取得的融合后的顶层高斯金字塔图像向上采样,然后与该层的拉普拉斯金字塔相加继续向上采样,如此循环直至重构出底层绿色通道图像;图像合并单元,其所述图像重构单元重构出的底层绿色通道图像与所述图像分离单元分离出的红色及蓝色通道的图像进行通道合并,得到最终融合后的彩色图像。3.根据权利要求1所述的多光谱立体视觉内窥镜装置,其特征在于,所述摄像单元还包括:两个物镜,所述物镜会聚从观察对象返回的反射光;两个分光镜,该分光镜投射近红外光,反射可见光。4.根据权利要求3所述的多光谱立体视觉内窥镜装置,其特征在于,所述白色光源发出的可见光照射到观察对象后由观察对象反射的返射光同时分别由所述两个物镜中一个会聚并分别传输到所述两个分光镜中的一个,分光镜将该反射光反射到所述两个用于检测会聚的可见光的成像光的摄像元件;由所述激发光源发出的激发光照射到观察对象后产生的近红外光也同时分别由所述两个物镜中一个会聚并分别传输到所述两个分光镜中的一个,所述分光镜将该近红外光透射到所述用于接收会聚的近红外光的摄像元件。5.一种图像处理装置,其特征在于,包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的...

【专利技术属性】
技术研发人员:陈春晓李建飞董琰彪
申请(专利权)人:南京航空航天大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1