【技术实现步骤摘要】
多光谱立体视觉内窥镜装置及图像融合方法
本专利技术公开了一种多光谱内窥镜装置及图像融合方法,尤其涉及一种基于双目立体视觉的多光谱内窥镜装置及图像融合方法,属于医疗器械领域。
技术介绍
内窥镜是一种光学仪器,由冷光源镜头、纤维光导线、图像传输系统、屏幕显示系统等组成,能够扩大手术视野。内窥镜的突出优点是操作灵活简便、手术切口小、术后反应轻、能提高医生的诊疗能力,因而在临床诊断、治疗以及对发病机制、病理变化的监测等方面获得了广泛应用。传统内窥镜观察到的是组织器官水平的结构图像,不能实现体内血管、淋巴管、肿瘤等的功能显像,降低了手术的精确度。而现有的多光谱内窥镜通过在术前向病人体内注射靶向或非靶向的光学分子显影剂,能够在手术中采集并显示反映解剖学结构信息的彩色图像及标记肿瘤、血管、淋巴管等的光学分子影像近红外图像。然而现有的多光谱内窥镜仅显示二维图像,与手术过程中实际的解剖学三维结构存在偏差,因此无法准确判断病灶位置,容易导致医生在手术中出现失误。目前还没有能够解决上述问题的有效方法。
技术实现思路
本专利技术所要解决的问题是克服传统多光谱内窥镜工作过程中获取的二维平面图像无法反映立体信息的不足,提供一种多光谱立体视觉内窥镜装置及图像融合方法,使获取到的图像反映的信息更加全面,从而提高医生进行手术的精确度和准确度,减少失误的发生。人在观察物体时,能够在感知物体形状的同时感知物体与自己的距离及物体间的相对位置关系,然而现有的2D显示器显示时会丢失物体的深度信息。利用3D显示技术可以有效地呈现出具有纵深感的立体图像,克服2D显示丢失三维深度信息的不足。双目立体显示作为3 ...
【技术保护点】
一种多光谱立体视觉内窥镜装置,其特征在于,包括:光源部,提供可见光和激发光,由白色光源、激发光源和聚光透镜构成,所述聚光透镜使来自所述白色光源的照明光以及所述激发光源的激发光会聚到光纤的入射端面;摄像部,其中摄像部具有:用于引导由所述光源部会聚的光的所述光纤;使通过所述光纤而被引导至前端的光扩散并照射到观察对象的照明透镜;以及用于检测会聚的成像光的摄像单元,所述摄像单元具有两个用于接收会聚的可见光的成像光的摄像元件和两个用于接收会聚的近红外光的摄像元件;图像处理部,其包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的两组RGB彩色图像和近红外图像,并从所述RGB彩色图像提取绿色通道图像、红色通道图像和蓝色通道图像,将绿色通道图像和与其对应的近红外图像分别构建各自的高斯金字塔及拉普拉斯金字塔,根据所述高斯金字塔及拉普拉斯金字塔将所述绿色通道图像与所述近红外图像融合重构出融合后的绿色通道图像,将所述融合后的绿色通道图像与所述红色通道图像和所述蓝色通道图像合并处理后得到两组具有视差信息且融合了彩色图像与近红外图像细节信息的融合后的彩色图像;立体图像生 ...
【技术特征摘要】
1.一种多光谱立体视觉内窥镜装置,其特征在于,包括:光源部,提供可见光和激发光,由白色光源、激发光源和聚光透镜构成,所述聚光透镜使来自所述白色光源的照明光以及所述激发光源的激发光会聚到光纤的入射端面;摄像部,其中摄像部具有:用于引导由所述光源部会聚的光的所述光纤;使通过所述光纤而被引导至前端的光扩散并照射到观察对象的照明透镜;以及用于检测会聚的成像光的摄像单元,所述摄像单元具有两个用于接收会聚的可见光的成像光的摄像元件和两个用于接收会聚的近红外光的摄像元件;图像处理部,其包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的两组RGB彩色图像和近红外图像,并从所述RGB彩色图像提取绿色通道图像、红色通道图像和蓝色通道图像,将绿色通道图像和与其对应的近红外图像分别构建各自的高斯金字塔及拉普拉斯金字塔,根据所述高斯金字塔及拉普拉斯金字塔将所述绿色通道图像与所述近红外图像融合重构出融合后的绿色通道图像,将所述融合后的绿色通道图像与所述红色通道图像和所述蓝色通道图像合并处理后得到两组具有视差信息且融合了彩色图像与近红外图像细节信息的融合后的彩色图像;立体图像生成部,其利用视差图像移位法处理两组具有视差信息的所述融合后的彩色图像,生成立体图像对;显示部,其将所述立体图像生成部生成的立体图像对显示为以立体图像。2.根据权利要求1所述的多光谱立体视觉内窥镜装置,其特征在于,所述图像融合部包括:图像分离单元,其将从所述图像取得部获取两个用于接收会聚的可见光的成像光的摄像元件中的一个的RGB彩色图像和两个用于接收会聚的近红外光的摄像元件中的一个的近红外图像,将彩色图像进行通道分离得到红色、绿色、蓝色三个通道的图像,选取其中绿色通道图像;金字塔构建单元,其将从所述图像分离单元获取的所述近红外图像和所述绿色通道图像作为底层图像,分别向下采样构建二者各自的高斯金字塔及拉普拉斯金字塔;金字塔更新单元,其分别比较所述金字塔构建单元构建的近红外图像和绿色通道图像除顶层外的每一层拉普拉斯金字塔每个像素点的数值大小并取较大值保存为新的拉普拉斯金字塔;顶层金字塔处理单元,其将所述金字塔构建单元构建的近红外图像顶层的高斯金字塔图像进行边界提取及孔洞填充,再与原来的顶层近红外图像相乘得到去除背景的近红外图像;顶层金字塔更新单元,其分别比较所述金字塔构建单元构建的绿色通道图像的顶层与所述金字塔处理单元获取的去除背景的近红外图像的每个像素点的值并取较大值保存为新的绿色通道图像的顶层高斯金字塔;图像重构单元,其将顶层金字塔更新单元根据取得的融合后的顶层高斯金字塔图像向上采样,然后与该层的拉普拉斯金字塔相加继续向上采样,如此循环直至重构出底层绿色通道图像;图像合并单元,其所述图像重构单元重构出的底层绿色通道图像与所述图像分离单元分离出的红色及蓝色通道的图像进行通道合并,得到最终融合后的彩色图像。3.根据权利要求1所述的多光谱立体视觉内窥镜装置,其特征在于,所述摄像单元还包括:两个物镜,所述物镜会聚从观察对象返回的反射光;两个分光镜,该分光镜投射近红外光,反射可见光。4.根据权利要求3所述的多光谱立体视觉内窥镜装置,其特征在于,所述白色光源发出的可见光照射到观察对象后由观察对象反射的返射光同时分别由所述两个物镜中一个会聚并分别传输到所述两个分光镜中的一个,分光镜将该反射光反射到所述两个用于检测会聚的可见光的成像光的摄像元件;由所述激发光源发出的激发光照射到观察对象后产生的近红外光也同时分别由所述两个物镜中一个会聚并分别传输到所述两个分光镜中的一个,所述分光镜将该近红外光透射到所述用于接收会聚的近红外光的摄像元件。5.一种图像处理装置,其特征在于,包括:图像取得部,其读取并存储由所述摄像单元获取的图像;图像融合部,其从所述图像取得部获取的...
【专利技术属性】
技术研发人员:陈春晓,李建飞,董琰彪,
申请(专利权)人:南京航空航天大学,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。