基于4CMOS图像传感器的荧光成像方法及系统技术方案

本发明专利技术涉及荧光成像领域，尤其涉及基于4CMOS图像传感器的荧光成像方法及系统，当前，对荧光成像的研究存在未能精确成像和光谱成像范围小的问题，本发明专利技术提出以下方案，首先放置4个CMOS图像传感器，接收手术区域荧光的光信号，其次将手术区域荧光的光信号转化为光电流信号和深度信号，通过模数转换器输出手术区域荧光图像，最后根据多光谱图像融合策略，将4CMOS图像传感器输出的手术区域荧光图像进行融合，得到多光谱融合手术区域荧光图像，实现快速、精确的荧光成像。精确的荧光成像。精确的荧光成像。

【技术实现步骤摘要】
基于4CMOS图像传感器的荧光成像方法及系统


[0001]本专利技术涉及荧光成像领域，尤其涉及基于4CMOS图像传感器的荧光成像方法及系统。

技术介绍

[0002]荧光成像技术就是通过光电传感器实时采集检测发射的荧光信号并进行信号处理的技术，该技术的核心是荧光成像的实时性、重复性和精密性，目前荧光成像已广泛用于医疗领域，其中手术区域荧光成像技术成为提高早期癌症癌变检出率和治愈率的主要途径，然而，现有的荧光成像技术难以满足临床使用要求，突出表现在成像机制与方法在原理上限制了成像质量、成像系统功能和指标难以满足临床需求、图像处理算法针对性不足等三个方面。近红外荧光导航手术技术具有高组织穿透力、高成像分辨率和实时性的优点，理论上可以检测到单个肿瘤细胞，是最有希望帮助医生实现肿瘤彻底切除的技术，然而目前的荧光影像导航系统多为分体式双相机设计或集成双CMOS单相机设计，前者存在光路复杂、像差难以消除、可见光与荧光画面存在机械配准误差或应力位移误差等问题，后者虽克服了上述大部分问题，但由于其彩色CMOS是用红绿蓝三色马赛克滤镜覆盖在CMOS感光芯片上实现的，容易损失光通量和分辨率，因此通常画面较暗，分辨率和颜色还原度较低，仅考虑CMOS图像传感器内部的噪声，并且动态范围不足，会导致高亮度区域的细节丢失。
[0003]如申请公开号为CN115825027A的中国专利公开了一种用于诊断早期癌特征的检测装置，包括成像单元和图像分析单元，成像单元包括依次放置的不同波长的光源、分光装置和光斑采集物镜组，图像分析单元包括CMOS传感器、CMOS长前置解码器和CMOS信号处理器，装置还包括显示屏，CMOS传感器放置在光斑采集物镜组后，不同波长的光源发出的光投射至分光装置，光斑采集物镜组采集产生的光斑，经过CMOS长前置解码器解码，并经过CMOS信号处理器作图像噪声及灰度处理，在显示屏上显示光电转化的正常光谱及特殊光谱的视频信号的图像。通过照射在组织上显示的荧光图像，在经过图像处理器后的处理能够准确的实现设计的功能的体现，且图像的显示直观，更易于比较MRI、CT、X光影像和阴道镜图像的临床读片的效果。
[0004]如授权公告号CN216013114U的中国专利公开了一种基于CMOS相机的荧光检测系统，包括荧光采集光纤、滤光片、光学成像镜头、CMOS相机，荧光采集光纤的一端采集荧光，另一端为出射端，出射端射出的荧光经过滤光片对波长过滤后进入光学成像镜头，光学成像镜头后面设置有CMOS相机；不仅能确保检测的实时性、精密性、准确性，还具有明显的实用性。
[0005]以上专利均存在本
技术介绍
提出的问题：CMOS图像传感器光谱范围不足，无法全部提取手术区域荧光的光信号，动态范围不足，会导致高亮度区域的细节丢失，没有考虑血液流动噪声对荧光成像的影响，无法做到高精度的荧光成像，光谱图像融合时，没有保留手术区域荧光图像的边缘强度变化信息，造成成像后的图像细节缺失，为了解决这些问题，本申请设计了一种基于4CMOS图像传感器的荧光成像方法及系统。

技术实现思路

[0006]本专利技术所要解决的技术问题是针对现有技术的不足，提供了基于4CMOS图像传感器的荧光成像方法，首先放置4个CMOS图像传感器，接收手术区域荧光的光信号，其次将手术区域荧光的光信号转化为光电流信号和深度信号，通过模数转换器输出手术区域荧光图像，最后根据多光谱图像融合策略，将4CMOS图像传感器输出的手术区域荧光图像进行融合，得到多光谱融合手术区域荧光图像，提供了基于4CMOS图像传感器的荧光成像系统，首先通过不同波段的薄膜干涉滤色片，CMOS图像传感器获取手术区域荧光的光信号，然后通过5T像素阵列，将光信号转为光电流，对光电流进行像素增益，提取光子和深度信息，像素完成对光子的收集并转化为电压信息，手术区域深度信息，通过偏振电路，经过动态曝光调整后由模数转换器将电压信息转换为数字码值，由图像处理器接收数字信号输出数据，获得手术区域荧光图像，最后将多张手术区域荧光图像进行融合，实现快速、精准的荧光成像。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]基于4CMOS图像传感器的荧光成像方法，具体步骤包括：
[0009]S1：设置4个CMOS图像传感器，每个传感器镜头前端放置不同波段的薄膜干涉滤色片，根据不同波段的薄膜干涉滤色片获取手术区域荧光的光信号；
[0010]S2：通过像素阵列将手术区域荧光的光信号转化为电信号，电信号经过偏振电路后由模数转换器处理，输出手术区域荧光图像；
[0011]S3：根据多光谱图像融合策略，将4CMOS图像传感器输出的手术区域荧光图像进行融合，得到多光谱融合手术区域荧光图像；
[0012]具体的，S1所述薄膜干涉滤色片的波段具体包括400nm
‑
600nm、600nm
‑
800nm、800nm
‑
1000nm和1000nm
‑
1200nm；
[0013]具体的，所述S2具体步骤如下：
[0014]S2.1：根据到达4CMOS图像传感器的手术区域荧光光照辐射能量，通过二极管进行光电转换，产生光电流，到达4CMOS图像传感器的手术区域荧光光照辐射能量计算公式为：
[0015]，
[0016]其中，表示到达4CMOS图像传感器的手术区域荧光光照辐射能量，表示手术区域荧光光照辐射能量，表示手术区域荧光漫反射率，表示4CMOS图像传感器光谱透过率，表示手术区域荧光光照辐射能量，表示4CMOS图像传感器表面漫反射率，表示内部干扰光线光照辐射能量，表示手术区域荧光与4CMOS图像传感器的角度余弦值；
[0017]S2.2：通过像素阵列对光电流进行像素增益，提取光子和深度信息，像素完成对光子的收集并转化为电压信息，通过金属总线传到4COMS图像传感器读出电路中，光电流像素增益系数的计算公式为：
[0018]，
[0019]其中，G表示光电流像素增益系数，表示像素电路最大电流，表示光电流，表示像素电路额定电压，表示光电二极管内建电压，表示晶体管内建电压，表示像素电路固定噪声电压，T表示电容积分时间，表示光电二极管电容，表示晶体管电容；
[0020]S2.3：对像素的源级跟随器进行电流偏置，根据场景中光照的变化进行动态曝光调整，对电压信息进行放大，通过模电转换器将电压信息转换为数字码值，由图像处理器接收数字信号输出数据，获得手术区域荧光图像；
[0021]具体的，所述S2.2中所述4CMOS图像传感器读出电路包括：模拟前端电路、模数转换器和数字信号输出接口；
[0022]具体的，S3所述多光谱图像融合策略，具体包括以下步骤：
[0023]S3.1：根据手术区域荧光图像，对每张手术区域荧光图像进行预处理，手术区域荧光图像预处理包括手术区域荧光图像尺度变换和手术区域荧光图像噪声去噪，将每个CMOS图像传感器输出的手术区域荧光图像通过尺度变换转为同一尺寸、角度的手术区域荧光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于4CMOS图像传感器的荧光成像方法，其特征在于，包括以下步骤：S1：设置4个CMOS图像传感器，每个传感器镜头前端放置不同波段的薄膜干涉滤色片，根据不同波段的薄膜干涉滤色片获取手术区域荧光的光信号；S2：通过像素阵列将手术区域荧光的光信号转化为电信号，电信号经过偏振电路后由模数转换器处理，输出手术区域荧光图像；S3：根据多光谱图像融合策略，将4CMOS图像传感器输出的手术区域荧光图像进行融合，得到多光谱融合手术区域荧光图像。2.根据权利要求1所述的基于4CMOS图像传感器的荧光成像方法，其特征在于，S1所述的薄膜干涉滤色片的波段具体包括400nm
‑
600nm、600nm
‑
800nm、800nm
‑
1000nm和1000nm
‑
1200nm。3.根据权利要求1所述的基于4CMOS图像传感器的荧光成像方法，其特征在于，所述S2具体步骤如下：S2.1：根据到达4CMOS图像传感器的手术区域荧光光照辐射能量，通过二极管进行光电转换，产生光电流，到达4CMOS图像传感器的手术区域荧光光照辐射能量计算公式为：，其中，表示到达4CMOS图像传感器的手术区域荧光光照辐射能量，表示手术区域荧光光照辐射能量，表示手术区域荧光漫反射率，表示4CMOS图像传感器光谱透过率，表示手术区域荧光光照辐射能量，表示4CMOS图像传感器表面漫反射率，表示内部干扰光线光照辐射能量，表示手术区域荧光与4CMOS图像传感器的角度余弦值；S2.2：通过像素阵列对光电流进行像素增益，提取光子和深度信息，像素完成对光子的收集并转化为电压信息，通过金属总线传到4COMS图像传感器读出电路中，光电流像素增益系数的计算公式为：，其中，G表示光电流像素增益系数，表示像素电路最大电流，表示光电流，表示像素电路额定电压，表示光电二极管内建电压，表示晶体管内建电压，表示像素电路固定噪声电压，T表示电容积分时间，表示光电二极管电容，表示晶体管电容；S2.3：对像素的源级跟随器进行电流偏置，根据场景中光照的变化进行动态曝光调整，对电压信息进行放大，通过模电转换器将电压信息转换为数字码值，由图像处理器接收数字信号输出数据，获得手术区域荧光图像。4.根据权利要求3所述的基于4CMOS图像传感器的荧光成像方法，其特征在于，所述S2.2中所述4CMOS图像传感器读出电路包括：模拟前端电路、模数转换器和数字信号输出接
口。5.根据权利要求1所述的基于4CMOS图像传感器的荧光成像方法，其特征在于，S3所述多光谱图像融合策略包括以下步骤：S3.1：根据手术区域荧光图像，对每张手术区域荧光图像进行术区荧光图像尺度变换和术区荧光图像噪声去噪；S3.2：根据尺度不变特征变换的特征匹配技术，对每张手术区域荧光图像计算高斯差分，提取手术区域荧光图像的关键点，通过仿射变换在亚像素层对手术区域荧光图像进行叠加；S3.3：对初步叠加后的手术区域荧光图像进行双边滤波，保留手术区域荧光图像边缘强度变化信息，得到手术区域荧光图像的空间增强图像，构造代价函数，进行分辨率估计，对节点进行迭代性修正，手术区域荧光图像双边滤波器的计算公式为：，...

【专利技术属性】
技术研发人员：蔡惠明，李长流，朱淳，潘洁，胡学山，卢露，倪轲娜，王玉叶，张岩，陈平，
申请(专利权)人：南京诺源医疗器械有限公司，
类型：发明
国别省市：