【技术实现步骤摘要】
本专利技术涉及智能光学成像的，特别涉及一种基于深度神经网络的单根多模光纤内窥镜成像系统及方法。
技术介绍
1、现有的光学内窥镜使用多根单模光纤组合的光纤束作为信息传输载体，光纤在具有良好柔韧性和较好机械强度的同时，对外界环境如温度、辐射等具有高鲁棒性。因此，光纤束内窥镜在消化道、呼吸道等需多方位弯曲的成像领域有较多应用。但受制造工艺的限制，单模光纤的芯径和相邻光纤的间距难以进一步降低，限制了光纤束内窥镜的探测范围，同时光纤束内部的非成像区域会导致伪像素的产生，在一定程度上降低了成像清晰度。
2、凭借更大的芯径，多模光纤能够同时传输多种光学模式，相较于光纤束，多模光纤的芯径更小，成本更低，可深入微小组织内部进行成像，是促进内窥镜微型化的极佳选择。单模多模光纤内窥镜在提高成像分辨率的同时，探头外径减小到亚毫米，进一步满足微创诊断的需求。但是，光学信息在多模光纤中传输的过程中，受到模间色散的影响，不同光学模式的传播速度存在细微差异，模式间的能量相互串扰，导致多模光纤输出的是一个呈现随机明暗斑点的散斑图案，这限制了多模光纤在内窥镜中的应用。
技术实现思路
1、针对现有技术中存在的不足之处，本专利技术的目的是提供一种基于深度神经网络的单根多模光纤内窥镜成像系统，实现了在低采样率下，克服了深度学习中训练数据获取、训练成本与模型泛化能力的矛盾，解决了压缩感知多模光纤内窥镜对非稀疏图像成像分辨率不高的问题。为了实现根据本专利技术的上述目的和其他优点，提供了一种基于深度神经网络的单根多模
2、激光器，通过激光器的光束路线依次设置有第一物镜、针孔滤波器、扩束镜、数字微镜、分束立方、第一透镜、第二物镜、多模光纤；
3、分束立方信号连接有第一桶探测器，该第一桶探测器信号连接有计算机；
4、多模光纤信号连接有第二桶探测器，或多模光纤信号连接有第三物镜，该第三物镜一侧设置有第二透镜，该第二透镜的一侧设置有相机，该相机信号连接有计算机；
5、数字微镜用于通过加载调制模式对光路进行调制，形成不同的自由空间光照明模式；
6、第一透镜与第二物镜用于对自由空间光照明模式进行滤波和聚焦，将光耦合进多模光纤；
7、第三物镜与第二透镜用于将在多模光纤中传输的光耦合到自由空间中并进行准直滤波；
8、多模光纤用于为传输自由空间光照明模式，形成光纤照明模式及为传输多模光纤远端照明目标物体的反射光信号。
9、一种基于深度神经网络的单根多模光纤内窥镜成像方法，包括以下步骤：
10、s1、预校准获取光纤照明模式；
11、s2、通过将预校准模块替换为目标，调制后的光通过多模光纤照射目标，多模光纤反向传输后被桶探测器检测到光强信号；
12、s3、通过步骤s1与s2获取的光纤照明模式和补偿后的光强信号，利用压缩感知算法，实现图像重构；
13、s4、将步骤3中基于压缩感知算法重构的单张目标图像作为网络输入，将获取光强信号的数学模型整合到网络输出层，将网络输出输入到数学模型中，将数学模型输出的仿真光强信号与真实光强信号的误差作为约束，通过反向传播算法，对网络参数进行优化，迭代训练最终实现对目标的超分辨率成像。
14、优选的，步骤s1中计算机生成并存储调制模式，依次加载到空间光调制器上，对照射在空间光调制器上的光进行调制，空间光调制器上的反射光形成自由空间光照明模式，通过多模光纤传输后，在多模光纤远端生成散斑图案，被相机获取并在计算机中存储为光纤照明模式。
15、优选的，数量为n的调制模式由计算机生成并依次加载到空间光调制器上，照射空间光调制器的光被调制，反射光形成自由空间光照明模式ii(x,y),i＝1,2,...,n，通过多模光纤传输后，在多模光纤远端获得数量为n的光纤照明模式fi(x,y),i＝1,2,...,n，对应的数学模型参见式(1)，tmmmf表示多模光纤传输矩阵；
16、fi(x,y)＝tmmmf×ii(x,y),i＝1,2,...,n (1)。
17、优选的，步骤s2中在内窥镜系统中，将预校准模块替换为目标，多模光纤形态保持稳定，使用与步骤1相同的调制模式，调制后的光通过多模光纤照射目标，光强信号通过多模光纤反向传输后被桶探测器检测。通过计算目标平面光强信号与反射光在多模光纤近端的光强信号比值，进而获得补偿系数，使检测得到的光强信号经过补偿计算与目标平面的光强信号近似。
18、优选的，补偿系数的计算过程与补偿过程参见式如下：
19、frcc＝(∑di/li)/n,i＝1,2,...,n (2)
20、(li)cc＝li×frcc≈di,i＝1,2,...,n (3)
21、其中，di表示目标平面的光强信号，li表示照射目标的反射光通过多模光纤反向传输后，在多模光纤近场的光强信号。
22、优选的，步骤s3中使用压缩感知算法实现通过多模光纤的图像传输重构，将光强度信号(li)cc,i＝1,2,...,n作为压缩感知的测量值，光纤照明模式fi(x,y),i＝1,2,...,n作为测量矩阵，构建基于压缩感知的多模光纤内窥镜成像模型，参见式(4)，其中，g(x,y)表示目标物体，表示l1范数；
23、
24、优选的，步骤s4中利用数据驱动神经网络实现超分辨率成像的计算过程参见式如下：
25、asri＝w×acs+b,s.t.min[(di)sim,(li)cc]loss,i＝1,2,...,n (6)
26、其中，asri表示网络模型输出的超分辨率图像，acs表示压缩感知算法重构的低分辨率图像，w和b分别表示网络模型的权重和偏置，min[(di)sim,(li)cc]loss,i＝1,2,...,n表示神经网络参数优化的约束条件。
27、本专利技术与现有技术相比，其有益效果是：通过压缩感知算法与模型驱动神经网络的结合，单根多模光纤内窥镜系统可以实时在线对目标物体进行超分辨成像，克服了单一压缩感知算法对非稀疏目标物体的成像分辨率较差的问题；克服了数据驱动神经网络训练集获取、训练成本与模型泛化能力的矛盾。
本文档来自技高网...【技术保护点】
1.一种基于深度神经网络的单根多模光纤内窥镜成像系统，其特征在于，包括：
2.如权利要求1所述的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，包括以下步骤：
3.如权利要求2的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，步骤S1中计算机生成并存储调制模式，依次加载到空间光调制器上，对照射在空间光调制器上的光进行调制，空间光调制器上的反射光形成自由空间光照明模式，通过多模光纤传输后，在多模光纤远端生成散斑图案，被相机获取并在计算机中存储为光纤照明模式。
4.如权利要求3所述的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，数量为N的调制模式由计算机生成并依次加载到空间光调制器上，照射空间光调制器的光被调制，反射光形成自由空间光照明模式Ii(x,y),i＝1,2,...,N，通过多模光纤传输后，在多模光纤远端获得数量为N的光纤照明模式Fi(x,y),i＝1,2,...,N，对应的数学模型参见式(1)，TMmmf表示多模光纤传输矩阵；
5.如权利要求2的一种基于深度神经网络的单根多模光纤内窥
6.如权利要求5的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，补偿系数的计算过程与补偿过程参见式如下：
7.如权利要求2的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，步骤S3中使用压缩感知算法实现通过多模光纤的图像传输重构，将光强度信号(Li)CC,i＝1,2,...,N作为压缩感知的测量值，光纤照明模式Fi(x,y),i＝1,2,...,N作为测量矩阵，构建基于压缩感知的多模光纤内窥镜成像模型，参见式(4)，其中，G(x,y)表示目标物体，表示L1范数；
8.如权利要求2的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，步骤S4中利用数据驱动神经网络实现超分辨率成像的计算过程参见式如下：
...【技术特征摘要】
1.一种基于深度神经网络的单根多模光纤内窥镜成像系统，其特征在于，包括：
2.如权利要求1所述的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，包括以下步骤：
3.如权利要求2的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，步骤s1中计算机生成并存储调制模式，依次加载到空间光调制器上，对照射在空间光调制器上的光进行调制，空间光调制器上的反射光形成自由空间光照明模式，通过多模光纤传输后，在多模光纤远端生成散斑图案，被相机获取并在计算机中存储为光纤照明模式。
4.如权利要求3所述的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特征在于，数量为n的调制模式由计算机生成并依次加载到空间光调制器上，照射空间光调制器的光被调制，反射光形成自由空间光照明模式ii(x,y),i＝1,2,...,n，通过多模光纤传输后，在多模光纤远端获得数量为n的光纤照明模式fi(x,y),i＝1,2,...,n，对应的数学模型参见式(1)，tmmmf表示多模光纤传输矩阵；
5.如权利要求2的一种基于深度神经网络的单根多模光纤内窥镜成像方法，其特...
【专利技术属性】
技术研发人员：徐润初，张雷洪，付叶飞，徐邦联，王凯民，张大伟，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。