一种基于深度学习的大视角喉镜制造技术

本发明专利技术公开了一种基于深度学习的大视角喉镜，包括微镜头成像组件用于获取图像数据；所述微镜头成像组件包括视场不重叠至少两组小口径微镜头；柔性传像组件与微镜头成像组件连接，用于传输图像数据；图像处理模块，连接于柔性传像组件另一端，所述图像处理模块根据微镜头成像组件获得的图像数据，通过使用生成对抗神经网络训练以获得图像融合模型，所述图像融合模型将训练输出的结果重新拼接为消除了不重叠视场图像之间缝隙的完整图像；显示组件用于显示完整图像。本发明专利技术的技术方案基于柔性传像和人工智能图像融合技术，在单次拍摄中对超大视角的场景进行高分辨率成像的能力，通过显示屏观测经由智能图像融合算法重建的超大视场图像。视场图像。视场图像。

【技术实现步骤摘要】
一种基于深度学习的大视角喉镜


[0001]本专利技术涉及喉镜
，具体涉及一种基于深度学习的大视角喉镜。

技术介绍

[0002]对喉部的检查是医学诊断领域的重点问题。由于喉部位置较深且结构复杂，一般情况下难以直接目视探测，因此一般需要借助视频探测设备进行高动态、高空间分辨率的成像及观察。视频喉镜是喉部检查设备中一类应用广泛的代表。对于困难的气管插管过程，视频喉镜通过图像传感器采集喉部影像，通过视频传输线在显示屏进行实时显示。它一方面超越了普通喉镜中人眼的视野范围，另一方面视频喉镜的镜片无需将喉部结构进行移动，因而对病人的痛苦较轻，同时由于其符合人体喉部的解剖结构，因而降低了气管插管的难度，具有上手快、采集方便、成功率高、声门显露情况改善等优点。
[0003]常用的视频喉镜结构中的成像模块一般以摄像手柄和主机的协同方式进行，即摄像手柄中包含一套镜头和图像传感器单元以用于对镜头对应的视场进行高速成像，此外还包含光源用于在喉部内较暗环境下的照明。这类方法中，视频喉镜的观测效果主要取决于采用的镜头和传感器的视场大小、空间分辨率以及成像信噪比等因素，同时，具有一定的操作局限性。一方面，由于摄像系统的视场角大小固定，在需要改变或移动视野时，需要对摄像系统进行机械移动，以寻找所需的结构。这既提高了操作难度，又提高了成像的时间成本。另一方面，由于喉部结构较细，所采用的镜头和图像传感器一般体积较小，空间分辨率较低，无法提供更高的成像精度以进行更细尺度的喉部观测。为此，已经有采用多个镜头实现内窥观测的方法被提出，但是传统的图像融合方法需要在相邻视场之间保留一部分重叠区域，无法最大化提升成像视场角度。
[0004]因此，目前通用的视频喉镜技术仅采用了传统的成像技术，结合多个镜头实现的内窥方法也没有利用深度学习等人工智能方法在学习和生成新特征方面的优势，因此很难在保持目前体积小、高实时性、操作方便等优点的同时，在单次拍摄中无需机械移动，最大限度采集超大视角、高空间分辨率的大规模喉部图像。

技术实现思路

[0005]本专利技术的目的是提供一种基于深度学习的大视角喉镜，将利用微镜头序列拍摄的局部图像自动导入计算机并进行融合显示，无需任何昂贵的附加设备，同时保持了通用的视频喉镜固有的全部优势。
[0006]本专利技术为达到上述目的，具体通过以下技术方案得以实现的：一种基于深度学习的大视角喉镜，包括：微镜头成像组件，用于获取图像数据；所述微镜头成像组件包括视场不重叠至少两组小口径微镜头；柔性传像组件，与微镜头成像组件连接，用于传输图像数据；为末端外圈直径小于1.6mm、数量为1
‑
6条的柔性传像束；
图像处理模块，连接于柔性传像组件另一端，所述图像处理模块根据微镜头成像组件获得的图像数据，通过使用生成对抗神经网络训练以获得图像融合模型，所述图像融合模型将训练输出的结果重新拼接为消除了不重叠视场图像之间缝隙的完整图像；以及显示组件，与图像处理模块连接，用于显示所述图像处理模块重新拼接的完整图像；所述生成对抗神经网络包含生成器G和鉴别器D两部分，其训练过程为：S1、获取训练数据；S2、搭建生成器神经网络和判别器神经网络；S3、生成器和判别器对抗训练，获得图像融合模型。
[0007]进一步地，步骤S1中，所述训练数据的获取步骤为：S11、针对相同条件下的喉部静态样本，微镜头成像组件沿镜头分布平面移动，连续采集至少10张包含缝隙的系列图像，相邻图像重叠区域不小于单张图像面积的50%；S12、以其中一张包含缝隙的图像为基准，将该图像不重叠地切分成256
×
256像素的图像小块，对每个图像小块采用尺度不变特征变换，并与系列图像中的其他图像分别进行特征匹配，在每张图像中获取与之匹配的图像小块区域；S13、将该图像小块和与之匹配的图像小块区域进行分析：如果都含有缝隙则舍弃；如果均不含缝隙则将其中任意一个作为生成对抗神经网络的条件x输入，另一个作为真值y；否则将含有缝隙的图像小块作为条件x输入，不含缝隙的图像小块作为真值y；从而获得成对的图像块输入作为训练数据。
[0008]进一步地，图像小块是否含有缝隙的判别标准为：具有超过50个亮度值为0的点的图像小块为含缝隙的图像；否则判别为不含缝隙的图像。
[0009]进一步地，步骤S2中，生成器G采用具有编码器/解码器结构的U型对称网络结构，编码器部分的每一层特征图的尺寸减半，解码器的每一层尺寸翻倍；每一层的滤波器数量在编码器部分逐层变为原来的两倍，而在解码器部分减半。
[0010]进一步地，生成器G的第一层滤波器数量为64，编码器和解码器各有7层。
[0011]进一步地，步骤S2中，判别器D采用全卷积形式，共有4层，每一层特征图的尺寸减半，数量加倍，最终对矩阵求平均值，得到的数值代表对图像结果是否是真值的概率判断。
[0012]进一步地，步骤S3的训练过程中，对于生成器G和与之对应的判别器D，对抗神经网络的损失函数表达为：
[0013]其中和表示在全体数据下的均值，z为生成器G的噪声输入，x为该对抗网络的条件输入，y为该对抗网络训练的真值输入；预测值与真实值之间的L1范数误差的损失函数表达式为：
ꢀꢀ
（2）该对抗网络训练的目标函数公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
式（3）中，λ为两种损失的权重，λ设置为100。
[0014]本专利技术的技术方案基于柔性传像和人工智能图像融合技术，将外置的图像传感器连接至柔性导像装置的末尾以中继微镜头序列采集的局部图像，并进行常规的喉镜检查，在单次拍摄中对超大视角的场景进行高分辨率成像的能力，通过显示屏观测经由智能图像融合算法重建的超大视场图像，从而提高视频喉镜的探测范围和成像精度，从而在视频喉镜诊断领域具有重要的意义。
[0015]本技术的优势还包括：（1）本技术仅需对传统视频喉镜进行低成本的改装，保持了其操作方便、轻量级等优点；（2）通过本技术获得的喉部图像具有显著提高的视野范围和空间分辨率，一方面，由于采用了高空间分辨率和像素数的体外图像传感器，因而可以在不同的区域同步记录多个视角的喉部图像，因此适用于实时视频成像；另一方面，区别于传统图像融合需要保留相邻视野之间的重叠区域，本方法通过快速的深度学习算法处理，无需保留重叠区域，从而进一步有效提高了系统的成像通量，有效避免了对时间或空间分辨率的牺牲；（3）本专利技术可应用在除喉镜体外的其它体内探测领域，仅需根据实际情况对所采取的微镜头序列、图像传感器和人工智能算法参数进行调整，即可在广泛的临床场景中进行应用。
附图说明
[0016]图1为本专利技术的整体结构示意图；图2为本专利技术中的图像融合模型的生成流程图；图3为本专利技术中生成对抗神经网络的架构图。
[0017]图中，1
‑
微镜头成像组件；2
‑
柔性传像组件；3
‑
图像处理模块；4
‑
显示组件。
具体实施方式
[0018]以下结合附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的大视角喉镜，其特征在于，包括：微镜头成像组件（1），用于获取图像数据；所述微镜头成像组件包括视场不重叠至少两组小口径微镜头；柔性传像组件（2），与微镜头成像组件连接，用于传输图像数据；为末端外圈直径小于1.6mm、数量为1
‑
6条的柔性传像束；图像处理模块（3），连接于柔性传像组件另一端，所述图像处理模块根据微镜头成像组件获得的图像数据，通过使用生成对抗神经网络训练以获得图像融合模型，所述图像融合模型将训练输出的结果重新拼接为消除了不重叠视场图像之间缝隙的完整图像；以及显示组件（4），与图像处理模块连接，用于显示所述图像处理模块重新拼接的完整图像；所述生成对抗神经网络包含生成器G和判别器D两部分，其训练过程为：S1、获取训练数据；S2、搭建生成器神经网络和判别器神经网络；S3、生成器和判别器对抗训练，获得图像融合模型。2.根据权利要求1所述的基于深度学习的大视角喉镜，其特征在于，步骤S1中，所述训练数据的获取步骤为：S11、针对相同条件下的喉部静态样本，微镜头成像组件沿镜头分布平面移动，连续采集至少10张包含缝隙的系列图像，相邻图像重叠区域不小于单张图像面积的50%；S12、以其中一张包含缝隙的图像为基准，将该图像不重叠地切分成256
×
256像素的图像小块，对每个图像小块采用尺度不变特征变换，并与系列图像中的其他图像分别进行特征匹配，在每张图像中获取与之匹配的图像小块区域；S13、将该图像小块和与之匹配的图像小块区域进行分析：如果都含有缝隙则舍弃；如果均不含缝隙则将其中任意一个作为...

【专利技术属性】
技术研发人员：李金红，刘磊，李丽娟，闫燕，栾衡，王丽，
申请(专利权)人：北京大学第三医院北京大学第三临床医学院，
类型：发明
国别省市：