一种消化道共聚焦图像拼接方法技术

一种消化道共聚焦图像拼接方法，所述方法包括步骤：获取消化道共聚焦原始图像；根据所述消化道共聚焦原始图像生成分割神经网络；根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；根据所述消化道共聚焦前景图像生成稳像前景图像；根据所述稳像前景图像生成单应性矩阵；获取所述稳像前景图像对应的所述消化道共聚焦原始图像；根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。本申请降低了对采集拼接的原始图像的采集条件，可以有效降低因光纤束纤芯损坏形成的图像噪点对拼接图像质量的影响；可以降低共聚焦内窥镜图像拼接的设备和操作要求，提高拼接算法鲁棒性。提高拼接算法鲁棒性。提高拼接算法鲁棒性。

【技术实现步骤摘要】
一种消化道共聚焦图像拼接方法


[0001]本专利技术属于医学图像处理
，具体涉及一种消化道共聚焦图像拼接方法。

技术介绍

[0002]共聚焦内窥镜手术视场小，且位移灵敏度高，操作者难以再次定位和稳定观察病灶。解决办法之一是依靠图像拼接算法，图像拼接算法可以通过判断相邻帧图像的共同特征将相邻帧图像拼接成全景图以解决视场过小的问题。
[0003]Brown M等使用基于Sift特征的全局单应性矩阵对齐算法Auto
‑
Stitch而成为解决图像拼接问题的里程碑。进一步的，Yi K M等提出LIFT
‑
Net算法，也即使用三个神经网络分别进行特征点检测、方向匹配和描述子生成。XHan等提出MatchNet算法，也即使用双塔结构提取特征，并由三个全连接层组成网络计算所提取特征之间的相似性。使用神经网络代替如Sift特征等角点特征，但是额外或更准确地特征点对，无法处理立体空间下各帧图片光心不重合导致的视差。为解决这个问题，Gao J等提出DHW算法，也即将场景划分为背景平面和前景平面，用两个单应性矩阵分别对齐前景和背景。但是DHW算法依靠特征点聚类算法划分前景和背景，面对前景背景划分复杂的图片无法有效地区分前景和背景区域。
[0004]同时，由于共聚焦逐行激活成像原理，共聚焦图像并不是同时成像，因此在移动共聚焦内窥镜探头时会出现果冻效应而干扰图像拼接效果。TVercauteren的微分同胚算法需要基于对应探头的扫描速度建模以补正果冻效应影响；Lun Gong使用的光流法拼接需要相邻帧图片满足一定重叠需求。这些算法都存在一定的缺陷。

技术实现思路

[0005]鉴于上述问题，本专利技术提供克服上述问题或者至少部分地解决上述问题的一种消化道共聚焦图像拼接方法。
[0006]为解决上述技术问题，本专利技术提供了一种消化道共聚焦图像拼接方法，所述方法包括步骤：
[0007]获取消化道共聚焦原始图像；
[0008]根据所述消化道共聚焦原始图像生成分割神经网络；
[0009]根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；
[0010]根据所述消化道共聚焦前景图像生成稳像前景图像；
[0011]根据所述稳像前景图像生成单应性矩阵；
[0012]获取所述稳像前景图像对应的所述消化道共聚焦原始图像；
[0013]根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。
[0014]优选地，所述获取消化道共聚焦原始图像包括步骤：
[0015]准备共聚焦内窥镜成像系统；
[0016]使用所述共聚焦内窥镜成像系统拍摄消化道共聚焦视频；
[0017]将所述消化道共聚焦视频逐帧转化为图像；
[0018]按照时间顺序对所述图像进行升序排列；
[0019]得到所述消化道共聚焦原始图像。
[0020]优选地，所述根据所述消化道共聚焦原始图像生成分割神经网络包括步骤：
[0021]选择预设数量的所述消化道共聚焦原始图像组成图像分割神经网络数据集；
[0022]对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记；
[0023]将所述图像分割神经网络数据集分成训练集、验证集和测试集；
[0024]将所述训练集中的所述消化道共聚焦原始图像输入神经网络进行分割训练并得到初级分割神经网络；
[0025]从所述验证集中抽取预设数量的所述消化道共聚焦原始图像对所述初级分割神经网络进行验证；
[0026]使用所述测试集中的所述消化道共聚焦原始图像对所述初级分割神经网络进行测试；
[0027]根据测试结果得到所述分割神经网络。
[0028]优选地，所述对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记包括步骤：
[0029]获取所述消化道共聚焦原始图像；
[0030]将所述消化道共聚焦原始图像中的腺体组织视为前景；
[0031]将所述消化道共聚焦原始图像中腺体组织以外的部分视为背景；
[0032]使用图像标记工具对所述消化道共聚焦原始图像进行多边形掩膜标记。
[0033]优选地，所述根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像包括步骤：
[0034]获取所述消化道共聚焦原始图像；
[0035]获取所述分割神经网络；
[0036]将所述消化道共聚焦原始图像输入所述分割神经网络；
[0037]得到所述分割神经网络输出的所述消化道共聚焦前景图像。
[0038]优选地，所述根据所述消化道共聚焦前景图像生成稳像前景图像包括步骤：
[0039]获取所述消化道共聚焦前景图像；
[0040]对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧；
[0041]删除所述抖动帧并保留所述移动帧；
[0042]得到所述稳像前景图像。
[0043]优选地，所述对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧包括步骤：
[0044]对所述消化道共聚焦前景图像进行灰度投影；
[0045]获取每一所述消化道共聚焦前景图像对应的灰度投影曲线；
[0046]比较相邻所述消化道共聚焦前景图像的投影曲线差异；
[0047]将所述投影曲线差异小于第一预设值的相邻两个所述消化道共聚焦前景图像作为所述抖动帧；
[0048]将所述投影曲线差异大于第二预设值的相邻两个所述消化道共聚焦前景图像作
为所述移动帧。
[0049]优选地，所述根据所述稳像前景图像生成单应性矩阵包括步骤：
[0050]逐一获取所述稳像前景图像中任意两个相邻图像；
[0051]提取任意两个相邻图像上的角点特征信息；
[0052]使用随机抽样一致算法获取任意两个相邻图像的特征匹配对；
[0053]获取所有所述特征匹配对并生成所述单应性矩阵。
[0054]优选地，所述获取所述稳像前景图像对应的所述消化道共聚焦原始图像包括步骤：
[0055]获取所述稳像前景图像；
[0056]获取所述稳像前景图像对应的所述消化道共聚焦前景图像；
[0057]获取所述消化道共聚焦前景图像对应的所述消化道共聚焦原始图像。
[0058]优选地，所述根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像包括步骤：
[0059]逐一获取所述消化道共聚焦原始图像中任意两个相邻图像；
[0060]使用所述单应性矩阵将任意两个相邻图像中的后一个图像投影至前一个图像的图像空间中；
[0061]基于所述后一个图像和所述前一个图像的相同部分融合任意两个相邻图像；
[0062]生成所述消化道共聚焦拼接图像。
[0063]本专利技术实施例中的一个或多个技术方案，至少具有如下技术效果或优点：本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种消化道共聚焦图像拼接方法，其特征在于，所述方法包括步骤：获取消化道共聚焦原始图像；根据所述消化道共聚焦原始图像生成分割神经网络；根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；根据所述消化道共聚焦前景图像生成稳像前景图像；根据所述稳像前景图像生成单应性矩阵；获取所述稳像前景图像对应的所述消化道共聚焦原始图像；根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。2.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述获取消化道共聚焦原始图像包括步骤：准备共聚焦内窥镜成像系统；使用所述共聚焦内窥镜成像系统拍摄消化道共聚焦视频；将所述消化道共聚焦视频逐帧转化为图像；按照时间顺序对所述图像进行升序排列；得到所述消化道共聚焦原始图像。3.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述根据所述消化道共聚焦原始图像生成分割神经网络包括步骤：选择预设数量的所述消化道共聚焦原始图像组成图像分割神经网络数据集；对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记；将所述图像分割神经网络数据集分成训练集、验证集和测试集；将所述训练集中的所述消化道共聚焦原始图像输入神经网络进行分割训练并得到初级分割神经网络；从所述验证集中抽取预设数量的所述消化道共聚焦原始图像对所述初级分割神经网络进行验证；使用所述测试集中的所述消化道共聚焦原始图像对所述初级分割神经网络进行测试；根据测试结果得到所述分割神经网络。4.根据权利要求3所述的消化道共聚焦图像拼接方法，其特征在于，所述对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记包括步骤：获取所述消化道共聚焦原始图像；将所述消化道共聚焦原始图像中的腺体组织视为前景；将所述消化道共聚焦原始图像中腺体组织以外的部分视为背景；使用图像标记工具对所述消化道共聚焦原始图像进行多边形掩膜标记。5.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像包括步骤：获取所述消化道共聚...

【专利技术属性】
技术研发人员：刘谦，卢昱华，陈伟彬，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：