一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法技术

本发明专利技术公开了一种基于吲哚氰绿(Indocyanine—green，英文简称ICG)荧光显像的外科肿瘤手术实时导航方法，包括以下步骤：1.获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；2.使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示；3.采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；4.找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，引导医生进行肿瘤切除手术。

【技术实现步骤摘要】
一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法
本专利技术涉及医学图像处理
，尤其是一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法。
技术介绍
中国是肝癌第一大国，每年有大量患者死于肝癌。通过外科手术完整地将肝癌细胞切除，是治疗肝癌最有效的方法。术中，外科医师一般根据术前的CT、MRI等影像学资料，并借助视觉诊、触诊以及术中超声来判断肿瘤边缘，确定切除范围。由于CT、MRI存在设备巨大、射线辐射、检查耗时长等问题，术中实时的影像学评估仅限于超声检查，但是超声检查对图像判读的专业技能要求较高，难以在肝脏外科普及。吲哚氰绿(Indocyanine—green，英文简称ICG)，别名靛氰绿，其与血清蛋白结合的大分子化合物对于实体肿瘤具有高度敏感性，被病灶摄取后，根据自身的光学特性结合光分子影像技术，可荧光实体肿瘤。目前，ICG已经广泛用于内窥镜手术中，但是现有在ICG引导下的手术导航系统，仅为简单显示荧光图像，然后医生凭借自身的临床经验对图像进行观测并勾画边界，缺乏科学量化的标准。而ICG染色是一个时序过程，即随着细胞的吸收和代谢，荧光是一个由暗逐渐增强，达到高峰后逐渐衰减的过程，同时ICG荧光图像边缘较为模糊，传统的图像处理方法无法有效的获取边界，而仅凭借医生肉眼观察无法获取最清晰的边界。
技术实现思路
针对上述问题，本专利技术提供一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法。本专利技术保护一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法，包括以下步骤：1.获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；2.使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示；3.采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；4.找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，引导医生进行肿瘤切除手术。进一步的，所述基于深度学习的肿瘤边界分割模型通过以下步骤建立：1.获取上百例内窥镜手术视频，利用OpenCV将影像数据中的每一帧以jpg格式保存，并进行标注，得到标注后的原始ICG荧光图像序列，将标注后的ICG荧光图像分为训练样本和测试样本；2.对训练样本进行预处理；3.搭建基于Encoder-Decoder模型的边界分割深度学习网络，其中Encoder阶段利用带残差结构的深度可分离卷积对ICG荧光图像进行特征提取，Decoder阶段通过逐步的上采样将特征图恢复到原始图像大小并对图像中每一个像素点进行分类；4.利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肿瘤边界分割模型；5.对测试样本进行预处理，并作为输入参数输入到肿瘤边界分割模型，得到初分割图像，然后对每套图像进行连通域处理，连通域处理后的分割结果反馈至原始ICG荧光图像序列中。进一步的，所述Encoder阶段先采用步长为2的7×7的卷积进行ICG荧光图像特征的提取，后接BN层和ReLU层；然后再利用带有残差结构的深度可分离卷积模块对ICG荧光图像进行特征提取；所述Decoder阶段上采样的过程中，先将底层信息与高层信息进行融合，然后采用转置卷积进行上采样。进一步的，模型训练采用Adam优化器，交叉熵损失函数作为网络的损失函数。本专利技术的有益效果：通过深度学习实时分割视频中每一帧图像边缘，通过边缘清晰度算法对边缘清晰度进行量化评估，选择最清晰的ICG荧光图像，标定肿瘤边缘，并将边缘叠加到自然光照下的实时视频图像中，指导医生进行肿瘤切除手术，为手术提供导航。附图说明图1为外科肿瘤手术实时导航方法的流程图；图2为荧光下的边界分割示意图；图3为常规光照下的边界叠加示意图；图4为建立的肿瘤边界分割模型流程图；图5为深度可分离卷积示意图；图6为带有残差结构的深度可分离卷积示意图；图7为肝脏分割深度学习网络结构图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本专利技术限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本专利技术的原理和实际应用，并且使本领域的普通技术人员能够理解本专利技术从而设计适于特定用途的带有各种修改的各种实施例。实施例1一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法，如图1，包括以下步骤：1.获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；2.使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示，如图2所示；3.采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；4.找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，如图3所示，引导医生进行肿瘤切除手术。基于深度学习的肿瘤边界分割模型的建立，如图4，具体通过以下步骤：1.获取100例内窥镜手术视频，利用OpenCV将影像数据中的每一帧以jpg格式保存，并进行标注，得到标注后的原始ICG荧光图像序列，将标注后的ICG荧光图像分为训练样本和测试样本，其中用于模型训练的训练样本80例，用于模型检验的测试样本20例。2.对训练样本进行预处理：将保存的jpg图像调整到512*512大小，然后采用上下平移、左右平移、镜像、旋转等操作对处理后的训练样本进行扩增处理。3.搭建基于Encoder-Decoder模型的肝脏分割深度学习网络，其中Encoder阶段利用带残差结构的深度可分离卷积对ICG荧光图像进行特征提取，Decoder阶段通过逐步的上采样将特征图恢复到原始图像大小并对图像中每一个像素点进行分类。4.利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肿瘤边界分割模型，本实施例中具体配置如下：①硬件配置，2个GeForceGTX1080Ti显卡,显存总共22GB，i7-8700CPU,64GB内存；②软件配置：操作系统Ubuntu16.04LTS64位版，深度学习库为Tensorflow1.9.0版本，加速工具使用了英伟达的cuda9.0和cuDNN7.1.2。在模型的训练过程中采用Adam优化器，交叉熵损失函数作为网络的损失函数。初始学习速率设置为1×10-4，根据迭代次数的增大而逐渐减小，调优的迭代次数设置为100000次，当迭代次数达到时，网络终止训练，得到肿瘤边界分割模型。5.对测试样本进行预处理，并作为输入参数输入到肿瘤边界分割模型，得到初分割图像，然后对每组图像进行连通域处理以去除分割结果中可能存在的噪声，提高分割的准确度，连通域处理后的分割结果反馈至原始图像序列中。Encoder-Decoder(编码-解码)是深度学习中常见的模型框架之一，它并不是一个具体的模型，而是一类框架。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。基于Encoder-Decoder，我们可以设计出各种各样的应用算法。在本实施例中，Encoder阶段先采用步长为本文档来自技高网...

【技术保护点】
1.一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法，其特征在于，包括以下步骤，步骤1：获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；步骤2：使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示；步骤3：采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；步骤4：找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，引导医生进行肿瘤切除手术。

【技术特征摘要】
1.一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法，其特征在于，包括以下步骤，步骤1：获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；步骤2：使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示；步骤3：采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；步骤4：找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，引导医生进行肿瘤切除手术。2.根据权利要求1所述的外科肿瘤手术实时导航方法，其特征在于，所述基于深度学习的肿瘤边界分割模型通过以下步骤建立，步骤a：获取上百例内窥镜手术视频，利用OpenCV将影像数据中的每一帧以jpg格式保存，并进行标注，得到标注后的原始ICG荧光图像序列，将标注后的ICG荧光图像分为训练样本和测试样本；步骤b：对训练样本进行预处理；步骤c：搭建基于Encoder-Decoder模型的边界分割深度学习网络，其中Encoder阶段...

【专利技术属性】
技术研发人员：刘荣，王斐，王子政，王宜主，张勇，王翊，
申请(专利权)人：安徽紫薇帝星数字科技有限公司，
类型：发明
国别省市：安徽,34