一种基于时序特征学习的消化内镜下病灶跟踪方法技术

本发明专利技术涉及医疗图像处理技术领域，尤其涉及一种基于时序特征学习的消化内镜下病灶跟踪方法，本方法包含收集病灶视频片段作为训练样本、构建并训练基于卷积神经网络和长短期记忆网络和光流矢量图的跟踪模型，获得网络模型参数、获取消化内镜实时检查视频并解帧为图片、计算相邻两帧图像的光流矢量图、加载基于卷积神经网络和长短期记忆网络和光流矢量图的网络结构及模型参数、实时计算病灶的区域及位置。通过此方法，在消化内镜检查过程中会实时跟踪病灶的区域及位置，供内镜医生参考，可以有效的防止在检查过程中由于光照、角度、遮挡等原因丢失病灶区域。可以提升消化内镜下的病灶的检测和跟踪能力，有效地提高消化内镜的检查质量。

【技术实现步骤摘要】
一种基于时序特征学习的消化内镜下病灶跟踪方法
本专利技术涉及医疗图像处理
，尤其涉及一种基于时序特征学习的消化内镜下病灶跟踪方法。
技术介绍
《世界癌症报告》指出，癌症是全球主要死因之一，而消化道肿瘤是最常见的恶性肿瘤之一。2015年我国胃癌、结肠癌患病人数大于100万，死亡人数近70万，占癌症总死亡人数的1/4。恶性肿瘤危害人类健康的根本原因是难以早期发现。消化道肿瘤若在早期阶段得到诊断，患者5年生存率可高达90％，若进展至中晚期，患者5年生存率仅为5-25％。因此早期诊断是提高患者生存率的重要策略。消化内镜检查是发现胃肠癌最常用的有力工具。根据国家卫健委内镜诊疗技术专家组报道，2017年我国早期胃癌发现率仅为13％，远远落后于疾病谱相仿的日本(70％)和韩国(50％)等邻国。提高消化内镜的检查质量，刻不容缓。近年来，以深度神经网络为核心的人工智能技术在多个应用领域成绩斐然。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现。深度学习网络目前也应用到了消本文档来自技高网...

【技术保护点】
1.一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：包括如下步骤：/nS1、收集包含病灶的视频片段，将训练片段解帧为图片，由人工标注病灶，并利用解帧后的相邻图片计算光流矢量图；/nS2、构建基于卷积神经网络的特征提取网络和基于长短期记忆网络的时间序列预测网络，利用标注后的连续帧图片和对应的光流矢量图作为训练样本对该网络进行训练；/nS3、通过内镜检查设备获取消化内镜检查实时视频，缓存当前帧与上一帧的消化内镜图片，并计算当前帧与上一帧两张图片的光流矢量图；/nS4、将当前帧内镜图像通过特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形操作得到新的特征图，新的特征图送入时间序列预测...

【技术特征摘要】
1.一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：包括如下步骤：
S1、收集包含病灶的视频片段，将训练片段解帧为图片，由人工标注病灶，并利用解帧后的相邻图片计算光流矢量图；
S2、构建基于卷积神经网络的特征提取网络和基于长短期记忆网络的时间序列预测网络，利用标注后的连续帧图片和对应的光流矢量图作为训练样本对该网络进行训练；
S3、通过内镜检查设备获取消化内镜检查实时视频，缓存当前帧与上一帧的消化内镜图片，并计算当前帧与上一帧两张图片的光流矢量图；
S4、将当前帧内镜图像通过特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形操作得到新的特征图，新的特征图送入时间序列预测网络，计算得出下一帧的病灶预测范围。


2.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述特征提取网络由卷积层、ReLU激活层和池化层组成，卷积层用于提取输入消化内镜图像的不同数据特征，ReLU激活层用于把卷积层的输出结果做非线性映射，池化层用于筛选特征。


3.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述时间序列预测网络由遗忘门、传入门和输出门组成，遗忘门用于决定让哪些信息继续通过该细胞元，传入门用于决定让多少信息加入到细胞元状态中，输出门用于决定输出哪些信息。


4.根据权利要求3所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述时间序列预测网络是根据损失函数进行训练的，所述的损失函数为：
Loss(y,v)＝log(1+e(-yv))；
其中v表示训练集中等...

【专利技术属性】
技术研发人员：张阔，刘奇为，于天成，胡珊，李超，
申请(专利权)人：武汉楚精灵医疗科技有限公司，
类型：发明
国别省市：湖北;42