一种上消化道内镜视频肿瘤诊断关键帧的提取方法及装置制造方法及图纸

本发明专利技术公开了一种上消化道内镜视频肿瘤诊断关键帧的提取方法及装置，包括：将待处理的内镜视频时序帧输入抖动消除模型，得到第一时序帧；将所述第一级时序帧输入至预设的肿瘤预测模型，最后输出得到包含预测结果的第二级时序帧；将所述预测结果连接成第一预测曲线，并将所述第一预测曲线输入至平滑模型，得到平滑后的第二预测曲线；根据第二预测曲线找出若干个符合预设条件的关键时间点，并从所述第二级时序帧中提取出所述若干个关键时间点对应的肿瘤关键帧图像以及对应的肿瘤预测概率和肿瘤区域。本发明专利技术能减少内镜视频中噪声对肿瘤诊断关键帧提取的干扰，提升内镜AI辅助诊断的可靠性。可靠性。可靠性。

【技术实现步骤摘要】
一种上消化道内镜视频肿瘤诊断关键帧的提取方法及装置


[0001]本专利技术涉及内镜视频关键帧提取
，尤其涉及一种上消化道内镜视频肿瘤诊断关键帧的提取方法及装置。

技术介绍

[0002]内镜检查是消化道肿瘤检查的重要手段，通过内镜检查，能顺次地观察食管，胃，十二指肠球部甚至降部的粘膜状态，而传统肿瘤筛查的内镜检查需要年资较高的内镜医生进行专业、仔细、谨慎的观察和判断才能识别出肿瘤的位置、形态和性质。
[0003]如何将高年资内镜医生的识别能力抽取成为一个独立的深度学习模型是人工智能内镜肿瘤区域识别应用落地的重要步骤。
[0004]在利用深度学习模型预测内镜视频肿瘤概率存在如下问题：
[0005]①
内镜视频存在严重的抖动和动态模糊的情况，不进行抖动稳定会影响模型识别。
[0006]②
内镜图像噪声较大，现实情况下可能还有更多、更复杂的噪声会出现，不去除会影响模型识别。
[0007]③
关键帧中会包含一些与内镜诊断无关的反光光斑、器材、阴影，不去除会影响模型识别。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种上消化道内镜视频肿瘤诊断关键帧的提取方法，其特征在于，包括：将待处理的内镜视频时序帧输入抖动消除模型，得到消除抖动后的第一时序帧；其中，所述抖动消除模型利用仿射变换原理构建而成；将所述第一级时序帧输入至预设的肿瘤预测模型，以使所述肿瘤预测模型依次对所述第一级时序帧进行异常区域检测、噪声去除、异常区域修复以及图像编码分割预测后，得到包含预测结果的第二级时序帧；其中，所述肿瘤预测模型由异常区域检测UNet模型、图像修复MAE模型和肿瘤预测Transformer模型组合而成，所述预测结果为所述第一级时序帧中的每一帧图像内含有肿瘤区域的预测概率值；将所述预测结果连接成第一预测曲线，将所述第一预测曲线输入至平滑模型以使所述第一预测曲线的拟合残差值最小化，得到平滑后的第二预测曲线；根据第二预测曲线找出若干个符合预设条件的关键时间点，并从所述第二级时序帧中提取出所述若干个关键时间点对应的肿瘤关键帧图像以及对应的肿瘤预测概率和肿瘤区域。2.如权利要求1所述的一种上消化道内镜视频肿瘤诊断关键帧的提取方法，其特征在于，所述将待处理的内镜视频时序帧输入抖动消除模型，得到消除抖动后的第一级时序帧，具体包括：所述抖动消除模型对所述待处理的内镜视频时序帧进行若干次平均采样，每次的采样间隔递增，得到若干组时序图像数据；对所述若干组时序图像数据中每相邻两帧图像预测仿射变换矩阵，得到若干组仿射变换矩阵数据，然后对所有所述仿射变换矩阵进行计算，得到若干组对应的光流矩阵；在对所述若干组光流矩阵中不满足预设图像数量的光流矩阵进行线性插值后，对所有所述光流矩阵求平均，得到若干组平滑数据组；分别计算所述若干组平滑数据组与参考数据组的偏移差值，若所述偏移差值超出预设阈值，则向对应的平滑数据组增加偏移值，最终得到若干组平滑光流矩阵；将所述若干组平滑光流矩阵取反，并应用到每一帧待处理的内镜视频时序帧中，得到消除抖动后的第一级时序帧。3.如权利要求1所述的一种上消化道内镜视频肿瘤诊断关键帧的提取方法，其特征在于，所述肿瘤预测模型由异常区域检测UNet模型、图像修复MAE模型和肿瘤预测Transformer模型组合而成，具体为：训练一个异常区域检测UNet模型，预测图像异常区域，包含UNet编码器和UNet解码器；训练一个图像修复MAE模型，所述图像修复MAE模型是一个Transformer组成的Auto Encoder模型，用于修复图像异常区域，包含MAE编码器和MAE解码器；训练一个肿瘤预测Transformer模型，用于预测修复后图像的肿瘤区域以及概率，包含Transformer编码器和Transformer解码器；将所述Transformer模型与所述UNet编码器、Unet解码器和MAE编码器、MAE解码器模块结合，构建成肿瘤预测模型。4.如权利要求1所述的一种上消化道内镜视频肿瘤诊断关键帧的提取方法，其特征在于，所述将所述预测结果连接成第一预测曲线，将所述第一预测曲线输入至平滑模型以使所述第一预测曲线的拟合残差值最小化，得到平滑后的第二预测曲线，具体包括：
将所述预测结果连接为第一预测曲线并将所述第一预测曲线输入至平滑模型后，利用Savitzky
‑
Golay卷积平衡算法，通过滑动窗口的方式最小化所述预测结果的二乘拟合残差值，最终得到平滑后的第二预测曲线。5.如权利要求1所述的一种上消化道内镜视频肿瘤诊断关键帧的提取方法，其特征在于，所述根据第二预测曲线找出若干个符合预设条件的关键时间点，并从所述第二级时序帧中提取出所述若干个关键时间点对应的肿瘤关键帧图像以及对应的肿瘤预测概率和肿瘤区域，具体包括：对所述第二预测曲线按预设时间长度进行分组，得到若干组预测数值；获取每组所述预测数值中的最大值，若所述最大值超过预设关键阈值，则记录所述最大值对应的时间点，作为关键时间点；根据所述关键时间点，从所述第二级时序帧中分别提取出所述若干个关键时间点对应的肿瘤关键帧图像以及对应的肿瘤预测概率和肿瘤区域。6.一种上消化道内镜视频肿瘤诊断关键帧的提取装置，其特征在于，包括：抖动消除模块...

【专利技术属性】
技术研发人员：徐瑞华，骆卉妍，李超峰，贺龙君，徐国梁，经秉中，邓一术，陈浩华，
申请(专利权)人：中山大学肿瘤防治中心中山大学附属肿瘤医院，中山大学肿瘤研究所，
类型：发明
国别省市：