内镜黏膜下剥离手术阶段的识别方法及识别设备技术

本发明专利技术公开了一种内镜黏膜下剥离手术阶段的识别方法及识别设备，主要解决现有技术中存在的因ESD视野狭窄和消化道内环境复杂等特点及手术流程极为复杂且手术段之间的顺序性较弱，使得ESD的手术阶段识别成为一个困扰很久的问题。该发明专利技术包括获取不同内镜黏膜下剥离手术ESD对其预处理得到数据集；创建组合模型，其包括第一模型、第二模型和第三模型；用数据集训练的第一模型后提取数据集的空间特征；用空间特征训练第二模型后提取数据集的时间特征；拼接空间特征和时间特征后训练第三模型；加在训练后的组合模型，输入待测ESD数据输出手术阶段识别结果。通过上述方案，本发明专利技术达到了能精准识别ESD手术阶段的目的。了能精准识别ESD手术阶段的目的。了能精准识别ESD手术阶段的目的。

【技术实现步骤摘要】
内镜黏膜下剥离手术阶段的识别方法及识别设备


[0001]本专利技术涉及视频识别
，具体地说，是涉及一种内镜黏膜下剥离手术阶段的识别方法及识别设备
。

技术介绍

[0002]内镜黏膜下剥离手术（
Endoscopic Submucosal Dissection
，
ESD
）是一项创新性的内窥镜技术，用于消化道（如食管
、
胃和结肠）内早期恶性肿瘤和其他大型病变的切除；相较于传统外科手术，
ESD
在保留消化道生理功能的同时，具有更高的安全性
、
优良的疗效
、
更少的痛苦及较低的费用等优点
。
[0003]现有内镜黏膜下剥离手术存在的困境有：
1. ESD
存在视野狭窄和消化道内环境复杂等特点，手术难度高，能熟练操作该手术的医生较少，难以满足患者的需要，业内急需一种智能化的手段来辅助医生实施
ESD
手术；
2.
手术阶段识别是计算机辅助手术和人工智能结合实施该手术的基础，然而
ESD
流程极为复杂且手术段之间的顺序性较弱，还存在很多背景手术段，使得
ESD
的手术阶段识别成为一个困扰很久的极大难题
。

技术实现思路

[0004]本专利技术针对现有技术的不足之处提供了一种内镜黏膜下剥离手术阶段的识别方法及识别设备，使用卷积神经网络（
CNN
）提取手术视频的空间特征，使用r/>Transformer
结构提取手术视频的时间特征，最后使用记忆相关的神经常微分方程（
NMODE
）对提取到的细粒度时空特征进行再聚合，从而实现对
ESD
手术阶段的精确识别
。
[0005]本专利技术提供如下技术方案：一方面
、
一种内镜黏膜下剥离手术阶段的识别方法包括获取不同内镜黏膜下剥离手术
ESD
并对其预处理得到数据集；创建组合模型，其包括第一模型
、
第二模型和第三模型；用数据集训练第一模型后提取数据集的空间特征；用空间特征训练第二模型后提取数据集的时间特征；拼接空间特征和时间特征后训练第三模型；加载训练后的组合模型，输入待测
ESD
数据，输出手术阶段识别结果
。
[0006]在较佳的实施例中，获取数据集包括：保存不同
ESD
手术过程的视频，对所述视频脱敏；对视频中各手术阶段以设定单位标注不同手术阶段的开始和结束时刻；将标记后的视频分为训练集
、
验证集
、
测试集
。
[0007]在较佳的实施例中，空间特征的获取过程包括：创建深度卷积神经网络模型作为第一模型，用数据集训练第一模型后将数据集输入训练后的第一模型得到空间特征向量；数据集训练第一模型的过程包括：
将训练集输入第一模型，依次经过归一化
、
池化
、
残差处理
、
平均池化后输出高级空间特征向量；将高级空间特征向量映射为6维的
one
‑
hot
向量；
one
‑
hot
向量通过反向传播方法和交叉熵损失函数来训练第一模型；重复训练后得到训练后的第一模型
。
[0008]在较佳的实施例中，深度卷积神经网络模型包括卷积层，最大池化层，多组残差模块，平均池化层和全连接层；每个残差模块由三层堆叠的卷积层构成，且其中每个残差模块的输入和第三个卷积层的输出之间存在一个残差连接
。
[0009]在较佳的实施例中，时间特征的获取过程包括：将空间特征向量分为训练集
、
验证集
、
测试集；创建
Transformer
模型作为第二模型，用空间特征向量训练第二模型后将数据集输入训练后的第二模型得到时间特征向量；第二模型使用随机梯度下降法
SGD
进行训练，并使用交叉熵函数作为训练的目标函数
。
[0010]在较佳的实施例中，训练第三模型的过程包括：将时间特征向量分为训练集
、
验证集
、
测试集；创建神经常微分方程
NMODE
作为第三模型；将空间特征向量和时间特征向量拼接后作为外部输入输给第三模型后用
odeint
方法求解得到分类特征；分类特征输入线性分类器得到
ESD
手术阶段的识别结果
。
[0011]在较佳的实施例中，空间特征向量和时间特征向量拼接过程包括空间特征为其中为特征序列的长度，为空间特征的维度；时间特征为其中为特征序列的长度，为空间特征的维度；两种不同的视频特征沿着特征维度相拼接后为：
。
[0012]在较佳的实施例中，
NMODE
可以表示为：其中，，表示网络的状态，表示外部输入变量
。
[0013]在较佳的实施例中，第三模型采用交叉熵损失函数作为目标函数，使用随机梯度下降方法来训练
NMODE。
[0014]另一方面，一种内镜黏膜下剥离手术阶段的识别设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，以实现所述识别方法
。
[0015]与现有技术相比，本专利技术具有以下有益效果：
（1）本专利技术为一套自动手术阶段识别算法，该算法由一个三阶段的深度神经网络组成，前两个阶段分别使用卷积神经网络模块和
Transformer
模块从
ESD
手术视频中提取空间特征和时间特征；在第三阶段，本专利技术创新的对提取到的空间特征和时间特征进行再聚合，使本专利技术提出的组合神经网络算法具备了更强的非线性抽象能力，因此能够更准确地识别
ESD
的手术阶段，适应
ESD
视野狭窄和消化道内环境复杂的手术环境
。
[0016]（2）本专利技术使用
NMODE
与一般神经网络相结合的方式来增强传统神经网络的非线性能力和对时间信息的编码能力；与一般的神经常微分方程不同，本专利技术使用的
NMODE
利用空间特征和时间特征拼接聚合作为外部输入向神经网络内输入信息，利用全局吸引子构建输入数据的记忆特征，并且实现了学习和记忆的分离，使得
NMODE
具有更清晰的动态；使本专利技术提出的组合深度神经网络算法具备了更好的鲁棒性和更强的识别准确率
。
附图说明
[0017]图1为本专利技术的总体流程
。
[0018]图2为空间特征提取网络的详细结构
。
[0019]图3为第一个残差块的具体结构示意图
。
[0020]图4为第二个残差块的具体结构示意图
。
[0021]图5为第三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种内镜黏膜下剥离手术阶段的识别方法，其特征在于，获取不同内镜黏膜下剥离手术
(ESD)
视频并对其预处理得到数据集；创建组合模型，其包括第一模型
、
第二模型和第三模型；用数据集训练第一模型后提取数据集的空间特征；用空间特征训练第二模型后提取数据集的时间特征；拼接空间特征和时间特征后训练第三模型；加载训练后的组合模型，输入待测
ESD
数据，输出手术阶段识别结果
。2.
根据权利要求1所述的内镜黏膜下剥离手术阶段的识别方法，其特征在于，获取数据集包括：保存不同
ESD
手术过程的视频，对所述视频脱敏；对视频中各手术阶段以设定单位标注不同手术阶段的开始和结束时刻；将标记后的视频分为训练集
、
验证集
、
测试集
。3.
根据权利要求1所述的内镜黏膜下剥离手术阶段的识别方法，其特征在于，空间特征的获取过程包括：创建深度卷积神经网络模型作为第一模型，用数据集训练第一模型后将数据集输入训练后的第一模型得到空间特征向量；用数据集训练第一模型的过程包括：将训练集输入第一模型，依次经过归一化
、
池化
、
残差处理
、
平均池化后输出高级空间特征向量；将高级空间特征向量映射为6维的
one
‑
hot
向量；
one
‑
hot
向量通过反向传播方法和交叉熵损失函数来训练第一模型；重复训练后得到训练后的第一模型
。4.
根据权利要求3所述的内镜黏膜下剥离手术阶段的识别方法，其特征在于，深度卷积神经网络模型包括卷积层，最大池化层，多组残差模块，平均池化层和全连接层；每个残差模块由三层堆叠的卷积层构成，且其中每个残差模块的输入和第三个卷积层的输出之间存在一个残差连接
。5.
根据权利要求1所述的内镜黏膜下...

【专利技术属性】
技术研发人员：袁湘蕾，胡兵，黄凯得，刘瑞德，刘伟，林怡秀，罗奇，
申请(专利权)人：四川大学华西医院，
类型：发明
国别省市：