一种用于腹腔镜手术的视频预测方法及其系统技术方案

本发明专利技术公开了一种用于腹腔镜手术的视频预测方法及其系统，该方法包括光流估算、函数变换和空间替换卷积(SDC)处理，此外还引入了损失函数处理，从而开发出一种能够根据输入视频序列准确、清晰地预测未来图像的视频下一帧预测系统，在难以获取高质量标注数据时，仍能完成对图像自动识别和预测任务，具有节约计算资源、无需对图像进行额外标注、所得预测图像清晰且接近真实情景的优点。

【技术实现步骤摘要】
一种用于腹腔镜手术的视频预测方法及其系统
本专利技术涉及图像处理
，特别涉及一种用于腹腔镜手术的视频预测方法及其系统。
技术介绍
在内镜诊疗中，常常要对有关部位或病灶进行动态观察，因此需要构建观察对象的动态模型。对手术视频进行下一帧或者下几帧的预测，从预测的视频帧中可以得到许多有用的信息，而生成图像的质量将直接影响到手术视频分析的后续环节。在手术过程中，手术器械始终在不断移动，相邻图像之间的像素运动幅度较大，因此视频中存在着较明显的像素遮挡问题，预测光流不够准确；手术空间较为狭小，不同对象之间存在相互重叠或边界模糊等情况，例如器械之间的交错、血渍及烟雾的遮挡等，使得模型在应对上述情况时难以提高像素生成质量。现有的像素级别的视频预测方法主要有：卷积神经网络、递归神经网络、自编码器以及生成对抗网络。然而，在已有的各类方法中，使用生成模型来直接合成像素的方法预测的图像仍存在着模糊等问题，不能很好地对大幅度的物体运动建模。通过对输入图像学习变换关系来预测视频帧的方法依赖于图像间的光流，但获取大规模的光流标注比较困难，而在训练中使用估算的光本文档来自技高网...

【技术保护点】
1.一种用于腹腔镜手术的视频预测方法，其特征在于，包括以下步骤：/nS1、收集自然视频数据，并进行预处理；/nS2、光流估算：将预处理后的数据以视频序列的方式输入到光流估算网络FlowNet2.0，输入的序列长度为t，所述光流估算网络FlowNet2.0对相邻两帧之间的光流进行预测，输出得到t-1帧光流；/nS3、函数变换预测：将所述光流估算网络FlowNet2.0输出的t-1帧光流与原图沿通道拼接，将拼接的结果输入变换函数预测网络，设适应性核函数的大小为N＊N，所述变换函数预测网络为每个像素都预测2N+2个参数，其输出包括适应性核函数K(x，y)和位移向量(u，v)；/nS4、空间替换卷积(...

【技术特征摘要】
1.一种用于腹腔镜手术的视频预测方法，其特征在于，包括以下步骤：
S1、收集自然视频数据，并进行预处理；
S2、光流估算：将预处理后的数据以视频序列的方式输入到光流估算网络FlowNet2.0，输入的序列长度为t，所述光流估算网络FlowNet2.0对相邻两帧之间的光流进行预测，输出得到t-1帧光流；
S3、函数变换预测：将所述光流估算网络FlowNet2.0输出的t-1帧光流与原图沿通道拼接，将拼接的结果输入变换函数预测网络，设适应性核函数的大小为N＊N，所述变换函数预测网络为每个像素都预测2N+2个参数，其输出包括适应性核函数K(x，y)和位移向量(u，v)；
S4、空间替换卷积(SDC)处理：将所述变换函数预测网络的输出结果进行SDC模块处理，在SDC模块中，对输入序列的第t帧图像进行形变，最终得到预测的第t+1帧。


2.如权利要求1所述的一种用于腹腔镜手术的视频预测方法，其特征在于：还包括步骤S5、计算损失函数Ltotal：
所述损失函数Ltotal由主要损失函数和辅助损失函数组成，所述主要损失函数由图像的色彩误差Lcolor、图像的色彩梯度误差Lcolor_gradient和光流的平滑误差Lflow_smoothness组成，所述图像的色彩误差Lcolor为预测的RGB图(记作impred)和目标图像(记作tar)之间的L1损失，所述图像的色彩梯度误差Lcolor_gradient和所述光流的平滑误差Lflow_smoothness在预测图像和目标图像的平面维度上对所有通道的像素计算差值，并且对这两个差值求L1距离，以对生成图像的高频分量进行控制，其中，色彩的梯度误差直接沿着图像的水平和垂直方向进行计算，而光流平滑损失则沿着输出光流的水平和垂直方向进行计算。


3.权利要求1所述的一种用于腹腔镜手术的视频预测方法，其特征在于：所述步骤S1中的数据预处理具体为：首先对每个视频的黑边都进行裁剪，再将每帧图像的分辨率缩放至512×512，然后，对训练集和验证集中的每个视频都随机截取长度为3的序列，片段中对图像的采样间隔为3帧，分别以0.5的概率将采样的序列图像沿着时序、水平和垂直方向进行翻转，然后对其进行归一化，并以此作为网络输入。


4.如权利要求1所述的一种用于腹腔镜手术的视频预测方法，其特征在于：所述步骤S4的SDC处理包括：
S4.1、对像素替换和核函数学习这两个过程进行解耦，将位移向量、适应性核和源图It上将被替换的像素位置分别记为(u，v)、K(x，y)、(x+u，y+v)，则SDC进行像素合成的过程可以描述为：
It+1(x，y)＝K(x，y)*Pt(x+u，y+v)
其中，＊代表局部卷积运算，上式将预测的核函数K(x，y)与原图It上的对应区域Pt(x+u，y+v)进行参数不共享的卷积，以得到预测图像It+1上对应位置的像素值，
SDC预测的It+1(x，y)即为It上以(x+u，y+v)为中心、大小为...

【专利技术属性】
技术研发人员：王连生，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35