基于深度神经网络的图像语义分割方法技术

本发明专利技术公开了一种基于深度神经网络的图像语义分割方法

【技术实现步骤摘要】
基于深度神经网络的图像语义分割方法、装置及设备


[0001]本专利技术涉及一种基于深度神经网络的图像语义分割方法
、
装置及设备，属于计算机视觉与图像处理

。

技术介绍

[0002]微创手术由于其对人体创口小
、
术后恢复时间快等优点
,
被广泛应用到外科手术中
。
随着机器人技术的快速发展
,
将机器人技术与微创手术结合的机器人辅助微创手术
(RMIS)
应运而生
。RMIS
是指利用腹腔镜
、
内窥镜等显示设备以及机器人
、
计算机等执行与计算设备所进行的一种手术
。RMIS
利用腔镜下手术视野放大清晰
、
机器人可精细操作等技术特点，具有创伤小
、
疼痛轻
、
恢复快的优越性
。
[0003]在此类手术中，为了使手术机器人准确响应外科医生的操作
、
提高手术效率
、
确保患者安全，一个重要的环节是提升手术机器人对手术器械的自动化认知
。
为了实现这一目的，需处理由腔镜系统拍摄到的图像，以提取图像中手术器械的像素区域
。
随着计算机视觉技术的不断发展，语义分割技术已经被广泛应用于图像和视频处理领域，故可以使用图像语义分割技术来执行上述过程
。
[0004]语义分割是一种图像处理技术，其目标是将图像中的每个像素分类到不同的语义类别，如手术器械
、
生理组织等
。
其与传统的图像分割技术相比，优势在于可以更好地使计算机识别和理解图像中的内容
。
[0005]目前，手术机器人器械图像的语义分割算法主要集中在仅以深度卷积神经网络或视觉
Transformer
网络作为主体结构，准确率尚可，但是，在某些特定分割子任务下，其并没有达到符合手术器械语义分割实际应用的情况；同时，以视觉
Transformer
网络作为主体结构的手术机器人器械图像语义分割算法消耗的时间比较长，模型训练时收敛速度较慢
。

技术实现思路

[0006]为了克服现有语义分割算法存在的局限性，本专利技术提出了一种基于深度神经网络的图像语义分割方法
、
装置及设备，能够提高手术机器人器械语义分割的准确性，以便更好地应用于机器人辅助微创手术（
RMIS
）场景
。
[0007]本专利技术解决其技术问题采取的技术方案是：第一方面，本专利技术实施例提供的一种基于深度神经网络的图像语义分割方法，包括以下步骤：采集手术过程中的现场图像数据，构建训练数据集；所述训练数据至少包含每个图像像素的所属类别标注；对训练数据集中数据进行预处理，并将预处理后的训练数据集划分为训练集和测试集；建立语义分割模型，基于训练集采用二值分割
、
部件分割和器械类别分割模式分别根据训练损失采用
AdamW
优化器进行模型训练并更新模型的权重；
将测试集中的样本数据按所需分割模式输入训练后的相应语义分割模型，获取各模式下语义分割模型的识别准确度；采用优化后的语义分割模型对手术过程中的实时采集的现场图像数据进行图像语义分割，并输出语义分割图像
。
[0008]作为本实施例一种可能的实现方式，所述语义分割模型包括编码器
、
特征融合器
、
解码器和预测模块；所述编码器用于提取所输入手术过程中的现场图像数据的各级特征图，所述各级特征图包含图像的不同抽象级别信息；所述特征融合器用于不同级的特征图融合，可将低层次或短程的细节特征与高层次或长程的语义信息结合起来；所述解码器用于学习从特征图中恢复图像细节，对特征进行上采样，逐步恢复分辨率，同时保持语义信息；所述预测模块用于进行预测操作，生成每个像素对应的语义类别概率分布，产生最终的手术器械图像的语义分割图像；所述特征融合器包括同尺寸特征融合模块和视觉
Transformer
空间金字塔池化模块，所述同尺寸特征融合模块用于对尺寸相同
、
通道数不同的特征图进行同尺寸特征融合；所述视觉
Transformer
空间金字塔池化模块用于首先对输入应用不同尺度感受野下的自注意力机制获取不同尺度的语义信息并进行通道维度的串联，然后结合同尺寸特征融合模块对串联的语义信息进行特征融合，最终输出融合后的语义特征图
。
[0009]作为本实施例一种可能的实现方式，所述对训练数据集中数据进行预处理包括：对训练数据集中数据进行调整图像尺寸
、
图像归一化和数据增强处理；所述数据增强处理至少包括随机裁剪
、
图像翻转
、
颜色抖动和图像旋转处理
。
[0010]作为本实施例一种可能的实现方式，所述基于训练集采用二值分割
、
部件分割或器械类别分割模式根据训练损失采用
AdamW
优化器进行模型训练更新模型的权重，包括：基于训练集中标注了像素所属类别的图像数据，对于不同的所属类别标注类型，选择对应的二值分割
、
部件分割或器械类别分割训练模式；所述所属类别标注类型包括手术器械与生物组织
、
不同的器械部件和不同的器械种类；通过有监督学习的方式对模型进行训练来更新模型的权重，使其逐渐优化分割性能；待到训练收敛后，对于每种训练模式分别保存相应的模型权重
。
[0011]作为本实施例一种可能的实现方式，所述采用优化后的语义分割模型对手术过程中的实时采集的现场图像数据进行图像语义分割，并输出语义分割图像，包括：在手术过程中持续地采集图像数据；分别采用二值分割
、
部件分割和器械类别分割模式并装载相应模式下经过训练的模型权重；将采集到的图像数据输入优化后的语义分割模型进行语义分割，生成各个分割模式的语义分割图像
。
[0012]作为本实施例一种可能的实现方式，所述建立语义分割模型，基于训练集采用二值分割
、
部件分割和器械类别分割模式分别根据训练损失采用
AdamW
优化器进行模型训练并更新模型的权重，包括：获取待微调训练编码器的初始模型参数，去除待微调训练编码器中的全连接分类层，构成一个全卷积神经网络；所述待微调训练编码器的初始模型参数为在大规模数据集
中预训练好的各层初始权重矩阵，基于卷积神经网络
、
同尺寸特征融合模块和视觉
Transformer
空间金字塔池化模块构建语义分割模型；按手术现场需求选择二值分割
、
部件分割和器械类别分割模式中的其一；将训练集中对应分割模式下的所有图像输入语义分割模型进行模型训练来更新模型参数，代入更新后模型参数得到优化后的语义分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度神经网络的图像语义分割方法，其特征在于，包括以下步骤：采集手术过程中的现场图像数据，构建训练数据集；所述训练数据至少包含每个图像像素的所属类别标注；对训练数据集中数据进行预处理，并将预处理后的训练数据集划分为训练集和测试集；建立语义分割模型，基于训练集采用二值分割
、
部件分割和器械类别分割模式分别根据训练损失采用
AdamW
优化器进行模型训练并更新模型的权重；将测试集中的样本数据按所需分割模式输入训练后的相应语义分割模型，获取各模式下语义分割模型的识别准确度；采用优化后的语义分割模型对手术过程中的实时采集的现场图像数据进行图像语义分割，并输出语义分割图像
。2.
根据权利要求1所述的基于深度神经网络的图像语义分割方法，其特征在于，所述语义分割模型包括编码器
、
特征融合器
、
解码器和预测模块；所述编码器用于提取所输入手术过程中的现场图像数据的各级特征图，所述各级特征图包含图像的不同抽象级别信息；所述特征融合器用于不同级的特征图融合，可将低层次或短程的细节特征与高层次或长程的语义信息结合起来；所述解码器用于学习从特征图中恢复图像细节，对特征进行上采样，逐步恢复分辨率，同时保持语义信息；所述预测模块用于进行预测操作，生成每个像素对应的语义类别概率分布，产生最终的手术器械图像的语义分割图像；所述特征融合器包括同尺寸特征融合模块和视觉
Transformer
空间金字塔池化模块，所述同尺寸特征融合模块用于对尺寸相同
、
通道数不同的特征图进行同尺寸特征融合；所述视觉
Transformer
空间金字塔池化模块用于首先对输入应用不同尺度感受野下的自注意力机制获取不同尺度的语义信息并进行通道维度的串联，然后结合同尺寸特征融合模块对串联的语义信息进行特征融合，最终输出融合后的语义特征图
。3.
根据权利要求1所述的基于深度神经网络的图像语义分割方法，其特征在于，所述对训练数据集中数据进行预处理包括：对训练数据集中数据进行调整图像尺寸
、
图像归一化和数据增强处理；所述数据增强处理至少包括随机裁剪
、
图像翻转
、
颜色抖动和图像旋转处理
。4.
根据权利要求1所述的基于深度神经网络的图像语义分割方法，其特征在于，所述基于训练集采用二值分割
、
部件分割或器械类别分割模式分别根据训练损失采用
AdamW
优化器进行模型训练更新模型的权重，包括：基于训练集中标注了像素所属类别的图像数据，对于不同的所属类别标注类型，选择对应的二值分割
、
部件分割或器械类别分割训练模式；所述所属类别标注类型包括手术器械与生物组织
、
不同的器械部件和不同的器械种类；通过有监督学习的方式对模型进行训练来更新模型的权重，使其逐渐优化分割性能；待到训练收敛后，对于每种训练模式分别保存相应的模型权重
。5.
根据权利要求1所述的基于深度神经网络的图像语义分割方法，其特征在于，所述采用优化后的语义分割模型对手术过程中的实时采集的现场图像数据进行图像语义分割，并输出语义分割图像，包括：在手术过程中持续地采集图像数据；
分别采用二值分割
、
部件分割和器械类别分割模式并装载相应模式下经过训练的模型权重；将采集到的图像数据输入优化后的语义分割模型进行语义分割，生成各个分割模式的语义分割图像
。6.
根据权利要求1‑5任意一项所述的基于深度神经网络的图像语义分割方法，其特征在于，所述建立语义分割模型，基于训练集采用二值分割
、
部件分割和器械类别分割模式分别根据训练损失采用
AdamW
优化器进行模型训练并更新模型的权重，包括：获取待...

【专利技术属性】
技术研发人员：宋华建，王越，倪建华，张广丽，邱建龙，张安彩，
申请(专利权)人：临沂大学，
类型：发明
国别省市：