解剖结构和手术器械分割识别模型和模型训练方法技术

本申请公开了一种解剖结构和手术器械分割识别模型和模型训练方法。该模型包括编码器、感兴趣区域提取器和解码器；编码器用于对拼接图像进行特征编码以获得高维特征图像，拼接图像通过当前图像帧和稠密光流图拼接获得，稠密光流图通过对当前图像帧和目标图像帧进行稠密光流计算获得，当前图像帧在目标图像帧之后且与目标图像帧之间存在预定时间间隔；感兴趣区域提取器用于对高维特征图像进行特征提取；解码器用于对特征提取的结果进行分割识别。本申请通过该模型对手术视频帧中解剖结构和手术器械进行实时分割，并可以对解剖结构和手术器械进行识别，可以为没有手术经验的学生、初学者或者缺少经验的医生提供高质量的学习资料。习资料。习资料。

【技术实现步骤摘要】
解剖结构和手术器械分割识别模型和模型训练方法


[0001]本专利技术涉及图像处理
，尤其涉及一种解剖结构和手术器械分割识别模型和模型训练方法。

技术介绍

[0002]在外科手术中，识别解剖结构和手术器械是外科医生至关重要的学习内容，但是对于没有手术经验的学生、初学者或者缺少经验的医生，可能很难或者很少有机会参与实际的外科手术，因此，对于没有手术经验的学生、初学者或者缺少经验的医生，往往只能通过手术视频学习辨识解剖结构和手术器械。
[0003]但是，手术视频中的各个解剖结构之间存在轮廓不分明、遮挡严重、相似度高等问题，在没有手术经验的学生、初学者或者缺少经验的医生利用手术视频学习时，往往需要具有丰富经验的指导者对手术视频中的解剖结构和手术器械进行解释说明，并勾画手术视频中的各个解剖结构和手术器械的边缘，该学习方式不仅浪费指导者的时间，而且，该学习方式的学习效率低下，还浪费学习者的大量时间。

技术实现思路

[0004]鉴于上述问题，本申请提出一种解剖结构和手术器械分割识别模型和模型训练方法，以分割视频帧中的解剖结构和手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解剖结构和手术器械分割识别模型，其特征在于，所述解剖结构和手术器械分割识别模型包括编码器、感兴趣区域提取器和解码器；所述编码器用于对拼接图像进行特征编码以获得高维特征图像，所述拼接图像通过当前图像帧和稠密光流图拼接获得，所述稠密光流图通过对所述当前图像帧和目标图像帧进行稠密光流计算获得，所述当前图像帧在所述目标图像帧之后且与所述目标图像帧之间存在预定时间间隔；所述感兴趣区域提取器用于对所述高维特征图像进行特征提取；所述解码器用于对所述特征提取的结果进行分割识别，以分割解剖结构和手术器械，并识别所述解剖结构的类别和所述手术器械的类别。2.根据权利要求1所述的解剖结构和手术器械分割识别模型，其特征在于，所述编码器包括轻量化卷积神经网络和多个多头自注意力模块；所述轻量化卷积神经网络用于对所述拼接图像进行卷积处理；所述多头自注意力模块用于从所述卷积处理的结果中提取多个特征矩阵，以通过所述多个特征矩阵获得所述高维特征图像。3.根据权利要求1所述的解剖结构和手术器械分割识别模型，其特征在于，所述感兴趣区域提取器包括区域提取网络和区域缩放模块；所述区域提取网络用于在高维特征图像上生成多个锚框，并从所述多个锚框中确定包括手术器械的目标锚框和包括解剖结构的目标锚框；所述区域缩放模块用于将所述目标锚框的尺寸调整为预定尺寸。4.根据权利要求1所述的解剖结构和手术器械分割识别模型，其特征在于，所述解码器包括全卷积神经网络、第一全连接层和第二全连接层；所述全卷积神经网络用于根据所述特征提取的结果生成掩码图像；所述第一全连接层用于根据所述特征提取的结果对所述解剖结构和所述手术器械进行分割以确定所述解剖结构对应的结构区域和所述手术器械对应的器械区域；所述第二全连接层用于根据所述特征提取的结果对所述结构区域内的所述解剖结构和所述器械区域内的所述手术器械进行识别。5.一种模型训练方法，其特征在于，所述方法包括：预先获取训练样本集，并利用所述训练样本集中的训练样本训练权利要求1至4中任一项所述解剖结构和手术器械分割识别模型；所述预先获取训练样本集，包括：按照预设的采样频率从手术视频中依次采集预定第一数量的视频帧，所述预定第一数量的视频帧按照采集顺序依次排列；从所述第一数量的视频帧中随机选择第二数量的训练视频帧，并标注所述第二数量的训练视频帧中的解剖结构边缘、解剖结构类别、手术器械边缘和手术器械类别；从所述预定第一数量的视频帧中确定每一张训练视频帧对应的目标视频帧，所述每一张训练视频帧在所述对应的目标视频帧之后且与对应的目标视频帧之间存在预定时间间隔；根据每一张训练视频帧和对应...

【专利技术属性】
技术研发人员：何建行，梁恒瑞，晏泽平，
申请(专利权)人：广州明医医疗科技有限公司，
类型：发明
国别省市：