一种基于可解释人工智能的外科手术技能评级方法与系统技术方案

本发明专利技术公开了一种基于可解释人工智能的外科手术技能评级方法，涉及人工智能领域，主要包括步骤：获取手术的整流视频，并通过膨胀三维卷积网提取整流视频各通道下的特征图集；通过全局平均池化层对各特征图进行时间维度上的均值化处理并获取时序均值特征；根据时序均值特征求取整流视频中各特征区域的分类评分；通过将分类评分与整流视频中对应的特征区域相关联获取类别激活图，并根据类别激活图获取带有手术轨迹以及各轨迹段评级的显著图。本发明专利技术通过获取带有手术轨迹以及相应评分的热度显著图，从而帮助医生能够清晰的了解自身术中操作存在的缺陷和不足，从而做出针对性训练。练。练。

【技术实现步骤摘要】
一种基于可解释人工智能的外科手术技能评级方法与系统


[0001]本专利技术涉及人工智能
，具体涉及一种基于可解释人工智能的外科手术技能评级方法与系统。

技术介绍

[0002]目前，对于医生外科手术的技能培训还停留在老带新的模式，依靠资深医师的手术经验，对新手医生的术中操作进行指导和纠正。然而由于个人主观认知的影响，不同医师对于术中操作的理解存在偏差，部分理解可能与正确操作存在偏差，这就导致了其对新手医生的指导不够规范。新手医生还是要在一次又一次的实际操作中发现自身所存在的错误并予以纠正。
[0003]这种老带新的传统培训方式显然已经不足以满足现代医学高效、高精度的要求，因此亟需一种更加科学、自主的方法，帮助新手医生找出自身手术操作中不规范的操作，从而做出针对性的改进。

技术实现思路

[0004]为了更好的帮助医生找出自身术中操作存在的不足点，并对其进行针对性训练和改进，本专利技术提出了一种基于可解释人工智能的外科手术技能评级方法，包括步骤：
[0005]S1：获取手术的整流视频，并通过膨胀三维卷积网提取整流视频各通道下的特征图集；
[0006]S2：通过全局平均池化层对各特征图进行时间维度上的均值化处理并获取时序均值特征；
[0007]S3：根据时序均值特征求取整流视频中各特征区域的分类评分；
[0008]S4：通过将分类评分与整流视频中对应的特征区域相关联获取类别激活图，并根据类别激活图获取带有手术轨迹以及各轨迹段评级的显著图。
[0009]进一步地，所述手术整流视频为根据手术视频进行时空维度的下采样，并以预设提取频率进行重取样后，以预设提取频率相对应的帧率进行等时长的视频获取。
[0010]进一步地，所述分类评分是根据各特征图的时序均值特征进行加权求和后获取。
[0011]进一步地，所述全局平均池化层之后还连接有全连接层，类别激活图是根据全连接层中对应分类的权重矩阵与相应的特征图相乘并累加获得。
[0012]进一步地，所述根据类别激活图获取带有手术轨迹评级的显著图前还包括步骤：
[0013]对类别激活图进行整流视频规格下的时空域放大处理；
[0014]根据放大处理后的类激活图进行热图转换获取显著图。
[0015]进一步地，所述特征图集的提取标准包括手术器材和手术行为，膨胀三维卷积网需经过预训练获取，所述预训练包括：
[0016]通过ImageNet和Kinetics中的数据集对膨胀三维卷积网进行模型预训练；
[0017]将训练后膨胀三维卷积网的权重矩阵集作为初始参数，通过迁移学习优化初始参
数。
[0018]以预设权重矩阵集作为预训练后膨胀三维卷积网的初始参数，并通过迁移学习对初始参数进行优化。
[0019]进一步地，所述类激活图的热图转换中，根据各特征区域中手术行为和手术器材的分类评分进行热度转换。
[0020]本专利技术还提出了一种基于可解释人工智能的外科手术技能评级系统，包括：
[0021]特征提取模块，用于根据手术的整流视频，通过膨胀三维卷积网提取整流视频各通道下的特征图集；
[0022]均值处理模块，用于通过全局平均池化层对各特征图进行时间维度上的均值化处理并获取时序均值特征；
[0023]分类评分模块，用于根据时序均值特征求取整流视频中各特征区域的分类评分；
[0024]评级输出模块，用于将各视频段的分类评分与对应的特征区域相关联获取类别激活图，并根据类别激活图获取带有手术轨迹以及各轨迹段评级的显著图。
[0025]进一步地，所述分类评分是根据各特征图的时序均值特征进行加权求和后获取。
[0026]进一步地，所述全局平均池化层之后还连接有全连接层，类别激活图是根据全连接层中对应分类的权重矩阵与相应的特征图相乘并累加获得。
[0027]与现有技术相比，本专利技术至少含有以下有益效果：
[0028](1)本专利技术所述的一种基于可解释人工智能的外科手术技能评级方法与系统，通过获取带有手术轨迹以及相应评分的热度显著图，从而帮助医生能够清晰的了解自身术中操作存在的缺陷和不足，从而做出针对性训练；
[0029](2)通过在特征采样层和全连接层之间添加一个全局平均池化层，使得参数量大大减少了所需要计算的参数量，从而提高了对于特征提取的速率；
[0030](3)通过时序上的平均池化，从而即使输入不同长的的视频，其池化后的特征图尺度始终保持不变，进而降低了对于输入视频长度的限制；
[0031](4)以手术轨迹结合热度图的形式来对各轨迹段的术中操作进行评级，使得评级结果更加直观，更能体现出医生在某一操作衔接上可能存在的连贯性问题。
附图说明
[0032]图1为一种基于可解释人工智能的外科手术技能评级方法的方法步骤图；
[0033]图2为一种基于可解释人工智能的外科手术技能评级系统的系统结构图；
[0034]图3为带有手术轨迹以及各轨迹段评级的显著图的示意图。
具体实施方式
[0035]以下是本专利技术的具体实施例并结合附图，对本专利技术的技术方案作进一步的描述，但本专利技术并不限于这些实施例。
[0036]实施例一
[0037]为了帮助医生了解到自身在外科手术操作中存在的瑕疵点，并通过科学、直观的方式对其进行展示，如图1所示，本专利技术提出了一种基于可解释人工智能的外科手术技能评级方法，包括步骤：
[0038]S1：获取手术的整流视频，并通过膨胀三维卷积网提取整流视频各通道(共计N个通道)下的特征图集；
[0039]S2：通过全局平均池化层对各特征图进行时间维度上的均值化处理并获取时序均值特征；
[0040]S3：根据时序均值特征求取整流视频中各特征区域的分类评分；
[0041]S4：通过将分类评分与整流视频中对应的特征区域相关联获取类别激活图，并根据类别激活图获取带有手术轨迹以及各轨迹段评级的显著图。
[0042]需要说明的是，本专利技术以手术器材和手术行为作为特征图集的提取标准(或者说提取要素)。
[0043]其中，整流视频并不是原始视频，其是原始手术操作视频经过整流处理后获得的。具体地，整流视频为根据原始手术操作视频进行时空维度上的下采样，并以预设提取频率进行重取样后，以预设提取频率相对应的帧率进行等时长的视频获取。
[0044]此处以JIGSAWS视频数据为例对原始手术操作视频的整流处理进行举例说明。JIGSAWS数据集使用从达芬奇手术系统所采集的运动学数据和视频数据，它是外科手术技能评级的公共数据集。它包括外科技能的三个基本任务：缝合、打结和传针。JIGSAWS数据集中的原始视频是以每秒30帧的速度拍摄的，空间尺寸为宽640像素，高480像素。本实施例中先是对视频在时间和空间维度上都进行了下采样，将视频以每秒六帧的速度(预设提取速率)重新取样，每五帧中保留第一帧。然后，视频被下采样为128
×
1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可解释人工智能的外科手术技能评级方法，其特征在于，包括步骤：S1：获取手术的整流视频，并通过膨胀三维卷积网提取整流视频各通道下的特征图集；S2：通过全局平均池化层对各特征图进行时间维度上的均值化处理并获取时序均值特征；S3：根据时序均值特征求取整流视频中各特征区域的分类评分；S4：通过将分类评分与整流视频中对应的特征区域相关联获取类别激活图，并根据类别激活图获取带有手术轨迹以及各轨迹段评级的显著图。2.如权利要求1所述的一种基于可解释人工智能的外科手术技能评级方法，其特征在于，所述手术整流视频为根据手术视频进行时空维度的下采样，并以预设提取频率进行重取样后，以预设提取频率相对应的帧率进行等时长的视频获取。3.如权利要求1所述的一种基于可解释人工智能的外科手术技能评级方法，其特征在于，所述分类评分是根据各特征图的时序均值特征进行加权求和后获取。4.如权利要求1所述的一种基于可解释人工智能的外科手术技能评级方法，其特征在于，所述全局平均池化层之后还连接有全连接层，类别激活图是根据全连接层中对应分类的权重矩阵与相应的特征图相乘并累加获得。5.如权利要求1所述的一种基于可解释人工智能的外科手术技能评级方法，其特征在于，所述根据类别激活图获取带有手术轨迹评级的显著图前还包括步骤：对类别激活图进行整流视频规格下的时空域放大处理；根据放大处理后的类激活图进行热图转换获取显著图。6.如权利要求5所述的一种基于可解释人工智能的外科手术技...

【专利技术属性】
技术研发人员：翁莹，陈珂，张一名，
申请(专利权)人：翁莹，
类型：发明
国别省市：