【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种腹腔镜手术影像分割方法及装置。
技术介绍
1、外科手术场景理解是计算机辅助手术和手术机器人控制的关键技术，这项任务的目标是识别外科场景中的物体，如生物组织和外科手术工具，并区分每个像素的正确类别，这项任务的结果可以广泛应用于临床工作，如手术进度监控、误操作警告和视觉增强，还能应用于手术报告生成、技能客观评估和手术视频检索等任务。
2、相关技术中，外科场景的图像或视频中主要包括外科手术工具和生物组织，由于大多数外科手术工具是银白色的，并且具有非常相似的纹理，不易正确区分，而且视频中存在反射和运动模糊的问题，导致区分图像或视频中不同类别更加困难，图像识别准确率低；另外，现有技术中基于深度学习算法的腹腔镜手术影像分割算法不能区分外科场景中高度相似的局部特征，导致腹腔镜手术影像分割效果和鲁棒性较差。
技术实现思路
1、本专利技术提供一种腹腔镜手术影像分割方法及装置，用以解决现有技术对外科场景的图像或视频进行分割的准确率低，而采用深度学习算法分割图像时不能区分外科场景中高度相似的局部特征，导致腹腔镜手术影像分割效果较差的缺陷，提高了腹腔镜手术影像分割准确率和鲁棒性。
2、本专利技术提供一种腹腔镜手术影像分割方法，包括：
3、获取腹腔镜手术影像，所述腹腔镜手术影像包括人体目标组织信息和对应的医疗器械信息；
4、基于感知图推理与指导模型对所述腹腔镜手术影像进行分割，得到分割结果；
5、其中，所述感知图
6、根据本专利技术提供的一种腹腔镜手术影像分割方法，所述感知图推理与指导模型通过如下步骤构建：
7、获取样本腹腔镜手术影像；
8、根据所述感知图理解网络对所述样本腹腔镜手术影像依次进行投影到所述语义特征空间、语义图推理和重新投影到所述语义特征空间的处理，得到第一投影特征；其中，所述语义特征空间为低维特征空间，所述语义特征空间中的每个节点代表一个抽象的语义特征；
9、根据所述语义嵌入网络对所述第一投影特征进行语义嵌入，得到语义关系向量；
10、根据所述语义指导网络对所述语义关系向量进行特征重构，得到重构特征，并根据所述重构特征和所述焦点损失函数训练初始感知图推理与指导模型，得到所述感知图推理与指导模型。
11、根据本专利技术提供的一种腹腔镜手术影像分割方法，所述根据所述感知图理解网络对所述样本腹腔镜手术影像依次进行投影到语义特征空间、语义图推理和重新投影到语义特征空间的处理，得到第一投影特征包括：
12、根据所述感知图理解网络对所述样本腹腔镜手术影像进行卷积处理，得到邻接矩阵；
13、根据所述邻接矩阵中的长距离的语义依赖信息确定局部特征，并将所述局部特征投影至语义特征空间，得到第二投影特征；
14、根据所述第二投影特征和所述邻接矩阵计算得到全局特征，并将所述全局特征重投影至所述语义特征空间，得到所述第一投影特征。
15、根据本专利技术提供的一种腹腔镜手术影像分割方法，所述邻接矩阵包括任务级邻接矩阵和图像级邻接矩阵，所述任务级邻接矩阵与所述样本腹腔镜手术影像中的人体目标组织区域和医疗器械区域关联；
16、所述根据所述第二投影特征和所述邻接矩阵计算得到全局特征包括：
17、通过下式计算所述全局特征：
18、
19、其中，a为所述图像级邻接矩阵，b为所述任务级邻接矩阵，v为所述第二投影特征，w为权重矩阵，σ为非线性激活函数。
20、根据本专利技术提供的一种腹腔镜手术影像分割方法，所述语义嵌入网络包括多个通道；
21、所述根据所述语义嵌入网络对所述第一投影特征进行语义嵌入，得到语义关系向量包括：
22、根据所述语义嵌入网络对所述第一投影特征进行全局平均池化，得到各通道的权重向量；
23、对所述各通道的权重向量进行卷积、批量规范化和线性整流处理，得到所述语义关系向量。
24、根据本专利技术提供的一种腹腔镜手术影像分割方法，所述根据所述语义指导网络对所述语义关系向量进行特征重构，得到重构特征包括：
25、通过下式确定所述重构特征：
26、
27、其中，z为所述样本腹腔镜手术影像对应的特征图，为广播哈达玛积，f为带批量规范化的1x1卷积，σ为线性整流函数relu，ya为所述语义关系向量。
28、本专利技术还提供一种腹腔镜手术影像分割装置，包括：
29、图像获取模块，用于获取腹腔镜手术影像，所述腹腔镜手术影像包括人体目标组织信息和对应的医疗器械信息；
30、腹腔镜手术影像分割模块，用于基于感知图推理与指导模型对所述腹腔镜手术影像进行分割，得到分割结果；
31、其中，所述感知图推理与指导模型基于感知图理解网络、语义嵌入网络和语义指导网络构建得到，所述感知图推理与指导模型以样本腹腔镜手术影像为训练样本，以焦点损失函数为训练函数训练得到；其中，所述感知图理解网络用于对所述腹腔镜手术影像通过语义特征空间进行图推理，语义嵌入网络用于编码多个通道之间的语义依赖关系，所述语义指导网络用于根据类别感知向量来指导输入特征的重构。
32、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述腹腔镜手术影像分割方法。
33、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述腹腔镜手术影像分割方法。
34、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述腹腔镜手术影像分割方法。
35、本专利技术提供的腹腔镜手术影像分割及装置，通过感知图理解网络、语义嵌入网络和语义指导网络构建初始模型，通过焦点损失函数训练初始模型得到的感知图推理与指导模型在执行腹腔镜手术影像的腹腔镜手术影像分割任务时，能够有效解决类间数据不平衡的问题和错分类的问题，提高了腹腔镜手术影像分割的鲁棒性和准确率。
本文档来自技高网...【技术保护点】
1.一种腹腔镜手术影像分割方法，其特征在于，包括：
2.根据权利要求1所述的腹腔镜手术影像分割方法，其特征在于，所述感知图推理与指导模型通过如下步骤构建：
3.根据权利要求2所述的腹腔镜手术影像分割方法，其特征在于，所述根据所述感知图理解网络对所述样本腹腔镜手术影像依次进行投影到语义特征空间、语义图推理和重新投影到语义特征空间的处理，得到第一投影特征包括：
4.根据权利要求3所述的腹腔镜手术影像分割方法，其特征在于，所述邻接矩阵包括任务级邻接矩阵和图像级邻接矩阵，所述任务级邻接矩阵与所述样本腹腔镜手术影像中的人体目标组织区域和医疗器械区域关联；
5.根据权利要求2所述的腹腔镜手术影像分割方法，其特征在于，所述语义嵌入网络包括多个通道；
6.根据权利要求2所述的腹腔镜手术影像分割方法，其特征在于，所述根据所述语义指导网络对所述语义关系向量进行特征重构，得到重构特征包括：
7.一种腹腔镜手术影像分割装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述腹腔镜手术影像分割方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述腹腔镜手术影像分割方法。
...【技术特征摘要】
1.一种腹腔镜手术影像分割方法，其特征在于，包括：
2.根据权利要求1所述的腹腔镜手术影像分割方法，其特征在于，所述感知图推理与指导模型通过如下步骤构建：
3.根据权利要求2所述的腹腔镜手术影像分割方法，其特征在于，所述根据所述感知图理解网络对所述样本腹腔镜手术影像依次进行投影到语义特征空间、语义图推理和重新投影到语义特征空间的处理，得到第一投影特征包括：
4.根据权利要求3所述的腹腔镜手术影像分割方法，其特征在于，所述邻接矩阵包括任务级邻接矩阵和图像级邻接矩阵，所述任务级邻接矩阵与所述样本腹腔镜手术影像中的人体目标组织区域和医疗器械区域关联；
5.根据权利要求2所述的腹腔镜手术影像分割方法，其特征在于，所述语义嵌入网络包括多个通道；
6...
【专利技术属性】
技术研发人员：刘市祺，宋猛，谢晓亮，周小虎，侯增广，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。