一种基于制造技术

本发明专利技术公开一种基于

【技术实现步骤摘要】
一种基于SAM的无监督手术器械图像分割方法及系统


[0001]本专利技术属于无监督手术器械图像分割
，更具体地，涉及一种基于
SAM
的无监督手术器械图像分割方法及系统
。

技术介绍

[0002]微创手术中的仪器分割是各种先进的计算机辅助干预技术的基础，例如自动手术技能评估和术中引导系统
。
鉴于其重要性，手术器械分割在早期传统方法到近期使用深度学习的方法中取得了显著进展
。
然而，这样的成功主要依赖于从大量标注数据中进行监督学习，而在医学领域，特别是对于视频数据的分割任务，这些数据的收集非常昂贵且耗时
。
此外，受到现实世界不同医院和手术类型之间领域差距的影响，监督方法的泛化能力几乎不可避免地受到限制
。
[0003]为了解决上述问题，
Daniil
等试图利用机器人的运动学模型和器械的三维模型参数，通过将其投影到相机的图像平面的方式自动获取标签，再使用生成对抗模型学习内窥镜和相应标签之间映射，以此消除不精确的运动学引起的标签误差...

【技术保护点】

【技术特征摘要】
1.
一种基于
SAM
的无监督手术器械图像分割方法，其特征在于，包括：对包含手术器械的手术图像进行特征提取，生成手术图像的特征向量，对所述特征向量进行降维处理，通过均值聚类方法对降维后的特征向量进行初步分类，并生成初步分类后的特征图，通过条件随机场对所述特征图进行优化，生成优化后的特征图；通过分割模型
SAM
，将所述优化后的特征图进行分割，生成所述优化后的特征图的全分割结果，并通过所述优化后的特征图对所述全分割结果中的每一个区域进行分类，获得最终的手术器械图像分割结果，从而完成手术器械图像分割
。2.
如权利要求1所述的一种基于
SAM
的无监督手术器械图像分割方法，其特征在于，对包含手术器械的手术图像进行特征提取包括：将手术图像的尺寸进行统一，对统一后的手术图像进行标准化处理：具体为：统一后的手术图像标准化参数：
mean
＝
{0.485,0.456,0.406}std
＝
{0.229,0.224,0.225}
其中，
mean
为统一后的手术图像各通道的标准化均值，
std
为统一后的手术图像各通道的标准差；通过
DINOv2
模型对标准化处理后的手术图像进行特征提取
。3.
如权利要求1所述的一种基于
SAM
的无监督手术器械图像分割方法，其特征在于，对所述特征向量进行降维处理包括：将所述特征向量转换为一个矩阵，其中每一行表示一个通道，每一列表示一个通道的像素值，并通过以下公式计算特征向量矩阵
:
其中，
Cov
为特征向量
X
的协方差矩阵，
X
mean
为
X
的均值向量，
V
为特征向量矩阵，
D
为对焦矩阵，对角线上的元素为特征值，
n
为通道数；根据特征值，将特征向量从大到小进行排序，选择前3个特征向量，将选择的特征向量与中心化的输入特征相乘，获得降维后的特征矩阵，其公式如下：
X
pca
＝
V
sT
(X
‑
X
mean
)
其中，
X
pca
∈R3×
20
×
20
为降维后的3通道
20
长
20
宽的特征向量，
V
s
为选择的前3个特征向量
。4.
如权利要求1所述的一种基于
SAM
的无监督手术器械图像分割方法，其特征在于，通过均值聚类方法对降维后的特征向量进行初步分类包括：在三维空间随机选择两个初始聚类中心作为初始值，对于特征向量中每一个像素点数据，计算其与每个初始聚类中心的欧式距离，并将其分配到欧氏距离最小的初始聚类中心所对应的簇；对于每个簇，计算每个簇中所有像素点数据的平均值，将其作为新的聚类中心，假设
C
为一个簇，包含
m
个向量，则聚类中心的更新公式为：重复以上步骤，直到聚类中心不再发生变化时，即完成初步分类
。5.
如权利要求1所述的一种基于
SAM
的无监督手术器械图像分割方法，其特征在于，通
过条件随机场对所述特征图进行优化，生成优化后的特征图包括：根据条件随机场，将所述特征图中的每一个像素点建模为一个节点，节点的标签为
K
‑
mean
中已分配的类别，通过最大化条件概率找到在给定观测值的情况下，节点的标签的最佳配置，以此完成分类结果的优化处理，具体为：引入数据势能函数和平滑势能函数，其中数据势能函数用于表示每个像素点的观测值与标签的关系，数据势能函数为：
U(x
i
,y
i
)
＝
‑
log(
ψ
(x
i
,y
i
))
其中，
x
i
表示第
i
个像素点的观测值，
y
i
表示第
i
个像素点的标签，
ψ
(x
i
,y
i
)
表示第
i
个像素点的观测值和第
i
个像素点的标签的潜在关系；平滑势能表示相邻像素点之间的关系，用于约束相邻像素点的标签，使得标签变化比较小，平滑势能函数为：其中
y
i
和
y
j
分别表示第
i
个像素点的标签和第
j
个像素点的标签，
λ
为平滑项权重，
p
i
和
p
j
分别表示第
i
个像素点的位置坐标和第
j
个像素点的位置坐标，
||p
i
‑
p
j
||
表示欧式距离，
σ
为平滑项的标准差；最终可定义条件随机场模型的能量函数为：
E(Y|X)
＝
∑U(x
i
,y
i
)+
λ
∑P(y
i
,y
j
)
能量函数值越低，对应的标签配置的概率越高
。6.
如权利要求5所述的一种基于
SAM
的无监督手术器械图像分割方法，其特征在于，对数据势能函数和平滑势能函数，进行优化，以使...

【专利技术属性】
技术研发人员：赵欢，汪一苇，蔡雄，周松，万赤丹，孙释然，丁汉，
申请(专利权)人：华中科技大学同济医学院附属协和医院，
类型：发明
国别省市：