一种医学图像中无监督的关键点定位和目标检测方法技术

本发明专利技术涉及的是一种三维医学图像中无监督的关键点定位与目标检测方法，属于图像检测技术领域。本发明专利技术是通过以下技术方案实现的：首先利用一组未标记的图像，训练一个位移网络来预测同一幅三维图像中任意两个子区域的相对偏移量。得到位移网络的训练结果后，针对一幅新图像，该网络以一个初始位置处的子区域与参考图像中关键点处的子区域作为输入，预测该图像中的初始位置到目标位置的偏移量，从而实现关键点的定位。本发明专利技术进一步通过将物体边界框的检测任务转化成六个极端点的定位，实现无监督的目标物体检测。本发明专利技术能解决现有的医学图像中的目标检测算法需要大量人工标注的问题，有效降低了标注成本，提高了无监督目标检测算法的性能。测算法的性能。测算法的性能。

【技术实现步骤摘要】
一种医学图像中无监督的关键点定位和目标检测方法


[0001]本专利技术属于图像分析


技术介绍

[0002]在三维医学图像分析中，关键点的定位和目标检测对于计算机辅助诊断、治疗方案优化有着十分重要的作用。关键点的定位是从图像中准确地找到某个解剖关键点的位置，三维目标检测是从图像中找到该物体的一个边界框，通常可以通过该物体上的多个的关键点进行定位实现。近年来，深度学习通过对大量含标注的医学图像进行学习，可以有效提取包含在医学图像大数据中的知识，得到较高精度的关键点定位和目标检测的结果，为基于医学图像的计算机辅助诊断系统提供了新的方法。
[0003]目前的深度学习方法的成功主要依赖于从大量有标注的三维医学图像中进行训练。然而，对三维医学图像的标注十分困难，由于医学图像中对比度低、个体差异较大，普通人难以完成精确的标注，从而需要专业的医生来完成标注。由于专业医生的稀缺，对成千上万幅大规模医学图像的标注具有高昂的时间和人力成本，因此极大地限制了深度学习医学图像处理算法的开发和应用。
[0004]为了减少对标注数据的依赖，诸如半监督、弱监督、自监督与无监督的方法愈发吸引人们的关注。半监督方法允许只对一部分图像(如50％的图像)进行标注，可以大大减少标注量，然而对于大规模三维医学图像来说，该方法需要的标注的绝对数量仍然十分庞大。弱监督方法允许标注者对一幅图像只提供图像级别的标签，如一幅图像中是否包含某个物体(如肝脏)，而不用提供该物体的具体位置信息，可大大减少标注成本。然而，不同病人的腹部医学图像中往往都含有肝脏，仅靠图像级别的标签难以获取目标的准确位置，这类方法的精度受到很大限制。自监督方法是一种特殊的半监督方法，该方法在无标注的数据上先通过辅助任务的学习，再通过一部分标注数据，将学习能力迁移到目标任务上。无监督算法在训练阶段无需人工标注，一般通过对训练数据聚类，以找到数据中的分布模式，然而由于监督信号的缺乏，该方法也难以取得满意的性能。
[0005]对目前的这些降低医学图像的标注成本的方法进行考察发现，尽管半监督、弱监督方法可以显著减少图像的标注量，但他们的标注量仍然巨大，未完全降低图像的标注成本。而现有的基于聚类的无监督方法在缺少监督的情况下性能受到很大限制，难以用于实际场景。此外，经典的模板匹配方法也是一种标注成本低的方法，该方法通过一个标注的模板，在目标图像中进行遍历搜索，找到与模板最相似的一块区域作为定位、检测结果，虽然该方法简便易行，但遍历操作十分耗时，且性能十分取决于相似性的定义，在医学图像中关键点定位的应用中，也难以取得稳定的效果。为此，需要更有效的方法来实现在不利用图像数据的标注的情况下，得到较高精度的关键点定位的结果。

技术实现思路

[0006]本专利技术的目的在于克服现有三维医学图像中关键点定位和目标检测算法的不足，
针对现有基于深度学习的目标检测方法依赖人工标注的问题，提出一种无监督的高性能关键点定位算法。该方法在训练阶段无需对目标关键点进行任何类型的标注，并且在推理阶段可以通过单个含标注的参考图像来定位其他图像中的目标关键点。本专利技术提出一种自监督学习任务，在无标注的数据上，通过一个神经网络学习同一幅三维医学图像中任意两个图像块的相对位置。在预测阶段，利用参考图像中所标注的关键点，应用该神经网络预测目标图像中该点的对应的位置。本专利技术还提出了一种由粗到细的框架，可以通过多次移动定位位置与多次选取初始化位置来进一步提高性能。在关键点定位的基础上，本专利技术可以进一步定位三维图像中物体在各个坐标轴方向的极端点，从而实现目标物体的检测。
[0007]本专利技术技术方案为一种医学图像中无监督的关键点定位方法，该方法包括：
[0008]步骤1：训练数据和参考图像的收集
[0009]收集一批包含该目标的三维医学图像，从这些图像中选择一个或多个作为参考图像；
[0010]步骤2：位移网络的搭建
[0011]设在训练集中的一幅三维图像中，x
q
与x
s
表示大小为D
×
H
×
W的两块子区域，其中x
q
称为查询图像块，x
s
称为参考图像块，D,H和W分别表示该三维图像块在z,y和x方向上的大小；设x
q
与x
s
的中心点分别为c
q
和c
s
，使用一个位移网络来预测从x
q
的中心点c
q
到x
s
的中心c
s
在三维空间中的物理位移；c
q
到x
s
的真实位移通过图像的层间距e、c
q
与c
s
在图像中的坐标计算得到：
[0012][0013]其中‖
·
‖2表示向量的L2范数，表示向量对应元素相乘；
[0014]设位移网络的参数为θ，其预测结果表示为d
qs
＝f(θ；x
q
,x
s
)，该位移网络预测结果的损失函数L
p
为：
[0015][0016]步骤3：位移网络的训练
[0017]对位移网络针对大尺度和小尺度分别训练一个模型，分别用于粗略定位和精细定位，这两个模型分别记为位移网络
‑
L和位移网络
‑
S；
[0018]训练位移网络
‑
L的过程如下：将公式3中的参数r设置成一个大于设定阈值的数r＝r0，例如三维图像中任意两个像素间的最远物理距离；从同一幅训练图像中的整个图像范围内随机抽取两个大小为D
×
H
×
W的图像块组成一对图像块，设每次迭代过程的一个批次包含随机提取P对图像块，其中第i对的两个图像块分别表示为x
qi
和x
si
，该批次的损失函数为：
[0019][0020]其中L
p
的定义如公式2所示，利用公式4中的损失函数迭代训练，直到损失函数收敛；
[0021]针对位移网络
‑
S的训练过程与位移网络
‑
L的训练过程类似，不同的是采用局部范围内的图像块进训练：将公式3中的参数r设置成一个小于设定阈值的数r＝r1，从同一幅训练图像中的局部范围内随机抽取两个大小为D
×
H
×
W的图像块组成一对图像块，具体操作
为：先从整个图像范围内随机选择一个D
×
H
×
W的图像块作为x
qi
，再随机选择一个与x
qi
的距离小于r1的同样大小的图像块作为x
si
；在每次迭代过程中的一个批次包含P对这样的图像块，然后利用公式4中的损失函数进行迭代更新，直到损失函数收敛，从而得到训练好的位移网络
‑
S模型；训练后的位移网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学图像中无监督的关键点定位方法，该方法包括：步骤1：训练数据和参考图像的收集收集一批包含该目标的三维医学图像，从这些图像中选择一个或多个作为参考图像；步骤2：位移网络的搭建设在训练集中的一幅三维图像中，x
q
与x
s
表示大小为D
×
H
×
W的两块子区域，其中x
q
称为查询图像块，x
s
称为参考图像块，D,H和W分别表示该三维图像块在z,y和x方向上的大小；设x
q
与x
s
的中心点分别为c
q
和c
s
，使用一个位移网络来预测从x
q
的中心点c
q
到x
s
的中心c
s
在三维空间中的物理位移；c
q
到x
s
的真实位移通过图像的层间距e、c
q
与c
s
在图像中的坐标计算得到：其中‖
·
‖2表示向量的L2范数，
°
表示向量对应元素相乘；设位移网络的参数为θ，其预测结果表示为d
qs
＝f(θ；x
q
,x
s
)，该位移网络预测结果的损失函数L
p
为：步骤3：位移网络的训练对位移网络针对大尺度和小尺度分别训练一个模型，分别用于粗略定位和精细定位，这两个模型分别记为位移网络
‑
L和位移网络
‑
S；训练位移网络
‑
L的过程如下：将公式3中的参数r设置成一个大于设定阈值的数r＝r0，从同一幅训练图像中的整个图像范围内随机抽取两个大小为D
×
H
×
W的图像块组成一对图像块，设每次迭代过程的一个批次包含随机提取P对图像块，其中第i对的两个图像块分别表示为x
qi
和x
si
，该批次的损失函数为：其中L
p
的定义如公式2所示，利用公式4中的损失函数迭代训练，直到损失函数收敛；针对位移网络
‑
S的训练过程与位移网络
‑
L的训练过程类似，不同的是采用局部范围内的图像块进训练：将公式3中的参数r设置成一个小于设定阈值的数r＝r1，从同一幅训练图像中的局部范围内随机抽取两个大小为D
×
H
×
W的图像块组成一对图像块，具体操作为：先从整个图像范围内随机选择一个D
×
H
×
W的图像块作为x
qi
，再随机选择一个与x
qi
的距离小于r1的同样大小的图像块作为x
si
；在每次迭代过程中的一个批次包含P对这样的图像块，然后利用公式4中的损失函数进行迭代更新，直到损失函数收敛，从而得到训练好的位移网络
‑
S模型；训练后的位移网络
‑
L和位移网络
‑
S的模型参数分别记为θ0和θ1；步骤4：基于位移网络位
‑
L和位移网络
‑
S的关键点定位对于一幅参考图像中给定的关键点，以该点为中心，取大小为D
×
H
×
W的图像块作为参考图像块x
′
s
；对于一幅新图像，通过位移网络
‑
L和位移网络
‑
S由粗到细逐渐找到该图像中对应的关键点的位置c
q
，具体过程如下：a)从当前的待处理图像中选取一个初始位置c0，以c0为中心取一个大小为D
×
H...

【专利技术属性】
技术研发人员：王国泰，雷文辉，许伟，顾然，张少霆，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：