一种基于Mask RCNN的医学图像中脊柱自动定位方法技术

本发明专利技术提出一种基于Mask RCNN的医学图像中脊柱自动定位方法，该方法利用Mask RCNN网络作为脊柱自动定位模型，并在FasterRCNN的最后一层增加一个用于提取倾角的卷积输出支路；用添加了椎体包络框像素坐标、椎体倾角、Mask分类信息的脊柱椎体矢状面CT图像作为训练样本训练脊柱自动定位模型；利用训练好的脊柱自动定位模型预测新输入的脊柱椎体矢状面CT图像中椎体包络框的像素坐标、椎体的中心和倾角。采用本发明专利技术所述方法可以实现脊柱自动定位并识别每个椎体的包络框的像素坐标和倾角。

【技术实现步骤摘要】
一种基于MaskRCNN的医学图像中脊柱自动定位方法
本专利技术涉及脊柱自动定位技术，尤其是一种基于于MaskRCNN的医学图像中脊柱自动定位方法。
技术介绍
近些年CT系统凭借着优秀的图像质量，快速的成像速度，在医学领域有着越来越广泛的应用。CT系统利用精确准直的X射线与灵敏度极高的探测器接收透过人体的信号，扫描采集的数据经过图像重建算法形成断层图像。CT图像在临床上有着广泛的应用，近年来随着多层螺旋CT技术的发展，探测器的排数已经从开始的4排，64排，一直到现在的256排CT。这随之而来带来了海量的数据需要医生来解读，所以计算机辅助分析的工作就变得非常重要。比如在CT对脊柱的扫描中，通常会扫描一个脊柱的定位像，然后一般医生会手动框选每个脊柱的位置和方向，以便于CT系统对各个脊柱沿着脊柱的方向进行扫描。再比如，在脊柱整形外科中，通常需要医生辨别每个脊柱的位置，并按照每个脊柱的空间方向重新生成断层图像，进而诊断病人的脊柱的健康状况，在这个过程中通常需要人工来判读比如弯曲程度和弯曲方向等等信息。目前的大多数系统中都是基于医生的人工阅片，手动判别每个椎体的范围，位置，和方向。由于人体一共有，33块椎骨，如果全部采用人工标注，会严重影响阅片效率，阅片医生的工作强度大，而且会由于主观的误差存在标记不一致的问题。而且人工阅片通常是通过不同方向的二维视图，很难准确全面的判别三维的空间角度。虽然目前也有自动分割椎骨的方法，但是这些方法也仅仅是分割整个椎体的区域，还不能直接给出脊柱的和椎体的空间位置关系，最后椎体的方向和位置还需要人工来判读。比如专利201711299213.9提出一种脊柱X线影像的数据处理方法，该方法是针对多个方向的X线的平片图像进行脊柱的识别，无法实现对三维CT扫描图像的自动识别。申请201711315308.5提出一种基于主动轮廓模型的脊柱CT图像自动定位分割方法，该方法能够自动定位椎骨中心和分割初始轮廓位置，进而可以对椎骨进行自动分割，但不能提供每个脊柱的位置和方向等空间位置信息。
技术实现思路
专利技术目的：为弥补现有技术的空白，本专利技术提出一种基于于MaskRCNN的医学图像中脊柱自动定位方法，可以实现脊柱自动定位并识别每个椎体的包络框的像素坐标、椎体的中心和倾角。技术方案：为实现上述目的，本专利技术提出一种基于MaskRCNN的医学图像中脊柱自动定位方法，包括步骤：(1)构建训练样本：选取脊柱椎体矢状面CT图像，为各个图像添加椎体的包络框的像素坐标、倾角、Mask分类信息，得到训练样本；(2)利用MaskRCNN网络作为脊柱自动定位模型，并在FasterRCNN的最后一层增加一个用于提取倾角的卷积输出支路，即构建好的脊柱自动定位模具有三个卷积输出支路，第一个支路输出候选区域的相关参数，第二个支路输出候选区域为目标的概率值，第三个支路输出候选区域中的倾角值；(3)利用训练样本训练脊柱自动定位模型；(4)将新获取的脊柱椎体矢状面CT图像输入训练好的脊柱自动定位模型，得到得到椎体包络框的像素坐标和椎体的倾角。具体的，训练好的脊柱自动定位模型包括特征提取网络、Mask分支网络、区域生成网络rpn和目标检测器fast-rcnn；其中，特征提取网络提取原始图像的卷积特征图；Mask分支网络对输入的原始图像进行骨骼粗提取，得到骨骼mask图；卷积特征图和骨骼mask图经过一个1×1的卷积核进行卷积后，生成新的卷积特征图；新的卷积特征图送入区域生成网络，区域生成网络生成椎体包络框候选区域；目标检测器fast-rcnn中的ROI池化层对椎体包络框候选区域和新的卷积特征图进行ROI池化，得到相同大小的特征图和各个特征图的特征信息，然后将特征信息输入到三个输出全连接层进行回归、分类和倾角提取，得到椎体包络框的像素坐标和倾角。具体的，所述MaskRCNN网络的损失函数为：Lfastrcnn(Imgin)＝Lconf+LlocLAng(Angn)＝(Angj(n)-AngPredn)2其中，Imgin表示输入图像，Lfastrcnn(Imgin)为输入图像Imgin的定位框误差，N为网络预设的预测定位框的总数，j(n)表示某一预测定位框n所对应的真正的椎体定位框的索引，β为权重系数，LAng(Angn)表示第n个椎体的实际角度与预测角度之间的角度差异，式中，Angj(n)表示第n个椎体的实际角度，AngPredn表示第n个椎体的预测角度；Lconf为定位框的类别误差损失函数，表达式为：Lloc为定位框的坐标损失函数，表达式为：其中，Lconf(x，c)表示定位框x为真正的椎体定位框j的损失，cn，j表示softmax层的输入，为softmax层的输出；l表示网络预测的定位框的位置(cx，cy)和尺寸信息(w，h)，(cx，cy)表示预测定位框左上角坐标，w表示预测定位框的宽度，h表示预测定位框的高，为预测的定位框的中心位置坐标，表示预测的定位框的宽度，表示预测的定位框的高度；g表示预测框所对应的真实定位框的位置和尺寸信息为真实的定位框的中心位置坐标，为真实的定位框的宽度，为真实的定位框的高度。有益效果：与现有技术相比，本专利技术具有以下优势：本专利技术通过构建一个MaskRCNN神经网络，自动识别出每个椎体的包围框和空间方位角等信息，为医生的诊断提供辅助分析。由于是自动分析识别，整个过程几乎不需要医生过多干预，能够大幅度提高医生诊断的工作效率。附图说明图1所示为本专利技术构建的脊柱自动定位模型图；图2为本专利技术涉及的新的卷积特征图生成原理的示例性框图；图3为训练好的脊柱自动定位模型的输入图像、输出图像对比图。具体实施方式下面结合附图和具体实施例对本专利技术作更进一步的说明。本专利技术提出了一种基于MaskRCNN的医学图像中脊柱自动定位方法，包括步骤：(1)构建训练样本：选取脊柱椎体矢状面CT图像，为各个图像添加椎体的包络框的像素坐标、倾角、Mask分类信息，得到训练样本；(2)利用MaskRCNN网络作为脊柱自动定位模型，并在FasterRCNN的最后一层增加一个用于提取倾角的卷积输出支路，即构建好的脊柱自动定位模具有三个卷积输出支路，第一个支路输出候选区域的相关参数，第二个支路输出候选区域为目标的概率值，第三个支路输出候选区域中的倾角值；(3)利用训练样本训练脊柱自动定位模型；(4)将新获取的脊柱椎体矢状面CT图像输入训练好的脊柱自动定位模型，得到得到椎体包络框的像素坐标和椎体的倾角。如图1示出了根据本专利技术的基于MaskRCNN的医学图像中脊柱自动定位方法的实施例所涉及的MaskRCNN神经网络示意性框图，构建好的MaskRCNN神经网络如图1所示，包括特征提取网络、Mask分支网络、区域生成网络rpn本文档来自技高网...

【技术保护点】
1.一种基于Mask RCNN的医学图像中脊柱自动定位方法，其特征在于，包括步骤：/n(1)构建训练样本：选取脊柱椎体矢状面CT图像，为各个图像添加椎体的包络框的像素坐标、倾角、Mask分类信息，得到训练样本；/n(2)利用Mask RCNN网络作为脊柱自动定位模型，并在FasterRCNN的最后一层增加一个用于提取倾角的卷积输出支路，即构建好的脊柱自动定位模具有三个卷积输出支路，第一个支路输出候选区域的相关参数，第二个支路输出候选区域为目标的概率值，第三个支路输出候选区域中的倾角值；/n(3)利用训练样本训练脊柱自动定位模型；/n(4)将新获取的脊柱椎体矢状面CT图像输入训练好的脊柱自动定位模型，得到得到椎体包络框的像素坐标和椎体的倾角。/n

【技术特征摘要】
1.一种基于MaskRCNN的医学图像中脊柱自动定位方法，其特征在于，包括步骤：
(1)构建训练样本：选取脊柱椎体矢状面CT图像，为各个图像添加椎体的包络框的像素坐标、倾角、Mask分类信息，得到训练样本；
(2)利用MaskRCNN网络作为脊柱自动定位模型，并在FasterRCNN的最后一层增加一个用于提取倾角的卷积输出支路，即构建好的脊柱自动定位模具有三个卷积输出支路，第一个支路输出候选区域的相关参数，第二个支路输出候选区域为目标的概率值，第三个支路输出候选区域中的倾角值；
(3)利用训练样本训练脊柱自动定位模型；
(4)将新获取的脊柱椎体矢状面CT图像输入训练好的脊柱自动定位模型，得到得到椎体包络框的像素坐标和椎体的倾角。


2.根据权利要求1所述的一种基于MaskRCNN的医学图像中脊柱自动定位方法，其特征在于，训练好的脊柱自动定位模型包括特征提取网络、Mask分支网络、区域生成网络rpn和目标检测器fast-rcnn；其中，
特征提取网络提取原始图像的卷积特征图；
Mask分支网络对输入的原始图像进行骨骼粗提取，得到骨骼mask图；
卷积特征图和骨骼mask图经过一个1×1的卷积核进行卷积后，生成新的卷积特征图；
新的卷积特征图送入区域生成网络，区域生成网络生成椎体包络框候选区域；
目标检测器fast-rcnn中的ROI池化层对椎体包络框候选区域和新的卷积特征图进行ROI池化，得到相同大小的特征图和各个特征图的特征信息，然后将特征信息输入到三个输出全连接层进行回归、分类和倾角提取，得到椎体包络框的像素坐标和倾角。
...

【专利技术属性】
技术研发人员：曾凯，
申请(专利权)人：南京安科医疗科技有限公司，
类型：发明
国别省市：江苏;32