一种医学影像中解剖特征自动识别与模型重建方法技术

本发明专利技术涉及医学影像智能分析技术领域，提供了一种医学影像中解剖特征自动识别与模型重建方法,包括：S1：将二维影像输入分割网络进行预测，输出二维影像对应的预测结果图；S2：对预测结果图中分割出的每一个解剖结构进行形态分析，提取关键点的位置和轮廓线；S3：读取轮廓线，与形状模型进行对比，当形状模型模拟出的投影轮廓与轮廓线相近时，当前形状模型即为对真实的解剖结构的重建；S4：使用至少两张不同视角上的二维影像，执行上述步骤S1‑S3，即可以重建出解剖结构的三维模型。上述技术方案能够自动识别二维影像的解剖特征点和轮廓线，并能够通过至少两张不同视角上的二维影像，重建出最佳的三维模型。

【技术实现步骤摘要】
一种医学影像中解剖特征自动识别与模型重建方法
本专利技术涉及医学影像智能分析
，尤其涉及一种医学影像中解剖特征自动识别与模型重建方法。
技术介绍
包括高精度的X-ray影像在内的二维影像是临床诊断和科学研究中非常重要的影像参考依据。借助于正位二维影像，医生通过手动圈选一些解剖关键点和轮廓线，可以定量的计算一些关节角度，关节距离，执行对齐分析，从而为假体置换手术提供术前规划，为术后评估效果提供数值依据。但是，在图像上大量手动标记关键点和线，对医生来说是极大的负担，基于手动标记的结果的计算，也非常耗时耗力，容易出错。若能设计一种算法实现上述过程的自动化，将大大的减少医生的负担。如图1所示，在现有技术中对二维影像进行分割，一般包括两个步骤关键点检测和形状约束。输入一幅图像后，首先检测出轮廓线上预定的一些关键点位置，然后我们将检测出的关键点作为形状模型的约束因子，用统计形状模型预测出轮廓线的位置和形状。这样的策略是一种级联结构，最主要的问题是前一步的输出会影响第二步的结果，即第一步的关键点预测如果稍有偏差，那么最后输出的形状将会有较大的误差。进一步地，由于二维影像是单一方向的影像，会压缩投影方向的深度信息，因此二维影像必然存在信息丢失的问题，基于二维影像的测算结果也只是三维空间真实信息的简化。但是，医生还是非常愿意了解真实的三维空间下，关节间的角度距离关系，或是关节轮廓线曲率与重力线的关系。在现有的处理方法中，若需要获取到相对精准的三维影像，需要对患者进行CT扫描，但是，CT机比较庞大，不适用于手术室等场合，且拍摄一次CT影像的放射量巨大，不适用于类似于手术中的需要多次扫描的应用场景，若能够通过二维影像直接重建出三维影像，将给医生带来极大的便利性。事实上，在二维平面识别关键点和轮廓线与三维重建问题联系非常紧密，正确识别的轮廓线和关键点是一个好的三维重建算法的重要输入，所以如果能开发一套计算机算法，能够自动的识别关键点和轮廓线，并以此为基础重建三维模型，完全不需要用户的介入，那么其将在临床上具有重大的价值。但是现在的主要问题有：(1)主流的算法研究往往集中于二维平面识别关键点与三维重建两个问题中的一个，并未探究联立情况下，最终重建模型的效果。(2)一些算法研究使用体膜的影像数据，这类影像比真实骨骼更少受到噪声影像，更加干净清晰，处理起来更加简单，但是影像本身的失真性决定了算法的局限。(3)大部分算法研究均是针对于单一骨头进行特征识别与重建，泛用性和覆盖性不足。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种医学影像中解剖特征自动识别与模型重建的方法，能够自动识别二维影像上的解剖特征点和轮廓线，并能够通过至少两张不同视角上的二维影像，重建出最佳的三维模型。尤其适合于在骨科的临床研究中占比比较高的下肢的识别与三维重建，能够完美覆盖下肢的股骨、胫骨、腓骨，具有较强的临床实用性。本专利技术的上述专利技术目的是通过以下技术方案得以实现的：一种医学影像中解剖特征自动识别与模型重建方法，包括以下步骤：S1：将待分割的二维影像输入分割网络进行预测，事先约定所要识别的解剖结构种类，对输入的所述二维影像的每一个像素作分类预测，形成预测结果图，其中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的；S2：对所述预测结果图中分割出的每一个解剖结构进行形态分析，使用图像处理算法提取出解剖结构中关键点的位置，并提取出解剖结构的边界像素作为解剖结构的轮廓线；S3：读取所述轮廓线，与使用不同权重因子生成的多组形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，其中，所述形状模型的生成需要依赖于一个基于CT人工重建的模型数据库；S4：使用至少两张不同视角上的所述二维影像，执行上述步骤S1-S3，即可以重建出解剖结构的三维模型。进一步地，在步骤S1中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的，具体的训练过程为：针对于所述二维影像中不同的解剖结构设置不同的标签；使用像素标注工具，根据不同的解剖结构，为收集到的每一张二维影像中的每个像素打上不同的标签，并对每一种不同的标签以不同颜色的图层覆盖在像素上，形成以不同的颜色来表示每一个像素所属的解剖结构种类的二维标注图像；对所述二维标注图像的数据集进行归类，并以此划分训练集和验证集，所述训练集用于训练神经网络，形成所述分割网络，所述验证集用于训练网络面对未知数据的表现。进一步地，对所述二维标注图像的数据集进行归类，具体为：检查所述二维标注图像的图像质量，根据图像的清晰度分为包括清晰、一般、模糊在内的多种类型，将每一张所述二维标注图像进行归类；对于每一种清晰度的所述二维标注图像，随机抽取部分图像加入所述训练集，剩余的加入验证集；使用所述训练集中的所述二维标注图像进行训练，生成所述分割网络；使用所述验证集中的所述二维标注图像对所述分割网络进行验证。进一步地，在步骤S1中，还包括对所述预测结果图进行处理，具体为：对所述预测结果图进行去噪处理，对除了背景类之外的所有的解剖结构种类，对所有被归类为此类别的像素进行连通性分析，若分析出多个连通区域，寻找并保留最大的连通区域，去除其他的连通区域；对连通区域使用形态学运算去除小的锯齿点，作为最终的所述预测结果图。进一步地，在步骤S3中，所述形状模型具体的生成过程为：针对于收集到的每一个三维影像，重建出每一种解剖结构的结构模型，形成每一种解剖结构特有的结构模型数据库；对每一个结构模型按照标准采样模型进行重采样，使得不同人重建的结构模型能归一化到一标准形状模型；将每一个结构模型的所有节点的坐标组成一用于描述结构模型的节点向量，对每一个解剖结构对应的所有的结构模型的节点向量构建协方差矩阵，并计算所述协方差矩阵的特征值和特征向量；使用每一个解剖结构的所有的结构模型计算得到的平均模型与特征值和特征向量，使用不同的权重因子生成所述形状模型。进一步地，对每一个结构模型按照标准采样模型进行重采样，具体的步骤为：对结构模型的每一部分使用半球拟合的形式进行重采样，从半球拟合的球心发出射线与对应部分的表面面片进行相交，相交的交点即为一个重采样节点。进一步地，将每一个结构模型的所有节点的坐标组成一用于描述结构模型的节点向量，对每一个解剖结构对应的所有的结构模型的节点向量构建协方差矩阵，并计算所述协方差矩阵的特征值和特征向量，具体为：将每一个结构模型的所有节点坐标组成一(3*n,1)维的向量；对每一个解剖结构对应的所有的结构模型的节点向量构建所述协方差矩阵：其中，p为解剖结构对应的结构模型的数量，n为每一个结构模型的节点数量，Si为一个结构模型的向量表达，为所有的结构模型的所述平均模型；对所述协方差矩阵本文档来自技高网...

【技术保护点】
1.一种医学影像中解剖特征自动识别与模型重建方法，其特征在于，包括以下步骤：/nS1：将待分割的二维影像输入分割网络进行预测，事先约定所要识别的解剖结构种类，对输入的所述二维影像的每一个像素作分类预测，形成预测结果图，其中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的；/nS2：对所述预测结果图中分割出的每一个解剖结构进行形态分析，使用图像处理算法提取出解剖结构中关键点的位置，并提取出解剖结构的边界像素作为解剖结构的轮廓线；/nS3：读取所述轮廓线，与使用不同权重因子生成的多组形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，其中，所述形状模型的生成需要依赖于一个基于CT人工重建的模型数据库；/nS4：使用至少两张不同视角上的所述二维影像，执行上述步骤S1-S3，即可以重建出解剖结构的三维模型。/n

【技术特征摘要】
1.一种医学影像中解剖特征自动识别与模型重建方法，其特征在于，包括以下步骤：
S1：将待分割的二维影像输入分割网络进行预测，事先约定所要识别的解剖结构种类，对输入的所述二维影像的每一个像素作分类预测，形成预测结果图，其中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的；
S2：对所述预测结果图中分割出的每一个解剖结构进行形态分析，使用图像处理算法提取出解剖结构中关键点的位置，并提取出解剖结构的边界像素作为解剖结构的轮廓线；
S3：读取所述轮廓线，与使用不同权重因子生成的多组形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，其中，所述形状模型的生成需要依赖于一个基于CT人工重建的模型数据库；
S4：使用至少两张不同视角上的所述二维影像，执行上述步骤S1-S3，即可以重建出解剖结构的三维模型。


2.根据权利要求1所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，在步骤S1中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的，具体的训练过程为：
针对于所述二维影像中不同的解剖结构设置不同的标签；
使用像素标注工具，根据不同的解剖结构，为收集到的每一张二维影像中的每个像素打上不同的标签，并对每一种不同的标签以不同颜色的图层覆盖在像素上，形成以不同的颜色来表示每一个像素所属的解剖结构种类的二维标注图像；
对所述二维标注图像的数据集进行归类，并以此划分训练集和验证集，所述训练集用于训练神经网络，形成所述分割网络，所述验证集用于训练网络面对未知数据的表现。


3.根据权利要求2所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，对所述二维标注图像的数据集进行归类，具体为：
检查所述二维标注图像的图像质量，根据图像的清晰度分为包括清晰、一般、模糊在内的多种类型，将每一张所述二维标注图像进行归类；
对于每一种清晰度的所述二维标注图像，随机抽取部分图像加入所述训练集，剩余的加入验证集；
使用所述训练集中的所述二维标注图像进行训练，生成所述分割网络；
使用所述验证集中的所述二维标注图像对所述分割网络进行验证。


4.根据权利要求1所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，在步骤S1中，还包括对所述预测结果图进行处理，具体为：
对所述预测结果图进行去噪处理，对除了背景类之外的所有的解剖结构种类，对所有被归类为此类别的像素进行连通性分析，若分析出多个连通区域，寻找并保留最大的连通区域，去除其他的连通区域；
对连通区域使用形态学运算去除小的锯齿点，作为最终的所述预测结果图。


5.根据权利要求1所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，在步骤S3中，所述形状模型具体的生成过程为：
针对于收集到的每一个三维影像，重建出每一种解剖结构的结构模型，形成每一种解剖结构特有的结构模型数据库；
对每一个结构模型按照标准采样模型进行重采样，使得不同人重...

【专利技术属性】
技术研发人员：朱哲敏，蔡宗远，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31