【技术实现步骤摘要】
本专利技术属于医学影像，具体而言，涉及一种二维医学影像的三维联动式测量方法、介质及系统。
技术介绍
1、随着医疗影像设备的不断发展，医学影像技术在临床诊断和治疗中的应用越来越广泛。目前，主流的医学成像方式包括x射线影像(x-ray)、计算机断层扫描(ct)、磁共振成像(mri)等。通过这些成像技术，医生能够获取人体内部结构的精细影像信息，为疾病诊断和手术规划提供重要的依据。在临床实践中，医生通常需要同时分析二维影像和三维解剖结构信息。二维影像如ct或mri切片能够提供高分辨率的结构细节，但缺乏整体的三维空间感知。而三维模型则能直观展现人体器官的全貌，但往往难以显示出精细的病理特征。因此，二维和三维信息的互补结合就显得尤为重要。在临床实践中，医生可以通过医学影像的交互式测量技术获取影像中更多有用的信息，这项技术在临床诊断及手术中发挥着重要的应用。vtk是一款集计算机图形、图像处理和可视化为一体的软件开发工具，利用vtk可以直接实现在二维影像上的各种测量。然而单单在二维图像中进行测量不够直观，因此医学影像的三维可视化技术也给临床诊断带来了极大的便利，而在三维模型视图中实现直接测量时容易产生位置拾取时的视觉上的误差，因此实现一种由二维影像到三维模型的联动式测量方案可以为医生获取更加准确的诊断结果提供工具，提高手术精度。
2、然而，现有技术在实现二维影像与三维模型的精确融合方面存在一些挑战。一方面，由于医学影像通常存在噪声、伪影等干扰因素，需要对原始影像数据进行适当的预处理，以获得高质量的目标影像。另一方面，二维切片影像和三
3、为解决上述问题，目前的一些商业和学术解决方案提出了若干尝试，但均存在一定的不足。一种常见做法是人工标注影像和三维模型之间的对应关系，但这种方式费时费力，且难以保证精度。另一种方案是通过算法自动配准影像和模型，但复杂的几何变换使得计算代价很高，并且可能需要大量的人工干预。此外，现有技术在二维和三维测量的一致性方面也存在缺陷，无法同步反映出测量标记在不同视图中的位置变化。
4、综上所述，现有技术在进行二维三维联动测量时，由于存在二维影像与三维模型的难以精确融合，导致二三维联动式测量不够精确。
技术实现思路
1、有鉴于此，本专利技术提供一种二维医学影像的三维联动式测量方法、介质及系统，能够解决现有技术在进行二维三维联动测量时，由于存在二维影像与三维模型的难以精确融合，导致二三维联动式测量不够精确的技术问题。
2、本专利技术是这样实现的：
3、本专利技术的第一方面提供一种二维医学影像的三维联动式测量方法，其中，包括以下步骤：
4、s10、实时获取一组经过图像预处理的二维医学影像数据在二维视图中进行显示，并采用预先训练好的去伪影模型进行去伪影操作得到目标二维医学影像数据，根据所述目标二维医学影像数据重建三维模型，所述三维模型在三维视图中进行显示，所述三维视图具有设定好的三维空间；
5、s20、获取当前二维视图中显示的图像作为第一二维图，获取所述三维模型的全景展开二维图，作为第二二维图；
6、s30、采用预先训练好的解剖结构模型，输入所述第一二维图以及所述第二二维图，得到所述第一二维图映射到所述第二二维图的映射矩阵；
7、s40、将所述一二维图根据所述映射矩阵，以及所述第二二维图和所述三维模型的映射关系，将所述第一二维图叠加显示到所述三维模型对应的位置，实现二维视图和三维视图的位置校验；
8、s50、在所述二维视图中添加直线或角度等测量标记，并记录所述测量标记对应的切面位置和法向量；
9、s60、根据所述记录的切面位置和法向量信息，计算出所述测量标记在所述三维空间中的位置和方向，并在所述三维视图中实时渲染显示所述测量标记；
10、s70、当在所述二维视图中调整所述测量标记的位置时，根据所述二维视图的位置和法向量信息更新所述三维视图中对应测量标记的位置；
11、s80、切换到之前已添加测量标记所在的切面时，根据所记录的切面位置和法向量信息判断是否显示之前添加的测量标记。
12、所述去伪影模型的建立和训练步骤包括:获取包含大量成对的带伪影ct影像和对应无伪影影像的训练数据集,对带伪影影像进行数据增强如旋转、平移、缩放等操作以增加数据量,并对成对影像进行适当的裁剪和归一化预处理;将带伪影影像作为输入,无伪影影像作为监督输出,构建编码器-解码器网络结构,编码器采用卷积神经网络将输入影像编码为低维特征向量,解码器通过上采样、逐层解卷积等操作将编码器输出的特征向量解码为无伪影影像输出,在解码过程中引入金属痕迹注意力机制等模块以增强模型表达能力;以像素值差的平方损失、psnr或ssim等无参考或全参考图像质量指标作为损失函数的一部分,通过反向传播算法和优化策略如adam对网络参数进行训练,并采用合理的学习率调度、参数初始化等实践技巧确保模型稳定收敛;在保留的测试集上评估模型性能,当psnr值高于40db、ssim值高于0.95时则认为去伪影效果良好,可将训练好的模型应用于实际场景中去除ct影像中的金属伪影。
13、所述解剖结构模型的建立和训练步骤包括:获取包含成对的二维医学影像和对应三维解剖模型的训练数据集,对原始数据进行预处理如去除遮挡、标记病变区域、数据增强等,将二维影像作为输入,三维模型作为监督输出;构建编码器-解码器网络结构,编码器采用卷积神经网络、注意力机制等模块提取输入影像的特征并编码为低维向量,解码器采用三维卷积神经网络或三维变分自编码器将编码器输出的特征向量解码为三维体数据输出,并在解码过程中引入基于图的形状模板等先验知识约束以确保生成模型的解剖合理性;以生成的三维模型与目标三维模型之间的相似性作为损失函数,相似性度量采用无参考或全参考的三维图像评价指标如峰值信噪比、结构相似度等,也可加入基于特征或语义的损失函数;通过反向传播算法对网络参数进行更新,训练过程中采用数据并行、模型并行、迁移学习、预训练等策略,在多gpu上并行加速模型收敛;在保留的测试集上评估模型性能,若满意则可将训练好的模型应用于二三维映射场景,无需人工干预即可自动从二维影像中重建出相应的三维解剖模型,为临床诊断和手术规划提供支持。
14、进一步的，所述解剖结构映射模块在训练过程中引入基于特征的损失函数，将预测输出与目标输出的特征图作差值约束，以提高模型的特征表达能力。
15、所述去本文档来自技高网...
【技术保护点】
1.一种二维医学影像的三维联动式测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述预处理的方法包括去噪、灰度变换、对比度增强。
3.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述S20的具体步骤包括：从当前二维视图中获取显示的图像，作为第一二维图；对之前重建的三维模型进行全景展开，即将三维模型的表面采用球面参数化的方式映射到二维平面，其中将每个顶点的坐标(x，y，z)映射到球面上的一个点(θ，φ)，θ为方位角，φ为俯仰角，再将该球面展开到二维平面，获得第二二维图。
4.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述S30的具体步骤包括：使用基于大量医学影像和对应三维模型训练得到的解剖结构模型，将第一二维图和第二二维图作为输入，所述解剖结构模型为编码器-解码器结构，编码器将输入影像编码为低维特征向量，解码器将该特征向量解码为与目标三维模型平面展开图相同尺寸的输出，并将预测输出与目标输出之间的平均像素差作为损失函数进行训练，当损
5.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述S40的具体步骤包括：遍历第一二维图中的每个像素点，根据步骤S30得到的映射矩阵计算出该像素点在第二二维图中的对应位置，由于第二二维图是通过全景展开三维模型获得的，因此可以顺次确定该位置在三维模型表面的对应三维坐标，将第一二维图中的像素值赋予该三维坐标对应的体素，实现第一二维图在三维模型中的叠加显示，对于存在遮挡或缺失区域，进行内外插值补全。
6.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述S50的具体步骤包括：在二维视图中添加直线或角度测量标记，并记录下所述测量标记所在的切面位置，对于直线测量标记，记录起点和终点在切面上的坐标以及切面法向量，对于角度测量标记，记录三个定义点在切面上的坐标以及切面法向量，如果测量标记跨越多个切面，分别记录每个切面上的相应信息。
7.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述S60的具体步骤包括：根据步骤S50记录的切面位置和法向量信息，将直线测量标记中的二维起点和终点坐标分别与切面法向量合并，映射到三维空间中的两个三维点，连接这两个三维点即得到该直线在三维空间中的渲染形式；对于角度测量标记，将定义点的二维坐标与切面法向量合并，映射为三维坐标，根据这三个三维点确定的两条线段，计算出它们的夹角作为三维显示结果；对于跨越多切面的测量标记，按上述方法分别映射每一段，并将各段连接。
8.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述S70的具体步骤包括：当用户调整某个测量标记在二维切面上的坐标时，将该标记所在切面的位置和法向量信息与新坐标合并，重新计算该标记在三维空间中的对应位置和方向，并实时更新三维视图中标记的显示；如果该测量标记跨越多切面，确定被调整的切面段，并根据该切面信息更新该段在三维空间的几何信息，最后将更新后的线段与其他切面上的线段连接。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行权利要求1-8任一项所述的一种二维医学影像的三维联动式测量方法。
10.一种二维医学影像的三维联动式测量系统，其特征在于，包含权利要求9所述的计算机可读存储介质。
...【技术特征摘要】
1.一种二维医学影像的三维联动式测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述预处理的方法包括去噪、灰度变换、对比度增强。
3.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述s20的具体步骤包括：从当前二维视图中获取显示的图像，作为第一二维图；对之前重建的三维模型进行全景展开，即将三维模型的表面采用球面参数化的方式映射到二维平面，其中将每个顶点的坐标(x，y，z)映射到球面上的一个点(θ，φ)，θ为方位角，φ为俯仰角，再将该球面展开到二维平面，获得第二二维图。
4.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述s30的具体步骤包括：使用基于大量医学影像和对应三维模型训练得到的解剖结构模型，将第一二维图和第二二维图作为输入，所述解剖结构模型为编码器-解码器结构，编码器将输入影像编码为低维特征向量，解码器将该特征向量解码为与目标三维模型平面展开图相同尺寸的输出，并将预测输出与目标输出之间的平均像素差作为损失函数进行训练，当损失函数值低于某阈值时认为模型具有足够的映射精度，输出第一二维图映射到第二二维图的映射矩阵。
5.根据权利要求1所述的一种二维医学影像的三维联动式测量方法，其特征在于，所述s40的具体步骤包括：遍历第一二维图中的每个像素点，根据步骤s30得到的映射矩阵计算出该像素点在第二二维图中的对应位置，由于第二二维图是通过全景展开三维模型获得的，因此可以顺次确定该位置在三维模型表面的对应三维坐标，将第一二维图中的像素值赋予该三维坐标对应的体素，实现第一二维图在三维模型中的叠加显示，对于存在遮挡或缺失区域，进行内外插值补全。
6.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。