一种面向双模G臂X光机多视角X光图像三维重建方法技术

本发明专利技术公开了一种面向双模G臂X光机多视角X光图像三维重建方法,涉及医学图像处理领域，包括以下步骤：构建一个深度学习网络，利用两幅正交X光图像正位图和侧位图，进行两幅图像之间交叉引导和交叉融合，恢复X光图像表示的三维体数据。本发明专利技术可以充分利用我们的G臂X光机可以同时拍摄两幅正交X光图像的特点，利用两幅正交图像恢复出高保真的三维体数据；可以充分利用我们设备的优势，并可以有效的减少X光扫描次数，避免病人受到额外的X光辐射，降低病人的风险。低病人的风险。低病人的风险。

【技术实现步骤摘要】
一种面向双模G臂X光机多视角X光图像三维重建方法


[0001]本专利技术涉及医学图像处理领域，特别涉及一种面向双模G臂X光机多视角X光图像三维重建方法。

技术介绍

[0002]X光图像使我们能够以非侵入的方式查看人体内部解剖结构，并可以通过内部结构的变化来对病情进行诊断。但是，X光图像通过透射的方法进行成像，这样所有的组织都会投射到二维空间，导致各个器官和组在之间在X光图像上重叠。虽然骨骼清晰可见，但软组织往往难以分辨，给诊断带来不便。为了清晰的分辨人体内部各个器官的结构，大量的方法尝试利用三维重建技术从二维X光图像中恢复三维结构，以方便医务人员对病人进行诊断和制定治疗方案。断层扫描技术(Computed Tomography，CT)就是为了解决这个问题而发展起来的。虽然CT重建技术可以从X光图像中恢复高质量的三维体数据，但是CT重建需要对人体进行360度密集的全面扫描，扫描时间长、辐射剂量大，不可避免的会增加病人患癌症的风险。
[0003]基于滤波反投影重建(Filter Back Projection, FBP)和迭代重建(Iterative Reconstruction)算法也能够重建出比较精确的三维体数据。但是，他们也需要围绕病人进行数百次X光扫描才能重建出满足要求的三维体数据，所以在普通的X光机上很难实现。而且同时对一个患者拍摄大量的X光图像，对患者身体存在较多的辐射伤害，同时计算量也较大，限制了在术中的临床使用。
[0004]随着深度学习的兴起，一些方法开始尝试利用深度学习技术从多视角的X光图像中推断对应的三维体数据，并取得了比较满意的效果。但是这些方法仍然需要360度全方位密集地X光扫描才能得到令人满意的重建效果。受到神经辐射场(Neural Radiance Fields, NeRF)在三维重建中取得的成功的启发，一些方法尝试利用神经衰减场(Neural Attenuation Fields，NeAT)来对X光图像进行三维重建。但是，这些算法都需要每个视角X光图像的绝对准确位姿才能重建出高质量的三维数数据，否则他们的重建质量会大幅的下降。在术中实际扫描过程中，由于成像设备的运动、机械误差等因素，根本无法获取得到绝对准确的位姿。因此，这类算法很难直接应用到实际的X光图像三维重建中。为了减少X光扫描对病人的伤害，一些深度学习的方法尝试直接从双平面X光图像中推断三维体积数据，虽然这些方法通过数据驱动的方式可以重建出三维体数据，但是，由于 X 光图像是把体内所有的组织都透射投影到一个二维图像上，各个组织、器官以及骨骼相互重叠，很难分辨。另外，普通的C形臂X光机很难得到两张完全正交的双平面图像。大部分的方法只能在合成的数据集上进行实验。而真实X光扫描由于机械误差，噪音，病人不自主的运动等很难得到两张满足正交要求的X光图像。从而大大影响了算法的实用性和扩展性。而我们采用的G形臂X光机可以同时得到两张完全正交的X光图像，从而为我们利用两幅正交的双平面X光图像进行三维重建提供了可靠的数据源。

技术实现思路

[0005]本专利技术的目的在于克服现有技术中的不足，提供一种面向双模G臂X光机多视角X光图像三维重建方法。
[0006]为了实现上述目的，本专利技术采用以下技术方案予以实现：一种面向双模G臂X光机多视角X光图像三维重建方法, 包括以下步骤：构建一个深度学习网络，利用两幅正交X光图像正位图和侧位图，进行两幅图像之间交叉引导和交叉融合，恢复X光图像表示的三维体数据。
[0007]本专利技术的进一步技术：优选的，所述深度学习网络主要由一个双编码器
‑
3D解码器的框架组成;把两个正交的X光图像输入到两个并行的编码器中，通过多个卷积层降低输入图像的分辨率，提取多个尺度的特征，构建一个分辨率逐渐增加的特征金字塔;同时，利用交叉引导的思想对每层的特征进行交叉融合，然后，将编码器各层的交叉融合模块结果以级联的方式加入到3D解码器中，接下来，把每个交叉融合模块输出的特征连接在一起输入到3D解码其中，并经过4层的3D解码器得到X光图像对应的三维体数据。
[0008]优选的，所述交叉融合模块分为两个部分，特征融合模块和全局信息融合模块；特征融合模块主要利用通道注意力和空间注意力来提取两个正交方向X光图像信息的权重，并利用不同方向的权重图进行特征融合，然后，将两种已经经过交互的融合的特征输入到全局信息融合模块中获取上下文信息。
[0009]优选的，所述特征融合模块由两个部分组成，第一个是跨视角的特征融合模块，第二个是单视角X光图像全局特征融合模块，两个正交X光图像的信息将在编码阶段交叉融合模块内进行交叉融合，并进一步在交叉引导模块内进行交叉引导学习，在3D编码模块进行特征重组与加强；首先，把两幅正交X光图像分别输入到两个相同的卷积网络中分别进行特征抽取；为了利用两个方向的X光图像之间信息的互补性进行交叉引导，把每个特征层的抽取的不同方向X光图像的特征输入特征融合模块进行融合来得到不同尺度的正交方向X光图像的特征。
[0010]本专利技术的主要优点如下：本专利技术设计的算法可以充分利用我们的G臂X光机可以同时拍摄两幅正交X光图像的特点，利用两幅正交图像恢复出高保真的三维体数据。该方法可以充分利用我们设备的优势，并可以有效的减少X光扫描次数，避免病人受到额外的X光辐射，降低病人的风险。
附图说明
[0011]图1为本专利技术一种面向双模G臂X光机多视角X光图像三维重建方法流程框图；图2为本专利技术网络架构图；图3为本专利技术基于交叉引导的特征融合模块图；图4为本专利技术全局特征融合模块图；图5为本专利技术3D解码器的网络结构图。
具体实施方式
[0012]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体附图，进一步阐明本专利技术。
[0013]实施例1经验丰富的医生可以很容易从两幅正交的X光图像(正位图和侧位图)中判断病人的情况，并给出有效地治疗方案。由于人眼可以根据经验从两幅正交的X光图像中重建出三维结构，另外，由于深度学习网络强大的表达能力，我们拟从两个正交X 光图像重建对应的三维体数据，从而有效地减少辐射对病人身体的伤害，并提高医生的诊断效果。我们构建一个深度学习网络，利用两幅正交X光图像(正位图和侧位图)来进行交叉引导和交叉融合，从而恢复X光图像表示的三维体数据，整个网络主要由一个双编码器
‑
3D解码器的框架组成，如图1
‑
2所示。首先，把两个正交的X光图像输入到两个并行的编码器中，通过多个卷积层降低输入图像的分辨率，提取多个尺度的特征，构建一个分辨率逐渐增加的特征金字塔;同时，利用交叉引导的思想对每层的特征进行交叉融合，然后，将编码器各层的交叉融合模块结果以级联的方式加入到3D解码器中。接下来，把每个交叉融合模块输出的特征连接在一起输入到3D解码其中，并经过4层的3D解码器得到X光图像对应的三维体数据。
[0014]所述交叉融合模块分为两个部分，特征融合模块和全局信息融合模块；特征融合模块主要利用通道注意力和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向双模G臂X光机多视角X光图像三维重建方法, 其特征在于，包括以下步骤：构建一个深度学习网络，利用两幅正交X光图像正位图和侧位图，进行两幅图像之间交叉引导和交叉融合，恢复X光图像表示的三维体数据。2.根据权利要求1中所述的一种面向双模G臂X光机多视角X光图像三维重建方法, 其特征在于，所述深度学习网络主要由一个双编码器
‑
3D解码器的框架组成;把两个正交的X光图像输入到两个并行的编码器中，通过多个卷积层降低输入图像的分辨率，提取多个尺度的特征，构建一个分辨率逐渐增加的特征金字塔;同时，利用交叉引导的思想对每层的特征进行交叉融合，然后，将编码器各层的交叉融合模块结果以级联的方式加入到3D解码器中，接下来，把每个交叉融合模块输出的特征连接在一起输入到3D解码其中，并经过4层的3D解码器得到X光图像对应的三维体数据。3.根据权利要求2中所述的一种面向双模G臂X光机多视角X光图像三维重建方法, 其特...

【专利技术属性】
技术研发人员：章小平，付燕平，
申请(专利权)人：合肥吉麦智能装备有限公司，
类型：发明
国别省市：