一种X射线图模拟方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种X射线图模拟方法、装置、电子设备及存储介质，该方法包括：获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；使用训练后的神经网络模型提取二维X射线图中的体绘制参数；根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。在上述的实现过程中，通过使用训练后的神经网络模型提取二维X射线图中的体绘制参数，从而有效地避免了人工地设置体绘制参数的过程，从而自动地使用模型提取出的体绘制参数对三维体绘制模型进行模拟运算，有效地模拟出三维X射线图的效果。三维X射线图的效果。三维X射线图的效果。

【技术实现步骤摘要】
一种X射线图模拟方法、装置、电子设备及存储介质


[0001]本申请涉及深度学习、三维模拟和图像处理的
，具体而言，涉及一种X射线图模拟方法、装置、电子设备及存储介质。

技术介绍

[0002]体绘制(Volume Rendering)，又被称射线投射或射线跟踪，是一种直接由三维数据场产生屏幕上二维图像的技术。体绘制的大致流程为：根据当前的相机参数，通过将光线穿过像素发送到场景中来确定图像中每个像素的值；然后，使用一些指定的函数评估沿射线遇到的数据，以便计算像素值。
[0003]计算机体层摄影(Computed Tomography，CT)，又被称为电子计算机断层扫描或者CT扫描，是指利用精确准直的X射线和γ射线等射线与探测器一同围绕人体的某一部位进行断面扫描，具有扫描时间快，图像清晰等特点，通常CT扫描获得的结果又被称为CT图像。
[0004]目前，使用体绘制技术来对计算机断层扫描CT图像进行模拟，从而可以获得二维X射线效果，然而，在具体的实践过程中发现，使用体绘制技术无法实现模拟出三维X射线的效果。

技术实现思路

[0005]本申请实施例的目的在于提供一种X射线图模拟方法、装置、电子设备及存储介质，用于改善无法实现模拟出三维X射线的效果的问题。
[0006]本申请实施例提供了一种X射线图模拟方法，包括：获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；使用训练后的神经网络模型提取二维X射线图中的体绘制参数；根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。在上述的实现过程中，通过使用训练后的神经网络模型提取二维X射线图中的体绘制参数，从而有效地避免了人工地设置体绘制参数的过程，从而自动地使用模型提取出的体绘制参数对三维体绘制模型进行模拟运算，有效地模拟出三维X射线图的效果。
[0007]可选地，在本申请实施例中，在使用训练后的神经网络模型提取二维X射线图中的体绘制参数之前，还包括：获取多个射线图像和多个图像标签，图像标签是射线图像对应的体绘制参数；根据多个射线图像和多个图像标签对神经网络模型进行训练，获得训练后的神经网络模型。在上述的实现过程中，通过根据多个射线图像和多个图像标签对神经网络模型进行训练，从而避免了使用未经训练的神经网络模型进行预测，提高了模拟出三维X射线图的效果；同时相比于采用将X射线图作为图像标签，使用体绘制参数作为训练标签减小了计算量，从而极大地减少了训练神经网络模型的时间。
[0008]可选地，在本申请实施例中，根据多个射线图像和多个图像标签对神经网络模型进行训练，包括：根据图像标签对应的体绘制参数绘制出第一X射线图；使用神经网络模型提取射线图像中的体绘制参数，并根据射线图像中的体绘制参数绘制出第二X射线图；判断
第一X射线图与第二X射线图之间的相似度是否大于预设阈值；若否，则更新神经网络模型中的权重参数。在上述的实现过程中，通过将三维X射线图与图像标签之间的相似度作为损失值，并使用该损失值来更新神经网络模型中的权重参数，从而能够直观地看到射线图与训练过程中的在视觉效果上的进度，对于辅助诊断和手术导航有非常大的帮助。
[0009]可选地，在本申请实施例中，根据多个射线图像和多个图像标签对神经网络模型进行训练，包括：使用神经网络模型提取射线图像对应的预测标签，预测标签为射线图像中的体绘制参数；计算射线图像对应的预测标签与射线图像对应的图像标签之间的损失值；根据损失值更新神经网络模型中的权重参数。在上述的实现过程中，通过根据体绘制参数与标签之间的损失值来更新神经网络模型中的权重参数，从而避免了图像相似度的计算过程，有效地提高了神经网络模型的训练速度和效率。
[0010]可选地，在本申请实施例中，根据CT图像序列重建出三维体绘制模型，包括：使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对CT图像序列进行运算，获得三维体绘制模型。在上述的实现过程中，通过使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对CT图像序列进行运算，从而提高了获得三维体绘制模型的精确度。
[0011]可选地，在本申请实施例中，三维X射线图包括：正视图和侧视图。
[0012]可选地，在本申请实施例中，体绘制参数包括：体素坐标和颜色不透明度。
[0013]本申请实施例还提供了一种X射线图模拟装置，包括：图像序列获取模块，用于获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；绘制参数提取模块，用于使用训练后的神经网络模型提取二维X射线图中的体绘制参数；三维图像获得模块，用于根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。
[0014]可选地，在本申请实施例中，X射线图模拟装置，还包括：图像标签获取模块，用于获取多个射线图像和多个图像标签，图像标签是射线图像对应的体绘制参数；网络模型获得模块，用于根据多个射线图像和多个图像标签对神经网络模型进行训练，获得训练后的神经网络模型。
[0015]可选地，在本申请实施例中，网络模型获得模块，包括：第一图像绘制模块，用于根据图像标签对应的体绘制参数绘制出第一X射线图；第二图像绘制模块，用于使用神经网络模型提取射线图像中的体绘制参数，并根据射线图像中的体绘制参数绘制出第二X射线图；相似度值判断模块，用于判断第一X射线图与第二X射线图之间的相似度是否大于预设阈值；第一权重更新模块，用于若第一X射线图与第二X射线图之间的相似度不大于预设阈值，则更新神经网络模型中的权重参数。
[0016]可选地，在本申请实施例中，网络模型获得模块，包括：预测标签提取模块，用于使用神经网络模型提取射线图像对应的预测标签，预测标签为射线图像中的体绘制参数；标签损失计算模块，用于计算射线图像对应的预测标签与射线图像对应的图像标签之间的损失值；第二权重更新模块，用于根据损失值更新神经网络模型中的权重参数。
[0017]可选地，在本申请实施例中，三维图像获得模块，具体用于：使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对CT图像序列进行运算，获得三维体绘制模型。
[0018]可选地，在本申请实施例中，三维X射线图可以包括：正视图和侧视图。
[0019]可选地，在本申请实施例中，体绘制参数可以包括：体素坐标和颜色不透明度。
[0020]本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
[0021]本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
[0022]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种X射线图模拟方法，其特征在于，包括：获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；使用训练后的神经网络模型提取所述二维X射线图中的体绘制参数；根据所述CT图像序列重建出三维体绘制模型，并根据所述体绘制参数对所述三维体绘制模型进行模拟运算，获得所述待模拟对象对应的三维X射线图。2.根据权利要求1所述的方法，其特征在于，在所述使用训练后的神经网络模型提取所述二维X射线图中的体绘制参数之前，还包括：获取多个射线图像和多个图像标签，所述图像标签是所述射线图像对应的体绘制参数；根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，获得所述训练后的神经网络模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，包括：根据所述图像标签对应的体绘制参数绘制出第一X射线图；使用所述神经网络模型提取所述射线图像中的体绘制参数，并根据所述射线图像中的体绘制参数绘制出第二X射线图；判断所述第一X射线图与所述第二X射线图之间的相似度是否大于预设阈值；若否，则更新所述神经网络模型中的权重参数。4.根据权利要求2所述的方法，其特征在于，所述根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，包括：使用所述神经网络模型提取所述射线图像对应的预测标签，所述预测标签为所述射线图像中的体绘制参数；计算所述射线图像对应的预测标签与所...

【专利技术属性】
技术研发人员：黄志俊，杨帅，陈家兴，刘金勇，
申请(专利权)人：杭州柳叶刀机器人有限公司，
类型：发明
国别省市：