一种导管下介入目标场景的三维重建方法及系统技术方案

本发明专利技术涉及医学图像处理技术领域，具体涉及一种导管下介入目标场景的三维重建方法及系统，包括以下步骤：获取术前影像，通过影像三维重建，得到一组三维暂态场景；通过第一神经网络对一组三维暂态场景进行时序间动态规律性的深度学习，得到三维动态场景；再通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行深度学习，得到目标映射关系；在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处的三维目标场景

【技术实现步骤摘要】
一种导管下介入目标场景的三维重建方法及系统


[0001]本专利技术涉及医学图像处理
，具体涉及一种导管下介入目标场景的三维重建方法及系统
。

技术介绍

[0002]导管介入式治疗是利用
X
线透视
、CT
定位
、B
型超声仪等医疗影像设备做导向，将特制的导管或器械经人体动脉
、
静脉
、
消化系统的自然管道
、
胆道或手术后的引流管道抵达体内病变区域，取得组织细胞
、
细菌或生化方面的资料，也可以进行造影摄片获得影像学资料
。
[0003]现有技术中为了提高介入治疗的效果，通常对介入场景进行三维重建，但是三维重建介入场景忽略了病变区域周边的血管或重要器官的生理运动，利用在不具备周边的血管或重要器官的生理运动信息的三维场景中确定出的介入治疗位点，进行介入治疗手术时，会由于血管和器官的生理运动与介入治疗位点产生接触，甚至是覆盖在治疗位点上，使得介入治疗产生的热量会损伤周边的血管或重要器官，影响介入治疗效果，导致手术失败或并发症增加
。

技术实现思路

[0004]本专利技术的目的在于提供一种导管下介入目标场景的三维重建方法，以解决现有技术中三维重建介入场景忽略了病变区域周边的血管或重要器官的生理运动，影响介入治疗效果的技术问题
。
[0005]为解决上述技术问题，本专利技术具体提供下述技术方案：一种导管下介入目标场景的三维重建方法，包括以下步骤：获取位于一组连续时序中每个时序上的多组导管介入区域的术前影像，通过影像三维重建，得到一组具有每个时序上术前影像的暂态属性的三维暂态场景，所述暂态属性表示生理组织在单个时序上生理运动的暂态信息；通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，所述动态属性表示生理组织在连续时序上生理运动的动态信息；再通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行映射关系的深度学习，得到三维暂态场景与三维暂态场景中的介入目标位点的目标映射关系，所述目标映射关系对应于三维暂态场景与三维暂态场景中的介入目标位点的映射关系，所述介入目标位点对应于导管下介入区域中对病灶进行介入操作的位点；获取介入时间点，在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处显示了介入目标位点的导管下介入区域的三维目标场景，所述介入时间点表示导管下介入区域中对病灶进行介入操作的时间点
。
[0006]作为本专利技术的一种优选方案，所述三维暂态场景的构建，包括：
获取一组连续时序中每个时序处的多组导管介入区域的术前影像，并将每个时序处的多组术前影像进行影像三维重建，得到每个时序处的三维暂态影像；每个时序处的三维暂态影像依时序排列，得到位于连续时序上的一组三维暂态场景；其中，影像三维重建利用
3D Slicer
实现
。
[0007]作为本专利技术的一种优选方案，所述通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，包括：将一组三维暂态场景中位于前置时序处的三维暂态场景作为
LSTM
神经网络的输入项，将一组三维暂态场景中位于后置时序处的三维暂态场景作为
LSTM
神经网络的输出项；利用
LSTM
神经网络对
LSTM
神经网络的输入项和
LSTM
神经网络的输出项进行学习训练，得到三维暂态场景预测网络；利用三维暂态场景预测网络基于一组三维暂态场景在后置时序进行连续预测，得到三维暂态场景的预测序列；将三维暂态场景的预测序列中的时序作为第一
CNN
神经网络的输入项，将三维暂态场景的预测序列中三维暂态场景作为第一
CNN
神经网络的输出项；利用第一
CNN
神经网络对第一
CNN
神经网络的输入项和第一
CNN
神经网络的输出项进行学习训练，得到三维动态场景；所述三维暂态场景预测网络的表达式为：
Sz_new=LSTM(Sz_old)
；式中，
Sz_new
为后置时序处的三维暂态场景，
Sz_old
为前置时序处的三维暂态场景，
LSTM
为
LSTM
神经网络；所述三维动态场景的表达式为：
Sz_T=CNN1(T)
；式中，
Sz_T
为时序
T
处的三维暂态场景，
T
为时序，
CNN1
为第一
CNN
神经网络
。
[0008]作为本专利技术的一种优选方案，所述再通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行映射关系的深度学习，得到三维暂态场景与三维暂态场景中的介入目标位点的目标映射关系，包括：在每个三维暂态场景中确定出介入目标位点；将三维暂态场景作为第二
CNN
神经网络的输入项，将三维暂态场景中的介入目标位点作为第二
CNN
神经网络的输出项；利用第二
CNN
神经网络对第二
CNN
神经网络的输入项和第二
CNN
神经网络的输出项进行学习训练，得到所述目标映射关系；所述目标映射关系的表达式为：
P_T=CNN2(Sz_T)
；式中，
P_T
为时序
T
处的三维暂态场景中的介入目标位点，
T
为时序，
CNN2
为第二
CNN
神经网络
。
[0009]作为本专利技术的一种优选方案，在三维暂态场景中确定出介入目标位点，包括：
在三维暂态场景中标记出病灶区域，以及具有生理运动的生理组织区域；将介入目标位点与病灶区域的中心点的距离最短作为第一目标，所述第一目标的函数式为：
D1=min[dis(P_T,P_o)]；式中，
D1
为第一目标，
min
为最小化运算符，
P_T
为时序
T
处的三维暂态场景中的介入目标位点，
P_o
为病灶区域的中心点，
dis(P_T,P_o)
为介入目标位点与病灶区域的中心点的距离，
dis
为欧氏距离运算式；将介入目标位点与生理组织区域的边界点距离最长作为第二目标，所述第二目标的函数式为： ；式中，
D2
为第二目标，
max
为最大化运算符，
P_T
为时序
T
处的三维暂态场景中的介入目标位点，
P_line_i
为生理组织区域的第
i
个边界点，...

【技术保护点】

【技术特征摘要】
1.
一种导管下介入目标场景的三维重建方法，其特征在于：包括以下步骤：获取位于一组连续时序中每个时序上的多组导管介入区域的术前影像，通过影像三维重建，得到一组具有每个时序上术前影像的暂态属性的三维暂态场景，所述暂态属性表示生理组织在单个时序上生理运动的暂态信息；通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，所述动态属性表示生理组织在连续时序上生理运动的动态信息；再通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行映射关系的深度学习，得到三维暂态场景与三维暂态场景中的介入目标位点的目标映射关系，所述目标映射关系对应于三维暂态场景与三维暂态场景中的介入目标位点的映射关系，所述介入目标位点对应于导管下介入区域中对病灶进行介入操作的位点；获取介入时间点，在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处显示了介入目标位点的导管下介入区域的三维目标场景，所述介入时间点表示导管下介入区域中对病灶进行介入操作的时间点
。2.
根据权利要求1所述的一种导管下介入目标场景的三维重建方法，其特征在于：所述三维暂态场景的构建，包括：获取一组连续时序中每个时序处的多组导管介入区域的术前影像，并将每个时序处的多组术前影像进行影像三维重建，得到每个时序处的三维暂态影像；每个时序处的三维暂态影像依时序排列，得到位于连续时序上的一组三维暂态场景；其中，影像三维重建利用
3D Slicer
实现
。3.
根据权利要求1所述的一种导管下介入目标场景的三维重建方法，其特征在于：通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，包括：将一组三维暂态场景中位于前置时序处的三维暂态场景作为
LSTM
神经网络的输入项，将一组三维暂态场景中位于后置时序处的三维暂态场景作为
LSTM
神经网络的输出项；利用
LSTM
神经网络对
LSTM
神经网络的输入项和
LSTM
神经网络的输出项进行学习训练，得到三维暂态场景预测网络；利用三维暂态场景预测网络基于一组三维暂态场景在后置时序进行连续预测，得到三维暂态场景的预测序列；将三维暂态场景的预测序列中的时序作为第一
CNN
神经网络的输入项，将三维暂态场景的预测序列中三维暂态场景作为第一
CNN
神经网络的输出项；利用第一
CNN
神经网络对第一
CNN
神经网络的输入项和第一
CNN
神经网络的输出项进行学习训练，得到三维动态场景；所述三维暂态场景预测网络的表达式为：
Sz_new=LSTM(Sz_old)
；式中，
Sz_new
为后置时序处的三维暂态场景，
Sz_old
为前置时序处的三维暂态场景，
LSTM
为
LSTM
神经网络；所述三维动态场景的表达式为：
Sz_T=CNN1(T)
；
式中，
Sz_T
为时序
T
处的三维暂态场景，
T
为时序，
CNN1
为第一
CNN
神经网络
。4.
根据权利要求3所述的一种导管下介入目标场景的三维重建方法，其特征在于：通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行映射关系的深度学习，得到三维暂态场景与三维暂态场景中的介入目标位点的目标映射关系，包括：在每个三维暂态场景中确定出介入目标位点；将三维暂态场景作为第二
CNN
神经网络的输入项，将三维暂态场景中的介入目标位点作为第二
CNN
神经网络的输出项；利用第二
CNN
神经网络对第二
CNN
神经网络的输入项和第二
CNN
神经网络的输出项进行学习训练，得到所述目标映射关系；所述目标映射关系的表达式为：
P_T=CNN2(Sz_T)
；式中，
P_T
为时序
T
处的三维暂态场景中的介入目标位点，
T
为时序，
CNN2
为第二
CNN
神经网络
。5.
根据权利要求4所述的一种导管下介入目标场景的三维重建方法，其特征在于：在三维暂态场景中确定出介入目标位点，包括：在三维暂态场景中标记出病灶区域，以及具有生理运动的生理组织区域；将介入目标位点与病灶区域的中心点的距离最短作为第一目标，所述第一目标的函数式为：
D1=min[dis(P_T,P_o)]
；式中，
D1
为第一目标，
min
为最小化运算符，
P_T
为时序
T
处的三维暂态场景中的介入目标位点，
P_o
为病灶区域的中心点，
dis(P_T,P_o)
为介入目标位点与病灶区域的中心点的距离，
dis
为欧氏距离运算式；将介入目标位点与生理组织区域的边界点距离最长作为第二目标，所述第二目标的函数式为：；式中，
...

【专利技术属性】
技术研发人员：吴林霞，郑传胜，陈磊，韩萍，
申请(专利权)人：华中科技大学同济医学院附属协和医院，
类型：发明
国别省市：