面向手术规划辅助的术中剩余器官体积估计系统技术方案

本发明专利技术提供一种面向手术规划辅助的术中剩余器官体积估计系统，涉及微创手术领域。本发明专利技术通过术前组织网格模型与术中组织网格模型的匹配关系，将剩余器官体积的测量转化为术前组织网格模型对应区域的体积测量，避免了组织复杂形变与不可见区域对体积预测的干扰；并且考虑了术中与医生的交互，接收医生针对感兴趣区域的简单标注，获得精准的体积测量信息，实现术中主动选择性和高参考性。此外，引入的基于双目内窥镜的在线自监督学习深度估计方法，其所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，进而确保术中组织网格模型的精度。进而确保术中组织网格模型的精度。进而确保术中组织网格模型的精度。

【技术实现步骤摘要】
面向手术规划辅助的术中剩余器官体积估计系统


[0001]本专利技术涉及微创手术领域，具体涉及一种面向手术规划辅助的术中剩余器官体积估计系统。

技术介绍

[0002]相比于传统开放性手术，微创手术(如内腔镜手术)具有创口小、流血少、恢复速度快等优点，逐渐被广泛采用。微创手术的评价指标有很多，包括手术时间、手术出血量、手术后并发症发生率、恢复时间等等。但对于器官切除手术而言，剩余器官体积是一项重要的评价指标之一。
[0003]根据器官的种类和实际情况，当前测量器官剩余体积的方法有多种，如下提供一些常用的测量器官剩余体积的技术方案：
[0004](1)、术前或术后的CT、MRI扫描：通过进行三维CT或MRI扫描，可以计算出肝、肺等器官的体积，从而评估手术前后剩余器官的体积和比例。然而该方法无法精确地区分器官和周围组织，即测量器官的边界可能模糊不清，导致测量结果不够准确。
[0005](2)、术中超声检查：超声检查是一种无创的检查方法，可以评估肝、胆囊、胰腺等器官的大小和形态，从而间接计算出剩余体积。然而，首先该方法要求医生有一定的技术水平和经验，不同医生的操作水平和经验可能会影响测量结果的准确性；其次，对器官的测量受到深度、角度、距离和扫描平面等因素的影响，容易出现误差；最后，对于一些器官的测量存在局限性，如心脏和肺部等深部器官的测量，受到肋骨的遮挡，难以获得准确的体积数据。
[0006](3)术后直接测量法：指在手术或解剖中，直接将器官取出并浸泡在液体中，再测量液体的位移量来估算器官的体积。然而该方法只能用于术后切除的器官，无法应用于活体器官的体积测量，无法在术中给予医生提示与指导。
[0007]鉴于此，有必要提供一种测量结果更准确的术中剩余器官体积估计系统。

技术实现思路

[0008](一)解决的技术问题
[0009]针对现有技术的不足，本专利技术提供了一种面向手术规划辅助的术中剩余器官体积估计系统，解决了术中测量结果不准确的技术问题。
[0010](二)技术方案
[0011]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0012]一种面向手术规划辅助的术中剩余器官体积估计系统，包括：
[0013]配准模块，用于将术前组织网格模型和术中组织网格模型进行配准，获取在所述术中组织网格模型中显示术前组织网格模型的内部组织信息的整体组织网格模型；
[0014]其中，根据指定的双目内窥镜图像帧的深度值，获取所述术中组织网格模型；
[0015]第一获取模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标
注的待切除区域，并获取所述待切除区域内的所有像素点在整体组织网格模型中的对应顶点集；
[0016]第二获取模块，用于根据所述整体组织网格模型中的对应顶点集，获取并可视化所述术前组织网格模型上的对应顶点集；
[0017]求解模块，用于接收医生在所述术前组织网格模型上标注的切割方向和手动候选区域，结合所述术前组织网格模型上的对应顶点集，获取所述待切除区域对应器官的局部体积，最终获取剩余器官体积或者剩余器官体积百分比。
[0018]优选的，所述配准模块包括：
[0019]第一建模单元，用于获取带有组织语义信息的术前组织网格模型；
[0020]第二建模单元，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织网格模型；
[0021]特征提取单元，用于根据所述术前组织网格模型和术中组织网格模型，分别获取对应的多层级特征；
[0022]重叠预测单元，用于根据所述多层级特征，获取所述术前组织网格模型和术中组织网格模型的重叠区域，并获取所述术前组织网格模型处于重叠区域内顶点的位姿变换关系；
[0023]全局融合单元，用于根据所述术前组织网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标，获取所述术前组织网格模型的配准后的所有顶点坐标；
[0024]信息显示单元，用于根据所述术前组织网格模型的配准后的所有顶点坐标，获取在所述术中组织网格模型中显示术前组织网格模型的内部组织信息的整体组织网格模型。
[0025]优选的，所述特征提取单元采用切比雪夫谱图卷积提取所述术前组织网格模型和术中组织网格模型的多层级特征：
[0026][0027][0028]其中，定义术前组织网格模型M
pre
＝(V
pre
,E
pre
)，V
pre
表示术前组织网格模型的顶点的三维坐标，E
pre
表示术前组织网格模型的顶点之间的边；术中组织网格模型M
in
＝(V
in
,E
in
)，V
in
表示术前组织网格模型的顶点的三维坐标，,E
in
表示术中组织网格模型的顶点之间的边；
[0029]和分别表示术前组织模型的第n+1层和第n层的下采样尺度特征，初始化为V
pre
；和分别表示术中组织模型的第n+1层和第n层特征，初始化为V
in
；
[0030]分别由各自顶点与其B环邻域计算出的b阶切比雪夫多项式，分别是由边E
in
,E
pre
计算的缩放拉普拉斯矩阵，是神经网络的学习参数；
[0031]和/或所述重叠预测单元具体用于：
[0032]采用注意力机制获取所述术前组织网格模型和术中组织网格模型的重叠区域，包括：
[0033][0034][0035]其中，O
pre
表示术前组织网格模型M
pre
重叠区域的掩码；O
in
表示术中组织网格模型M
in
重叠区域的掩码；cross和self分别表示self
‑
attention和cross
‑
attention操作；和分别表示术前组织网格模型和术中组织网格模型的顶点的第m级下采样尺度特征；
[0036]根据掩码O
pre
和O
in
，获取各自处于重叠区域内的顶点及其特征并使用多层感知机MLP计算术前组织网格模型M
pre
中的顶点的对应点：
[0037][0038]其中，是术中组织网格模型M
in
中的顶点，对应于术前组织网格模型M
pre
中的顶点点表示余弦相似度计算，表示对术中组织网格模型处于重叠区域内的顶点进行位置编码操作；
[0039]采用最近邻搜索KNN建立顶点的局部邻域，采用奇异值分解SVD求解旋转矩阵，公式如下：
[0040][0041]其中，表示顶点的旋转矩阵；表示使用KNN算法构建属于顶点的一个局部邻域；是术前组织网格模型的顶点的邻域点，是对应于邻域点的术中组织网格模型的顶点；
[0042]采用旋转矩阵改变点云坐标得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向手术规划辅助的术中剩余器官体积估计系统，其特征在于，包括：配准模块，用于将术前组织网格模型和术中组织网格模型进行配准，获取在所述术中组织网格模型中显示术前组织网格模型的内部组织信息的整体组织网格模型；其中，根据指定的双目内窥镜图像帧的深度值，获取所述术中组织网格模型；第一获取模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的待切除区域，并获取所述待切除区域内的所有像素点在整体组织网格模型中的对应顶点集；第二获取模块，用于根据所述整体组织网格模型中的对应顶点集，获取并可视化所述术前组织网格模型上的对应顶点集；求解模块，用于接收医生在所述术前组织网格模型上标注的切割方向和手动候选区域，结合所述术前组织网格模型上的对应顶点集，获取所述待切除区域对应器官的局部体积，最终获取剩余器官体积或者剩余器官体积百分比。2.如权利要求1所述的术中剩余器官体积估计系统，其特征在于，所述配准模块包括：第一建模单元，用于获取带有组织语义信息的术前组织网格模型；第二建模单元，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织网格模型；特征提取单元，用于根据所述术前组织网格模型和术中组织网格模型，分别获取对应的多层级特征；重叠预测单元，用于根据所述多层级特征，获取所述术前组织网格模型和术中组织网格模型的重叠区域，并获取所述术前组织网格模型处于重叠区域内顶点的位姿变换关系；全局融合单元，用于根据所述术前组织网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标，获取所述术前组织网格模型的配准后的所有顶点坐标；信息显示单元，用于根据所述术前组织网格模型的配准后的所有顶点坐标，获取在所述术中组织网格模型中显示术前组织网格模型的内部组织信息的整体组织网格模型。3.如权利要求2所述的术中剩余器官体积估计系统，其特征在于，所述特征提取单元采用切比雪夫谱图卷积提取所述术前组织网格模型和术中组织网格模型的多层级特征：格模型的多层级特征：其中，定义术前组织网格模型M
pre
＝(V
pre
，E
pre
)，V
pre
表示术前组织网格模型的顶点的三维坐标，E
pre
表示术前组织网格模型的顶点之间的边；术中组织网格模型M
in
＝(V
in
，E
in
)，V
in
表示术前组织网格模型的顶点的三维坐标，，E
in
表示术中组织网格模型的顶点之间的边；和分别表示术前组织模型的第n+1层和第n层的下采样尺度特征，初始化为V
pre
；和分别表示术中组织模型的第n+1层和第n层特征，初始化为V
in
；分别由各自顶点与其B环邻域计算出的b阶切比雪夫多项式，分别是由边E
in
，E
pre
计算的缩放拉普拉斯矩阵，是神经网络的学习参数；和/或所述重叠预测单元具体用于：
采用注意力机制获取所述术前组织网格模型和术中组织网格模型的重叠区域，包括：采用注意力机制获取所述术前组织网格模型和术中组织网格模型的重叠区域，包括：其中，O
pre
表示术前组织网格模型M
pre
重叠区域的掩码；O
in
表示术中组织网格模型M
in
重叠区域的掩码；cross和self分别表示self
‑
attention和cross
‑
attention操作；和分别表示术前组织网格模型和术中组织网格模型的顶点的第m级下采样尺度特征；根据掩码O
pre
和O
in
，获取各自处于重叠区域内的顶点及其特征并使用多层感知机MLP计算术前组织网格模型M
pre
中的顶点的对应点：其中，是术中组织网格模型M
in
中的顶点，对应于术前组织网格模型M
pre
中的顶点中的顶点表示余弦相似度计算，表示对术中组织网格模型处于重叠区域内的顶点进行位置编码操作；采用最近邻搜索KNN建立顶点的局部邻域，采用奇异值分解SVD求解旋转矩阵，公式如下：其中，表示顶点的旋转矩阵；表示使用KNN算法构建属于顶点的一个局部邻域；是术前组织网格模型的顶点的邻域点，是对应于邻域点的术中组织网格模型的顶点；采用旋转矩阵改变点云坐标得到采用MLP预测顶点的位移向量，公式如下：其中，表术前组织网格模型处于重叠区域的顶点的位移向量，并与旋转矩阵构成所述位姿变换关系；和/或所述全局融合单元具体用于：采用MLP回归术前组织网格模型的所有顶点的旋转矩阵和位移向量：其中，R
pre
，t
pre
分别表示术前组织网格模型的所有顶点的旋转矩阵和位移向量；表示根据处于重叠区域内的顶点与术前组织网格模型的所有顶点v
pre
的距离计算的权重；
其中，表示所述术前组织网格模型的配准后的所有顶点坐标。4.如权利要求1所述的术中剩余器官体积估计系统，其特征在于，在所述术中剩余器官体积估计系统的训练阶段，基于真实数据生成训练集：根据指定的双目内窥镜图像帧与术前组织网格模型之间的特征点对，基于特征点采用非刚性算法配准术前组织网格模型和术中组织网格模型，对于任一特征点有：其中，Non_rigid_ICP表示非刚性配准算法ICP，表示术前组织网格模型的第a个用于非刚性配准的特征点，对应的术中组织网格模型的特征点，T
G
为术前组织网格模型的整体转移矩阵，T
l，a
是属于特征点v
pre，a
的局部形变转移矩阵；采用四元素插值求得术前组织网格模型中所有顶点的局部形变转移矩阵T
l
，通过变换关系求得术前组织网格模型中的顶点v
pre
配准后的坐标标签5.如权利要求4所述的术中剩余器官体积估计系统，其特征在于，在所述术中剩余器官体积估计系统的训练阶段，构建如下有监督损失函数：其中，Loss
s
表示训练阶段的有监督损失函数；β
s
、γ
s
分别表示有监督损失项系数；N1表示术前组合网格模型M
pre
的顶点个数；表示基于人工标注数据集的12真值损失，表示术前组织网格模型的配准后的所有顶点坐标；I
...

【专利技术属性】
技术研发人员：杨善林，李霄剑，郑杰禹，李玲，莫杭杰，欧阳波，王昕，吴昊均，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：