一种胃镜图像三维重建方法技术

本发明专利技术公开了一种胃镜图像三维重建方法，涉及图像三维重建领域，所述方法，包括：获取目标图像；所述目标图像，包括多张不同视角下的待重建的胃镜图像；根据所述目标图像采用三维重建模型进行三维重建，得到目标图像所包含物体的三维模型；其中，所述三维重建模型是基于无监督学习模型构建的

【技术实现步骤摘要】
一种胃镜图像三维重建方法


[0001]本专利技术涉及图像三维重建领域，特别是涉及一种胃镜图像三维重建方法
。

技术介绍

[0002]目前，实现胃镜图像的三维重建的方法，主要包括立体视觉
、
光学相干层析成像
(Optical Coherence Tomography
，
OCT)、
结构光投影
(Structured Light Projection
，
SLP)
和超声成像
(Ultrasound Imaging
，
UI)。
[0003]立体视觉是使用两个摄像头同时拍摄胃镜图像，通过计算两个视角之间的视差来获取深度信息，然后将这些深度信息转换为三维模型
。
这种方法需要精确的摄像头校准和图像匹配，以及需要对图像噪声和遮挡进行处理，该方法通过对拍摄到的原始胃镜图像进行较为复杂的计算实现三维重建
。
[0004]光学相干层析成像是使用激光干涉技术，通过测量光的反射和散射来获取胃壁的断层图像
。
这种方法可以提供高分辨率的图像，但需要通过光信号重建图像，对于胃镜全景图像的获取和处理较为复杂
。
[0005]结构光投影是通过投射特殊的结构光模式
(
例如，条纹或格点
)
到胃壁上，并使用摄像头记录光的反射图案
。
通过分析反射图案的形变，可以计算出表面的形状和深度信息，从而进行三维重建，也需要较为复杂的计算过程
。
[0006]超声成像是使用超声波探头在胃腔内扫描，通过测量声波在组织中传播的时间和强度来生成图像
。
这种方法在实时性和穿透能力方面具有优势，但图像分辨率相对较低，因此，三维重建的准确性不高
。
[0007]上述三维重建的方法中，满足准确性要求的方法，都需要处理和计算复杂的图像数据，时间成本高，而超声成像的方法，虽然在一定程度上降低了时间成本，但是重建的图像质量不高
。
因此，如何即高效
、
又准确地实现胃镜图像的三维重建成为目前亟待解决的问题
。

技术实现思路

[0008]基于此，本专利技术实施例提供一种胃镜图像三维重建方法，以高效
、
准确地实现胃镜图像的三维重建
。
[0009]为实现上述目的，本专利技术实施例提供了如下方案：
[0010]一种胃镜图像三维重建方法，包括：
[0011]获取目标图像；所述目标图像，包括多张不同视角下的待重建的胃镜图像；
[0012]根据所述目标图像采用三维重建模型进行三维重建，得到目标图像所包含物体的三维模型；其中，所述三维重建模型是基于无监督学习模型构建的
。
[0013]可选地，所述三维重建模型的确定方法包括：
[0014]获取训练样本；每一所述训练样本包括用于训练的
、
多张不同视角下的胃镜图像；
[0015]使用所述训练样本对无监督学习模型进行多次迭代训练，直到满足预设条件；
[0016]其中，第
n
次迭代训练包括：
[0017]将训练样本输入目标无监督学习模型中，由目标无监督学习模型输出相应的三维模型，作为三维训练模型；其中，
n
＞1；所述目标无监督学习模型为经第
n
‑1次迭代训练后的无监督学习模型；
[0018]将所述三维训练模型转换为二维图像；
[0019]使用所述三维训练模型
、
所述二维图像和相应的训练样本计算模型重建误差；
[0020]若模型重建误差小于预设值，则将所述目标无监督学习模型确定为三维重建模型，否则，对所述目标无监督学习模型中的参数进行调整，得到第
n
次迭代训练后的无监督学习模型
。
[0021]可选地，使用所述三维训练模型
、
所述二维图像和相应的训练样本计算模型重建误差，具体包括：
[0022]根据所述三维训练模型和所述二维图像确定网络误差；
[0023]根据所述二维图像和训练样本中的胃镜图像确定转换误差；
[0024]将所述网络误差和所述转换误差的和确定为模型重建误差
。
[0025]可选地，使用所述三维训练模型
、
所述二维图像和相应的训练样本计算模型重建误差，具体包括：
[0026]根据所述三维训练模型和所述二维图像确定网络误差；
[0027]根据所述二维图像和训练样本中的胃镜图像确定转换误差；
[0028]对所述二维图像中的物体信息进行估计，得到物体信息估计值；所述物体信息包括：光照方向和物体的姿态；
[0029]根据所述物体信息估计值和物体信息实际值确定估计误差；所述物体信息实际值是对训练样本中的胃镜图像中的物体信息进行提取得到的；
[0030]将所述网络误差
、
所述转换误差以及所述估计误差的和确定为模型重建误差
。
[0031]可选地，将所述三维训练模型转换为二维图像，具体包括：
[0032]将所述三维训练模型采用图像渲染器转换为二维图像
。
[0033]可选地，所述无监督学习模型，包括依次连接的特征提取网络和变分自编码器；所述变分自编码器，包括：编码器和解码器；
[0034]所述特征提取网络用于对输入的胃镜图像进行特征提取，得到特征向量；所述编码器用于对所述特征向量进行编码，得到潜在特征；所述解码器用于将所述潜在特征转换成三维网格形式，得到三维模型；所述三维模型用于表征输入的胃镜图像中所包含物体的形状和姿态
。
[0035]可选地，所述网络误差，包括：重构误差和散度值；所述重构误差为所述解码器的输出和输入之间的误差；所述散度值表征所述变分自编码器的输出与标准正态分布之间的差异程度
。
[0036]可选地，所述解码器具体用于：
[0037]对所述潜在特征增加随机噪声，得到采样特征；
[0038]将所述采样特征转换成三维网格形式，得到三维模型
。
[0039]可选地，所述潜在特征，包括：均值向量和方差向量；
[0040]所述采样特征的计算公式为：
z
＝
μ
+
σ
⊙
∈
；其中，
z
表示采样特征；
μ
表示均值向量；
σ
表示方差向量；
∈
表示从标准正态分布中采样的随机噪声；
⊙
表示元素逐一相乘
。
[0041]可选地，根据所述目标图像采用三维重建模型进行三维重建，得到目标图像所包含物体的三维模型，具体包括：
[0042]对所述目标图像进行预处理，得到处理后的图像；所述预处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种胃镜图像三维重建方法，其特征在于，包括：获取目标图像；所述目标图像，包括多张不同视角下的待重建的胃镜图像；根据所述目标图像采用三维重建模型进行三维重建，得到目标图像所包含物体的三维模型；其中，所述三维重建模型是基于无监督学习模型构建的
。2.
根据权利要求1所述的胃镜图像三维重建方法，其特征在于，所述三维重建模型的确定方法包括：获取训练样本；每一所述训练样本包括用于训练的
、
多张不同视角下的胃镜图像；使用所述训练样本对无监督学习模型进行多次迭代训练，直到满足预设条件；其中，第
n
次迭代训练包括：将训练样本输入目标无监督学习模型中，由目标无监督学习模型输出相应的三维模型，作为三维训练模型；其中，
n
＞1；所述目标无监督学习模型为经第
n
‑1次迭代训练后的无监督学习模型；将所述三维训练模型转换为二维图像；使用所述三维训练模型
、
所述二维图像和相应的训练样本计算模型重建误差；若模型重建误差小于预设值，则将所述目标无监督学习模型确定为三维重建模型，否则，对所述目标无监督学习模型中的参数进行调整，得到第
n
次迭代训练后的无监督学习模型
。3.
根据权利要求2所述的胃镜图像三维重建方法，其特征在于，使用所述三维训练模型
、
所述二维图像和相应的训练样本计算模型重建误差，具体包括：根据所述三维训练模型和所述二维图像确定网络误差；根据所述二维图像和训练样本中的胃镜图像确定转换误差；将所述网络误差和所述转换误差的和确定为模型重建误差
。4.
根据权利要求2所述的胃镜图像三维重建方法，其特征在于，使用所述三维训练模型
、
所述二维图像和相应的训练样本计算模型重建误差，具体包括：根据所述三维训练模型和所述二维图像确定网络误差；根据所述二维图像和训练样本中的胃镜图像确定转换误差；对所述二维图像中的物体信息进行估计，得到物体信息估计值；所述物体信息包括：光照方向和物体的姿态；根据所述物体信息估计值和物体信息实际值确定估计误差；所述物体信息实际值是对训练样本中的胃镜图像中的物体信息进行提取得到的；将所述网络误差
、
所述转换误...

【专利技术属性】
技术研发人员：赵莉，孙雪，王青，雷毅，崔文波，
申请(专利权)人：数聚工研北京科技有限公司，
类型：发明
国别省市：