三维模型建立方法、内窥镜及存储介质技术

本发明专利技术公开了一种三维模型建立方法、内窥镜及存储介质，三维模型建立方法包括：获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。果。果。

【技术实现步骤摘要】
三维模型建立方法、内窥镜及存储介质


[0001]本专利技术涉及医疗器械
，尤其涉及一种三维模型建立方法、内窥镜及存储介质。

技术介绍

[0002]在内窥镜辅助下的腹腔微创手术的三维效果，一般需要医生通过佩戴3D眼睛，边观看3D显示屏边手术；或，双目内窥镜拍摄两路腹腔图像，图像分别显示在左右两个显示器中，通过左右显示器内容分别进入医生左右眼，从而实现立体效果。
[0003]传统采用双目立体匹配算法需要匹配左右相机视图中的每一个特征点，匹配特征计算时间长，达不到手术过程中的实时效果，出现；并且在双目立体匹配算法寻找特征点过程中，需要丰富的纹理图像，但腹腔内组织器官并不具有强烈的纹理信息，三维立体精度不高。

技术实现思路

[0004]基于此，有必要针对上述
技术介绍
中的问题，提供一种三维模型建立方法、内窥镜及存储介质，提出新型的预设立体匹配算法，建立内窥镜照射的待测区域的三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。
[0005]为解决上述技术问题，本申请的第一方面提出一种三维模型建立方法，用于建立待测区域的三维场景模型，所述方法包括：
[0006]获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；
[0007]根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；
[0008]根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型。
[0009]于上述实施例中提供的三维模型建立方法中，在同一时刻获取不同结构光图案投影得到的多个原始结构图像，以增加待测区域的表面纹理，和未投影得到的原始图像；其中，不同结构光图案对应的原始结构图像不同；根据各原始结构图像采用预设立体匹配算法计算得到精度视差图，对精度视差图和原始图像采用第一预设规则获取三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。
[0010]在其中一个实施例中，所述根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图，包括：
[0011]对各所述原始结构图像依次进行去畸变处理和立体校正处理，获取多个结构图像；
[0012]根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图。
[0013]在其中一个实施例中，所述结构图像包括处于同一平面的第一结构图像和第二结构图像，且预设点投影于所述第一结构图像的特征点与所述预设点投影于所述第二结构图
像的匹配点处于同一行。
[0014]在其中一个实施例中，所述预设立体匹配算法包括第一预设算法和第二预设算法；所述根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图，包括：
[0015]根据所述第一结构图像和所述第二结构图像，采用所述第一预设算法计算得到第一匹配视差图；
[0016]根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二预设算法计算得到所述精度视差图。
[0017]在其中一个实施例中，所述根据所述第一结构图像和所述第二结构图像，采用第一预设算法计算得到第一匹配视差图，包括：
[0018]根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图；
[0019]对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图。
[0020]在其中一个实施例中，所述根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图，包括：
[0021]获取所述第一结构图像上若干个第一匹配网格点，各所述第一匹配网格点之间具有相距第一预设数量的像素点；
[0022]获取所述第一结构图像上的预设第一匹配网格点，及所述预设第一匹配网格点在所述第二结构图像上的原始视差搜索范围；
[0023]根据预设能量函数计算所述原始视差搜索范围内每一像素点的匹配代价值；
[0024]比较所述原始视差搜索范围内每一像素点的匹配代价值，确定所述原始视差搜索范围内最小匹配代价值，并将所述原始视差搜索范围内最小匹配代价值对应的像素点确定为预设第一匹配像素点；所述预设第一匹配像素点与所述预设第一匹配网格点处于同一行；
[0025]根据所述预设第一匹配像素点的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定所述第一结构图像内的映射第一匹配像素点。
[0026]在其中一个实施例中，所述确定所述第一结构图像内的映射第一匹配像素点，包括：
[0027]判断所述预设第一匹配像素点的最小匹配代价值是否小于预设第一匹配代价阈值；
[0028]若否，则将所述预设第一匹配网格点确定为视差空洞；
[0029]若是，则获取所述预设第一匹配像素点在所述第一结构图像上的第一视差搜索范围，并根据所述预设能量函数计算所述第一视差搜索范围内每一像素点的匹配代价值，比较所述第一视差搜索范围内每一像素点的匹配代价值，确定所述第一视差搜索范围内最小匹配代价值，并将所述第一视差搜索范围内最小匹配代价值对应的像素点确定为映射第一匹配像素点；所述映射第一匹配像素点与所述预设第一匹配像素点处于同一行。
[0030]在其中一个实施例中，所述确定所述第一结构图像内的映射第一匹配像素点之后，还包括：
[0031]根据所述预设第一匹配网格点与所述映射第一匹配像素点的间距与预设第一匹配间距的比较结果，获取所述低分辨率视差图。
[0032]在其中一个实施例中，所述获取所述低分辨率视差图，包括：
[0033]判断所述预设第一匹配网格点与所述映射第一匹配像素点间的距离是否小于预设第一匹配间距；
[0034]若大于或等于所述预设第一匹配间距，则将所述预设第一匹配网格点确定为视差空洞；
[0035]若小于所述预设第一匹配间距，则根据所述预设第一匹配网格点的水平坐标和所述预设第一匹配像素点的水平坐标，计算所述预设第一匹配网格点的视差值，并重新获取所述第一结构图像上的第一匹配网格点，计算得到所述第一结构图像上各所述第一匹配网格点的视差值，得到所述低分辨率视差图。
[0036]在其中一个实施例中，所述对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图，包括：
[0037]移除离散网格点；
[0038]根据双线性插值方法填充所述视差空洞和所述离散网格点所处的网格点位置并采样，得到所述第一匹配视差图。
[0039]在其中一个实施例中，所述根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用第二预设算法计算得到所述精度视差图，包括：
[0040]根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二匹配算法计算得到第二匹配视差图；
[0041]对所述第二匹配视差图进行第二次优化处理，得到所述精度视差图。
[0042]在其中一个实施例中，所述根据所述第一结构图像、所述第二结构图像及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型建立方法，其特征在于，用于建立待测区域的三维场景模型，所述方法包括：获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型。2.根据权利要求1所述的方法，其特征在于，所述根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图，包括：对各所述原始结构图像依次进行去畸变处理和立体校正处理，获取多个结构图像；根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图。3.根据权利要求2所述的方法，其特征在于，所述结构图像包括处于同一平面的第一结构图像和第二结构图像，且预设点投影于所述第一结构图像的特征点与所述预设点投影于所述第二结构图像的匹配点处于同一行。4.根据权利要求3所述的方法，其特征在于，所述预设立体匹配算法包括第一预设算法和第二预设算法；所述根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图，包括：根据所述第一结构图像和所述第二结构图像，采用所述第一预设算法计算得到第一匹配视差图；根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二预设算法计算得到所述精度视差图。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一结构图像和所述第二结构图像，采用第一预设算法计算得到第一匹配视差图，包括：根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图；对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图，包括：获取所述第一结构图像上若干个第一匹配网格点，各所述第一匹配网格点之间具有相距第一预设数量的像素点；获取所述第一结构图像上的预设第一匹配网格点，及所述预设第一匹配网格点在所述第二结构图像上的原始视差搜索范围；根据预设能量函数计算所述原始视差搜索范围内每一像素点的匹配代价值；比较所述原始视差搜索范围内每一像素点的匹配代价值，确定所述原始视差搜索范围内最小匹配代价值，并将所述原始视差搜索范围内最小匹配代价值对应的像素点确定为预设第一匹配像素点；所述预设第一匹配像素点与所述预设第一匹配网格点处于同一行；根据所述预设第一匹配像素点的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定所述第一结构图像内的映射第一匹配像素点。7.根据权利要求6所述的方法，其特征在于，所述确定所述第一结构图像内的映射第一
匹配像素点，包括：判断所述预设第一匹配像素点的最小匹配代价值是否小于预设第一匹配代价阈值；若否，则将所述预设第一匹配网格点确定为视差空洞；若是，则获取所述预设第一匹配像素点在所述第一结构图像上的第一视差搜索范围，并根据所述预设能量函数计算所述第一视差搜索范围内每一像素点的匹配代价值，比较所述第一视差搜索范围内每一像素点的匹配代价值，确定所述第一视差搜索范围内最小匹配代价值，并将所述第一视差搜索范围内最小匹配代价值对应的像素点确定为映射第一匹配像素点；所述映射第一匹配像素点与所述预设第一匹配像素点处于同一行。8.根据权利要求7所述的方法，其特征在于，所述确定所述第一结构图像内的映射第一匹配像素点之后，还包括：根据所述预设第一匹配网格点与所述映射第一匹配像素点的间距与预设第一匹配间距的比较结果，获取所述低分辨率视差图。9.根据权利要求8所述的方法，其特征在于，所述获取所述低分辨率视差图，包括：判断所述预设第一匹配网格点与所述映射第一匹配像素点间的距离是否小于预设第一匹配间距；若大于或等于所述预设第一匹配间距，则将所述预设第一匹配网格点确定为视差空洞；若小于所述预设第一匹配间距，则根据所述预设第一匹配网格点的水平坐标和所述预设第一匹配像素点的水平坐标，计算所述预设第一匹配网格点的视差值，并重新获取所述第一结构图像上的第一匹配网格点，计算得到所述第一结构图像上各所述第一匹配网格点的视差值，得到所述低分辨率视差图。10.根据权利要求8所述的方法，其特征在于，所述对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图，包括：移除离散网格点；根据双线性插值方法填充所述视差空洞和所述离散网格点所处的网格点位置并采样，得到所述第一匹配视差图。11.根据权利要求4所述的方法，其特征在于，所述根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用第二预设算法计算得到所述精度视差图，包括：根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二匹配算法计算得到第二匹配视差图；对所述第二匹配视差图进行第二次优化处理，得到所述精度视差图。12.根据权利要求11所述的方法，其特征在于，所述根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二匹配算法计算得到第二匹配视差图，包括：获取所述第一结构图像上若干个第二匹配网格点，各所述第二匹配网格点之间具有相距第二预设数量的像素点；获取所述第一结构图像上的预设第二匹配网格点，并根据所述第一匹配视差图获取所述预设第二匹配网格点在所述...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：