一种基于深度特征学习的软组织表面运动跟踪方法技术

本发明专利技术公开了一种基于深度特征学习的软组织表面运动跟踪方法，在图像三角剖分、重心坐标系理论与深度匹配三种算法的改进结合下，构造了一种无标记少样本的软组织特征跟踪算法模型，然后通过该模型实现对人体软组织目标区域准确、快速的表面运动跟踪，解决了以往各种特征跟踪中或者目标跟踪中需要大量标记样本的问题，符合当前临床医疗发展的需要。

【技术实现步骤摘要】
一种基于深度特征学习的软组织表面运动跟踪方法
本专利技术属于视觉跟踪
，更为具体地讲，涉及一种基于深度特征学习的软组织表面运动跟踪方法。
技术介绍
近年来，机器人技术越来越多的用于微创手术领域，用于减轻患者痛苦，降低手术医生的工作强度，提高手术精度和降低手术难度。很多先进的机器人辅助手术技术，都需要建立在对手术器官软组织表面特征的精确跟踪之上。此外，对内窥镜图像序列软组织表面特征的跟踪，在术后手术效果分析、手术培训和教学、虚拟现实软组织3D建模等领域也有重要应用。传统上，医学工程领域实现软组织表面的三维重构和跟踪，是通过构建各种模型实现跟踪软组织表面的运动。例如R.Richa等在文献《Three-dimensionalmotiontrackingforbeatingheartsurgeryusingathin-platesplinedeformablemodel》中使用薄板样条模型跟踪跳动心脏表面的运动。W.Lau等在文献《Stereo-basedendoscopictrackingofcardiacsurfacedeformat本文档来自技高网...

【技术保护点】
1.一种基于深度特征学习的软组织表面运动跟踪方法，其特征在于，包括以下步骤：/n(1)、对内窥镜视觉采集设备获取的软组织表面的N帧图像进行去噪和灰度处理，处理完成后，将第i帧内窥镜图像记作F

【技术特征摘要】
1.一种基于深度特征学习的软组织表面运动跟踪方法，其特征在于，包括以下步骤：
(1)、对内窥镜视觉采集设备获取的软组织表面的N帧图像进行去噪和灰度处理，处理完成后，将第i帧内窥镜图像记作Fi，i＝1,2,…,N；
(2)、在步骤(1)的基础上，使用OpenCV库中的SimpleBlobDetector提取每帧图像中的斑点，作为特征点；
(3)、在第一帧内窥镜图像F1中运用delaunay三角剖分算法，以检出的特征点为顶点构造三角网格；
(4)、在后续Fi中，i＝2,3,…,N，根据检出的特征点的位置坐标，对F1中的三角形逐个进行匹配；设F1中当前待匹配三角形为abc，具体匹配步骤如下：
(4.1)、在后续Fi中搜索满足长度和角度约束的候选匹配点，并组成三角形abc的若干候选三角形；
(4.1.1)、设置长度和角度的约束条件：
||La'b'-Lab||≤ΔLab(1)
||La'c'-Lac||≤ΔLac(2)
||θa-θa'||≤Δθ(3)
其中，Lab表示待匹配三角形的边ab之间的像素距离，θa表示待匹配三角形顶点a的夹角，La'b'表示候选三角形的边a'b'之间的像素距离，θa'表示候选三角形顶点a'的夹角，ΔLab、ΔLac和Δθ为设定的最大形变参数；
(4.1.2)、在后续Fi中，若待匹配三角形abc的三个顶点均未匹配，则在Fi中以F1的顶点a坐标为圆心，搜索半径为Δd内的所有特征点作为顶点a的候选匹配顶点，记为a'；
若待匹配三角形的某一个顶点已匹配，设顶点a'已匹配顶点a，则在Fi中搜索满足长度和角度约束公式(1)、(2)、(3)的所有候选特征点对{b',c'}，作为顶点b和c的候选匹配点，再与顶点a'组合构成若干候选三角形；
若待匹配三角形的某两个顶点匹配，设顶点a'、b'已匹配顶点a、b，则在Fi中搜索满足长度和角度约束公式(2)、(3)的所有特征点作为顶点c的候选匹配点，记为c'，再与a'、b'构成若干候选三角形；
(4.2)、计算每个候选三角形的像素匹配代价；
(4.2.1)、计算F1中待匹配三角形abc内每个像素点的重心坐标；
设(xa,ya)、(xb,yb)、(xc,yc)分别为顶点a、b、c的像素坐标，(xp,yp)为待匹配三角形内任一像素点p的像素坐标，那么点p在待匹配三角形内的重心坐标(α,β,γ)为：



(4.2.2)、计算像素点p在每个候选三角形中对应点p'的像素坐标；



(4.2.3)、在后续Fi中，通过双线性插值求出每个候选三角形中对应点p'的像素值Fi(p')，再与F1中对应点p的像素值F1(p)计算出每个候选三角形的均方根误差，并作为匹配该候选三角形的匹配代价；



其中，M为待匹配三角形内像素点的个数；
(4.3)、选出匹配代价满足ΔEi≤ε的有效候选三角形，ε为设定阈值；若有效候选三角形数量大于等于1，则在其中选择匹配代价ΔEi最小的三角形作为待匹配三角形abc的匹配三角形，从而确定F1和Fi中相应顶点的匹配关系；若有效...

【专利技术属性】
技术研发人员：杨波，侯鹏飞，郑文锋，刘珊，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51