一种基于径向样条插值的软组织三维视觉跟踪方法技术

本发明专利技术公开了一种基于径向样条插值的软组织三维视觉跟踪方法，在基于软组织图像的三角形目标区下，构造了一种低复杂度的非线性空间的三维形变模型，在每一帧图像下通过快速求解出三维形变模型的最优参数，实现对软组织图像的目标区域实时、准确的三维视觉跟踪，具有简单、灵活等特点，符合当前临床医疗发展的需要。

【技术实现步骤摘要】

本专利技术属于视觉跟踪
，更为具体地讲，涉及一种基于径向样条插值的软组织三维视觉跟踪方法。
技术介绍
近年来，以内窥镜手术为代表的微创手术越来越多的用于临床医疗。在这类手术中，医生通过观察探入内窥镜反馈回的实时影像，操控微创手术器械完成复杂的心脏外科手术。以脱泵冠脉搭桥术(offpumpCABG)为例，这种心脏不停跳的手术可使患者摆脱人工心肺机，降低体外循环对患者身体的损害，降低并发症的风险，缩短患者的康复时间。但是由于直接视觉的缺失，手术医生无法准确、直观的感知跳动心脏表面手术区域的三维运动，这给完成复杂精细的手术操作带来困难。为了给手术医生提供实时、准确的软组织三维运动信息，国外学者尝试利用各种传感器跟踪软组织的三维运动。由于微创手术空间狭小，无法植入大型三维扫描设备，人体软组织结构复杂又含较多的非线性形变，软组织三维跟踪成为医学工程领域中的难点。在不需要额外测量设备，基于立体内窥镜的软组织三维视觉跟踪逐渐受到科研和临床界的重视。W.Lau等在文献《Stereo-basedendoscopictrackingofcardiacsurfacedeformation》中利用B样条模型基于立体内窥镜影像对心脏表面形变进行三维跟踪，D.Stoyanov等在文献《Apracticalapproachtowardsaccuratedense3-Ddepthrecoveryforroboticlaparoscopicsurgery》中则使用分片双线性映射模型在机器人辅助内窥镜手术中对心脏表面进行三维重构和跟踪，R.Richa等在文献《Three-dimensionalmotiontrackingforbeatingheartsurgeryusingathin-platesplinedeformablemodel》中使用薄板样条模型跟踪跳动心脏表面的运动。然而，上述方法中所采用的形变模型通常较为复杂，很难实时应用；同时由于模型较复杂，在每一帧模型参数求解时，往往无法获得最优的参数解，甚至导致迭代求优算法无法收敛，最终导致跟踪失败。而现有的简单形变模型，如线性仿射变换模型，在用于跟踪时通常可以满足实时性要求，但由于无法准确描述软组织表面的非线性形变，因而无法获得精确的三维跟踪结果。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于径向样条插值的软组织三维视觉跟踪方法，通过构造了一种低复杂度的非线性空间形变模型，可以在每一帧快速的求解出模型参数，实现对软组织目标区域实时、准确的三维视觉跟踪。为实现上述专利技术目的，本专利技术一种基于径向样条插值的软组织三维视觉跟踪方法，其特征在于，包括以下步骤：(1)、将立体内窥镜获取的首帧k＝1左图像记为IL1；(2)、确定三角形目标区在左图像IL1中，确定需要跟踪的三角形目标区，其三个顶点的像素坐标分别用二维列向量表示为：ma，mb和mc；在三角形目标区内包含的N个像素点，其坐标分别记为：m1,m2,...,mN；(3)、保存跟踪模板从左图像IL1中提取目标区内N个点的像素值，按顺序排列并保存为N维行向量，记为：T＝[IL1(m1)IL1(m2)...IL1(mN)]其中，IL1(mn)为左图像IL1中像素点mn(n＝1,2,…,N)的像素值；(4)、根据步骤(2)确定的三角形目标区，构造径向样条插值三维形变模型；(4.1)、构造模型的设计矩阵Q=λ1-s1λoλ2-s2λo...λN-sNλos1s2...sN]]>其中，三维列向量λn(n＝1,2,...,N)为mn在三角形目标区中的重心坐标，由下式获得：λn=mambmc111-1mn1]]>λo为三角形目标区外接圆圆心的重心坐标，由下式获得：λo=-12||(ma-mb)×(mb-mc)||2||mb-mc||2(ma-mb)·(mc-ma)||mc-ma||2(mb-mc)·(ma-mb)||ma-mb||2(mc-ma)·(mb-mc)]]>sn(n＝1,2,…,N)为像素点mn的径向样条插值系数，由下式计算：sn=||mn-mo||32||ma-mo||3-3||mn-mo||22||ma-mo||2+1]]>其中，mo＝[mambmc]λo为三角形目标区外接圆圆心的像素坐标；(4.2)、构造径向样条插值三维形变模型P＝[papbpcpo]Q其中，模型参数pa、pb、pc、po分别为三角形目标区的三个顶点ma、mb、mc，和外接圆圆心mo在真实三维空间中的三维坐标列向量；3×N维的输出矩阵P包含了三角形目标区N个像素点的三维坐标，即P＝[p1p2…pN]，其中pn为像素点mn对应的三维坐标；(5)、获得第k帧的左右图像将立体内窥镜获取的第k帧左、右图像分别记为ILk、IRk；(6)、基于步骤(4)构造的三维形变模型，求解最优的模型参数，使左、右图像ILk、IRk与模板T之间最匹配，可用以下方程表示为：pa*,pb*,pc*,po*=argminpa,pb,pc,po(||IL-T||2+||IR-T||2)]]>其中，为最优的模型参数，它们使目标函数||IL-T||2+||IR-T||2最小；IL＝[ILk(m′1)ILk(m′2)...ILk(m′N)]、IR＝[IRk(m″1)IRk(m″2)...IRk(m″N)]分别为三角形目标区内N个点在第k帧左、右图像中的像素值排列而成的行向量，其中m′n和m″n为mn在第k帧左、右图像中的新坐标；(7)、输出目标区三维形态将步骤(6)获得的模型参数代入模型方程，得：P*=pa*pb*pc*p0*Q]]>输出矩阵P*包含了目标区N个点在第k帧时刻的三维坐标，从而获得目标区三维形态；(8)、k＝k+1：等待下一帧图像到来，帧序号加1，然后返回步骤(5)。进一步的，所述的步骤(6)中，像素点mn在第k帧左、右图像中的新坐标m′n和m″n的计算方法为：mn′=Φ(CLpn1),mn′′=Φ(CRpn1)]]>其中，pn为像素点mn对应的三维坐标，CL和CR分别为立体内窥镜左、右相机的投影矩阵，Φ是从三维齐次坐标到二维像素坐标的投影函数，具体定义如下：a‾/c‾b‾/c&O本文档来自技高网...

【技术保护点】
一种基于径向样条插值的软组织三维视觉跟踪方法，其特征在于，包括以下步骤：(1)、将立体内窥镜获取的首帧k＝1左图像记为IL1；(2)、确定三角形目标区在左图像IL1中，确定需要跟踪的三角形目标区，其三个顶点的像素坐标分别用二维列向量表示为：ma，mb和mc；在三角形目标区内包含的N个像素点，其坐标分别记为：m1,m2,...,mN；(3)、保存跟踪模板从左图像IL1中提取目标区内N个点的像素值，按顺序排列并保存为N维行向量，记为：T＝[IL1(m1) IL1(m2) ... IL1(mN)]其中，IL1(mn)为左图像IL1中像素点mn(n＝1,2,…,N)的像素值；(4)、根据步骤(3)确定的三角形目标区，构造径向样条插值三维形变模型；(4.1)、构造模型的设计矩阵Q=λ1-s1λoλ2-s2λo...λN-sNλos1s2...sN]]>其中，三维列向量λn(n＝1,2,...,N)为mn在三角形目标区中的重心坐标，由下式获得：λn=mambmc111-1mn1]]>λo为三角形目标区外接圆圆心的重心坐标，由下式获得：λo=-12||(ma-mb)×(mb-mc)||2||mb-mc||2(ma-mb)·(mc-ma)||mc-ma||2(mb-mc)·(ma-mb)||ma-mb||2(mc-ma)·(mb-mc)]]>sn(n＝1,2,…,N)为像素点mn的径向样条插值系数，由下式计算：sn=||mn-mo||32||ma-mo||3-3||mn-mo||22||ma-mo||2+1]]>其中，mo＝[ma mb mc]λo为三角形目标区外接圆圆心的像素坐标；(4.2)、构径向样条插值三维形变模型P＝[pa pb pc po]Q其中，模型参数pa、pb、pc、po分别为三角形目标区的三个顶点ma、mb、mc，和外接圆圆心mo在真实三维空间空间中的三维坐标列向量；3×N维的输出矩阵P包含了三角形目标区N个像素点的三维坐标，即P＝[p1 p2 … pN]，其中pn为像素点mn对应的三维坐标；(5)、将立体内窥镜获取的第k帧左、右图像分别记为ILk、IRk；(6)、基于步骤(4)构造的三维形变模型，求解最优的模型参数，使左、右图像ILk、IRk与模板T之间最匹配，可用以下方程表示为：pa*,pb*,pc*,po*=argminpa,pb,pc,po(||IL-T||2+||IR-T||2)]]>其中，为最优的模型参数，它们使目标函数||IL‑T||2+||IR‑T||2最小；IL＝[ILk(m′1) ILk(m′2) ... ILk(m′N)]、IR＝[IRk(m″1) IRk(m″2) ... IRk(m″N)]分别为三角形目标区内N个点在第k帧左、右图像中的像素值排列而成的行向量，其中m′n和m″n为mn在第k帧左、右图像中的新坐标；(7)、输出目标区三维形态将步骤(6)获得的模型参数代入模型方程，得：P*=pa*pb*pc*p0*Q]]>输出矩阵P*包含了目标区N个点在第k帧时刻的三维坐标，从而获得目标区三维形态；(8)、k＝k+1：等待下一帧图像到来，帧序号加1，然后返回步骤(5)。...

【技术特征摘要】
1.一种基于径向样条插值的软组织三维视觉跟踪方法，其特征在于，包括
以下步骤：
(1)、将立体内窥镜获取的首帧k＝1左图像记为IL1；
(2)、确定三角形目标区
在左图像IL1中，确定需要跟踪的三角形目标区，其三个顶点的像素坐标分
别用二维列向量表示为：ma，mb和mc；在三角形目标区内包含的N个像素点，
其坐标分别记为：m1,m2,...,mN；
(3)、保存跟踪模板
从左图像IL1中提取目标区内N个点的像素值，按顺序排列并保存为N维行向
量，记为：
T＝[IL1(m1)IL1(m2)...IL1(mN)]
其中，IL1(mn)为左图像IL1中像素点mn(n＝1,2,…,N)的像素值；
(4)、根据步骤(3)确定的三角形目标区，构造径向样条插值三维形变模
型；
(4.1)、构造模型的设计矩阵
Q=λ1-s1λoλ2-s2λo...λN-sNλos1s2...sN]]>其中，三维列向量λn(n＝1,2,...,N)为mn在三角形目标区中的重心坐标，由
下式获得：
λn=mambmc111-1mn1]]>λo为三角形目标区外接圆圆心的重心坐标，由下式获得：
λo=-12||(ma-mb)×(mb-mc)||2||mb-mc||2(ma-mb)·(mc-ma)||mc-ma||2(mb-mc)·(ma-mb)||ma-mb||2(mc-ma)·(mb-mc)]]>sn(n＝1,2,…,N)为像素点mn的径向样条插值系数，由下式计算：
sn=||mn-mo||32||ma-mo||3-3||mn-mo||22||ma-mo||2+1]]>其中，mo＝[mambmc]λo为三角形目标区外接圆圆心的像素坐标；
(4.2)、构径向样条插值三维形变模型
P＝[papbpcpo]Q
其中，模型参数pa、pb、pc、po分别为三角形目标区的三个顶点ma、mb、mc，
和外接圆圆心mo在真实三维空间空间中的三维坐标列向量；3×N维的输出矩阵P
包含了三角形目标区N个像素点的三维坐标，即P＝[p1p2…pN]，其中pn为像
素点mn对应的三维坐标；
(5)、将立体内窥镜获取的第k帧左、右图像分别记为ILk、IRk；
(6)、基于步骤(4)构造的三维形变模型，求解最优的模型参数，使左、
右图像ILk、IRk与模板T之间最匹配，可用以下方程表示为：
pa*,pb*,pc*,po*=argminpa,pb,pc,po(||IL-T||2+||IR-T||2)]]>其中，为最优的模型参数，它们使...

【专利技术属性】
技术研发人员：杨波，郑文锋，刘珊，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51