基于虚拟现实的真实腔镜微创手术仿真训练系统及方法技术方案

技术编号:20077811 阅读:58 留言:0更新日期:2019-01-15 01:28
本发明专利技术属于医疗设备技术领域,公开了一种基于虚拟现实的真实腔镜微创手术仿真训练方法,包括:几何建模模块、绘制模块、视觉渲染模块、物理建模模块、显示模块、操作模块、碰撞检测模块、更新图像模块、反馈模块。通过几何建模模块得到三维图像信息,通过视觉渲染模块将得到的模型进行改进;通过绘制模块将虚拟的手术器械绘制出来;通过物理建模模块为模型添加具有物理意义的约束条件;通过显示模块将模拟好的腔镜微创手术部位显示出来,通过操作模块控制虚拟环境中手术器械的运动;通过碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作;通过反馈模块完成虚拟环境中对象的反作用力交互;通过图像更新模块完成视觉部分的交互。

Virtual reality-based simulation training system and method for real endoscopy minimally invasive surgery

The invention belongs to the technical field of medical equipment, and discloses a virtual reality-based simulation training method for real endoscopy minimally invasive surgery, including geometric modeling module, drawing module, visual rendering module, physical modeling module, display module, operation module, collision detection module, update image module and feedback module. Three-dimensional image information is obtained by geometric modeling module, and the model is improved by visual rendering module; virtual surgical instruments are drawn by drawing module; physical constraints are added to the model by physical modeling module; simulated minimally invasive surgical sites are displayed by display module, and virtual environment is controlled by operation module. The motion of surgical instruments in virtual environment; the collision detection is used to judge whether the two models collide and determine the collision point; the reaction force interaction of objects in virtual environment is completed by feedback module; and the interaction of visual part is completed by image updating module.

【技术实现步骤摘要】
基于虚拟现实的真实腔镜微创手术仿真训练系统及方法
本专利技术属于医疗设备
,尤其涉及一种基于虚拟现实的真实腔镜微创手术仿真训练系统及方法。
技术介绍
目前,业内常用的现有技术是这样的:腔镜手术创伤小、恢复快,大大减少了病人的痛苦,同时缩短了住院时间,术后遗留的瘢痕小,不影响外观,符合现代微创外科的发展及人爱美的要求。但是,腔镜的成功实施是基于外科医生熟练且精湛的操作技术和大量的临床经验,手术的操作与传统手术有较大改变,手术者对空间感知也有明显变化,这些都导致外科医生的学习期限延长。现有的腔镜模拟器技术,主体结构是一个盒体,盒体内放置着供训练用的器具,手术者手持腹腔镜器械伸进盒中进行操作训练,只能模拟简单的切割、分离、包扎等基本操作,不能模拟人体的生理环境及真实的手术情景;现有的虚拟腔镜模拟系统,借助先进的计算机设备及软件模拟腹腔镜手术,虚拟腔镜模拟系统能模拟手术情景,也能模拟相对复杂的手术环境,但不够逼真,对手术时的操作感知反馈不够;现有的模拟人体的外壳训练系统,有模拟人体的各个模型腔,本身造价高,再加上模拟手术训练过程中采用刀具模拟切割、分离、包扎会破坏模型更增加了成本。综上所述,现有技术存在的问题是:(1)现有的腔镜模拟器技术,主体结构是一个盒体,盒体内放置着供训练用的器具,手术者手持腹腔镜器械伸进盒中进行操作训练,只能模拟简单的切割、分离、结扎等基本操作,不能模拟人体的生理环境及真实的手术情景;模拟相对复杂的手术环境不够逼真,对手术时的操作感知反馈不够;现有的模拟人体的外壳训练系统,有模拟人体的各个模型腔,本身造价高,再加上模拟手术训练过程中采用刀具模拟切割、分离、包扎会破坏模型更增加了成本。(2)有限元模型精度高,模拟软组织形变的逼真度也相对高。但是该方法求解过程复杂,运算量大,很难满足手术仿真中的实时性;边界元法针对细节丰富的复杂模型的求解问题,该方法的计算量仍然不能达到要求。(3)在模拟手术操作过程中,反作用力信号反馈的速度过慢,有用力信号太弱,对手术的操作造成干扰的信号太多。(4)显示过程中的图像有误差,加上由杂散光、CCD噪声和电子电路产生的随机噪声,使得图像特征,尤其特征点中心,很难准确提取。(5)现有技术中经CT扫描,获得二维切片图片清晰度不够,不利于诊断;现有技术中易受到外界及本身因素的影响,造成反馈信息的不准或者失常;现有技术中对于图像的分析能力较差,不利于视觉部份的交互了解。
技术实现思路
针对现有技术存在的问题,本专利技术提供了一种基于虚拟现实的真实腔镜微创手术仿真训练系统及方法。本专利技术是这样实现的,基于虚拟现实的真实腔镜微创手术仿真训练方法,所述基于虚拟现实的真实腔镜微创手术仿真训练方法包括:步骤一,通过几何建模模块将二维切片图分析处理得到初步的腔镜微创手术部位三维图像信息,通过视觉渲染模块用于把三维重建技术得到的初步腔镜微创手术部位模型用视觉渲染技术对初步得到的模型进行进一步的改进;步骤二,通过绘制模块将虚拟的腔镜微创手术器械采用三维图形软件绘制出来。步骤三,通过物理建模模块为模型添加具有物理意义的约束条件,根据生物力学特性建立物理上的动力学模型,让腔镜微创手术模型模拟物体的物理特性;步骤四,通过显示模块将模拟好的腔镜微创手术部位显示出来,通过操作模块控制虚拟环境中手术器械的运动;步骤五,通过碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作;碰撞响应即根据碰撞点的位置变化情况、计算模型使碰撞对象做出相应的动作响应;步骤六,通过反馈模块将腔镜微创手术仿真训练操作的力反馈给操作者;完成了虚拟环境中对象的反作用力交互;步骤七,通过图像更新模块将腔镜微创手术仿真训练操作的实时图像更新反馈给操作者;完成了视觉部分的交互。进一步,所述几何建模模块的CT扫描,用于扫描获得二维切片图,CT设置有灰度和图像增强的处理功能,使得经过CT扫描后,获得清晰的二维切片图片,为几何建模模块提供良好的基础图片信息,从源头保证手术部位三维图像信息的准确性;具体包括:步骤一:使用YUV色彩系统中Y分量描述图像像素点的灰度值,U和V是指色调即描述图像色彩的属性,YUV色彩系统与RGB色彩系统转换关系为:步骤二:使用灰度直方图变换来增加图像对比度,灰度直方图是用于表达图像灰度分步的统计图表,是图像的各灰度级分布情况的反映,定义为:P(κ)=nk(k=0,1,2,......,255);式中,k图像灰度值,nk灰度值为k的像素点数。进一步,所述反馈模块采取灰色模型对反馈模块辅助,实现反馈信息的精准与及时;GM(1,1)模型,对本身数据的预测,有变量X(0)的原始数据序列:X(0)={x(0)(1),x(0)(2),…,x(0)(n)};n为原始数据个数;与之对应的时间为ti(n=1,2,…,n);用AGO生成一阶累加模块X(1)X(1)={x(1)(1),x(1)(2),…,x(1)(n)};由一阶灰色模块X(1)构成的微分方程为:根据导数离散化形式,微分方程以矩阵形式写成:Y=AU;其中:利用最小二乘原理,求得参数估计值为:回到原来、的微分方程有:得解为:离散形式为:其中,k为参与反馈信息的原始数据个数;形式为:其中,P>1为反馈信息点;则反馈后的原始序列为:或者,表达为:整个灰色模型预报过程表达为:其中,IAGO,AGO分别为累减生成序列和累加生成序列。进一步,所述更新图像模块,采用FCM图像分割算法分析,具体包括以下步骤:步骤一:初始化的确定:根据图像分割的要求,需要对更新图像进行初始化的确定,并对需要的参数进行初始化,并将直方图的聚类中心;步骤二:因子的自适应性的确定,适应度,根据构造的适应函数:f=a/(b+J);其中,a,b是可调整的参数,根据实验分别取值为10和1.5,J为的目标函数;步骤三:变异操作:个体前后的变化量为0.5r(t/T),数据r是在规定的区间内产生的随机数,T为计算的最大代数;步骤四:迭代计算:将通过新的切割数据得出新的模糊隶属度矩阵,产生新的切割参数,返回步骤二进行迭代计算,直到完成条件的终止,完成更新图像的分割。进一步,所述物理建模模块的模拟软组织形变方法为质点-弹簧模型,整个组织模型中有n个质点,在某一时刻有外力施加于模型,F为施加在模型上的总作用力,X为运动质点的位移,V为速度,M为质点模型质量:V=X′;总作用力F是外力Fext和内部力Fint的矢量和,质点-弹簧模型的内力是弹力Fs和阻尼力Fd的矢量和,根据胡克定律,弹力Fs=KX,K为刚度系数,阻尼力Fd=DV=DX′,D是阻尼系数,得到下列公式:F=Fint+Fext=Fs+Fd+Fext=KX+DX′+Fext;此处的加号表示矢量和,模型中的质点均满足此动力学方程;第i个质点的位移为xi,质量为mi,结合以上动力学方程及牛顿第二定律可知:Fext=mix″i+Fs+Fd;设p(i)是与质点i相邻的质点的集合,kij是相邻质点间的弹性系数,dij是相邻质点间的阻尼系数,rij0和rij是相邻质点弹簧间的原距离和形变后的距离,rij/||rij||为单位向量,则有:联立得:位移x和速度v作为状态变量,则有如下表达式:进一步,所述反馈模块的力反馈方法为,刀具受到的血液的粘滞阻力,用如下公式表示:f=η·Δ本文档来自技高网
...

【技术保护点】
1.一种基于虚拟现实的真实腔镜微创手术仿真训练方法,其特征在于,所述基于虚拟现实的真实腔镜微创手术仿真训练方法包括:步骤一,通过几何建模模块将二维切片图分析处理得到初步的腔镜微创手术部位三维图像信息,通过视觉渲染模块用于把三维重建技术得到的初步腔镜微创手术部位模型用视觉渲染技术对初步得到的模型进行进一步的改进;步骤二,通过绘制模块将虚拟的腔镜微创手术器械采用三维图形软件绘制出来;步骤三,通过物理建模模块为模型添加具有物理意义的约束条件,根据生物力学特性建立物理上的动力学模型,让腔镜微创手术模型模拟物体的物理特性;步骤四,通过显示模块将模拟好的腔镜微创手术部位显示出来,通过操作模块控制虚拟环境中手术器械的运动;步骤五,通过碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作;碰撞响应即根据碰撞点的位置变化情况、计算模型使碰撞对象做出相应的动作响应;步骤六,通过反馈模块将腔镜微创手术仿真训练操作的力反馈给操作者;完成了虚拟环境中对象的反作用力交互;步骤七,通过图像更新模块将腔镜微创手术仿真训练操作的实时图像更新反馈给操作者;完成了视觉部分的交互。

【技术特征摘要】
1.一种基于虚拟现实的真实腔镜微创手术仿真训练方法,其特征在于,所述基于虚拟现实的真实腔镜微创手术仿真训练方法包括:步骤一,通过几何建模模块将二维切片图分析处理得到初步的腔镜微创手术部位三维图像信息,通过视觉渲染模块用于把三维重建技术得到的初步腔镜微创手术部位模型用视觉渲染技术对初步得到的模型进行进一步的改进;步骤二,通过绘制模块将虚拟的腔镜微创手术器械采用三维图形软件绘制出来;步骤三,通过物理建模模块为模型添加具有物理意义的约束条件,根据生物力学特性建立物理上的动力学模型,让腔镜微创手术模型模拟物体的物理特性;步骤四,通过显示模块将模拟好的腔镜微创手术部位显示出来,通过操作模块控制虚拟环境中手术器械的运动;步骤五,通过碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作;碰撞响应即根据碰撞点的位置变化情况、计算模型使碰撞对象做出相应的动作响应;步骤六,通过反馈模块将腔镜微创手术仿真训练操作的力反馈给操作者;完成了虚拟环境中对象的反作用力交互;步骤七,通过图像更新模块将腔镜微创手术仿真训练操作的实时图像更新反馈给操作者;完成了视觉部分的交互。2.如权利要求1所述的基于虚拟现实的真实腔镜微创手术仿真训练方法,其特征在于,所述几何建模模块的CT扫描,用于扫描获得二维切片图,CT设置有灰度和图像增强的处理功能,使得经过CT扫描后,获得清晰的二维切片图片,为几何建模模块提供良好的基础图片信息,从源头保证手术部位三维图像信息的准确性;具体包括:步骤一:使用YUV色彩系统中Y分量描述图像像素点的灰度值,U和V是指色调即描述图像色彩的属性,YUV色彩系统与RGB色彩系统转换关系为:步骤二:使用灰度直方图变换来增加图像对比度,灰度直方图是用于表达图像灰度分步的统计图表,是图像的各灰度级分布情况的反映,定义为:P(κ)=nk(k=0,1,2,......,255);式中,k图像灰度值,nk灰度值为k的像素点数。3.如权利要求1所述的基于虚拟现实的真实腔镜微创手术仿真训练方法,其特征在于,所述反馈模块采取灰色模型对反馈模块辅助,实现反馈信息的精准与及时;GM(1,1)模型,对本身数据的预测,有变量X(0)的原始数据序列:X(0)={x(0)(1),x(0)(2),…,x(0)(n)};n为原始数据个数;与之对应的时间为ti(n=1,2,…,n);用AGO生成一阶累加模块X(1)X(1)={x(1)(1),x(1)(2),…x(1)(n)};由一阶灰色模块X(1)构成的微分方程为:根据导数离散化形式,微分方程以矩阵形式写成:Y=AU;其中:利用最小二乘原理,求得参数估计值为:回到原来、的微分方程有:得解为:离散形式为:其中,k为参与反馈信息的原始数据个数;形式为:其中,P>1为反馈信息点;则反馈后的原始序列为:或者,表达为:整个灰色模型预报过程表达为:其中,IAGO,AGO分别为累减生成序列和累加生成序列。4.如权利要求1所述的基于虚拟现实的真实腔镜微创手术仿真训练方法,其特征在于,所述更新图像模块,采用FCM图像分割算法分析,具体包括以下步骤:步骤一:初始化的确定:根据图像分割的要求,需要对更新图像进行初始化的确定,并对需要的参数进行初始化,并将直方图的聚类中心;步骤二:因子的自适应性的确定,适应度,根据构造的适应函数:f=a/(b+J);其中,a,b是可调整的参数,根据实验分别取值为10和1.5,J为的目标函数;步骤三:变异操作:个体前后的变化量为0.5r(t/T),数据r是在规定的区间内产生的随机数,T为计算的最大代数;步骤四:迭代计算:将通过新的切割数据得出新的模糊隶属度矩阵,产生新的切割参数,返回步骤二进行迭代计算,直到完成条件的终止,完成更新图像的分割。5.如权利要求1所述的基于虚拟现实的真实腔镜微创手术仿真训练方法,其特征在于,所述物理建模模块的模拟...

【专利技术属性】
技术研发人员:郭瑞霞谢娅王倩王欣欣褚丹霞赵孟玲马迪蒙
申请(专利权)人:郑州大学第一附属医院
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1