一种基于图像数据处理的腔镜VR成像系统技术方案

本发明专利技术公开了一种基于图像数据处理的腔镜VR成像系统，涉及腔镜VR成像技术领域，包括控制层、设备层、数据库层，所述设备层包括输入设备和输出设备，所述输入设备包括摄像机组、音频设备，所述输出设备包括腔镜VR成像的显示装置、报警装置，所述数据库层用于存储腔镜VR成像系统工作中采集的数据，所述控制层包括CPU、图像处理模块、计算模块、通讯模块、预警模块，所述CPU用于对整体系统的运行进行管理控制，所述预警模块用于对腔镜手术因医生所持手术刀刀尖的抖动幅度变化而产生的手术风险进行预警，并通过所述输出设备中的报警装置进行报警，所述图像处理模块用于对二维图像进行处理以形成VR图像。理以形成VR图像。理以形成VR图像。

【技术实现步骤摘要】
一种基于图像数据处理的腔镜VR成像系统


[0001]本专利技术涉及腔镜VR成像
，特别涉及腔镜VR成像领域中图像数据的处理。

技术介绍

[0002]目前在医学领域，VR成像系统主要用于实践教学、CT（电子计算机断层扫描）以及医学机器人这些风险较低的应用方向，在腔镜手术领域，VR成像系统主要偏向于手术培训和对手术路线的导航。
[0003]如公开号为CN115602032A的中国专利公开了一种基于虚拟现实的消化内镜手术培训系统，所述基于虚拟现实的消化内镜手术培训系统包括：智能手术机器人、人机交互模块、虚拟现实模块以及远程指导模块；所述智能手术机器人与所述人机交互模块连接；所述人机交互模块与所述虚拟现实模块连接；所述远程指导模块与所述虚拟现实模块连接。本专利技术通过视觉仿真使相关人体器官以及手术环境更加真实并提高手术训练的质量。
[0004]但现有VR成像技术在实际的腔镜手术中，无法做到对腔镜手术因医生而产生的手术风险进行危险判断和预警。为解决这一问题，本专利技术提出了一种基于图像数据处理的腔镜VR成像系统。

技术实现思路

[0005]针对现有技术的不足，本专利技术的主要目的是提供一种基于图像数据处理的腔镜VR成像系统，能够有效解决
技术介绍
中的问题：现有VR成像技术在实际的腔镜手术中，无法做到对腔镜手术因医生而产生的手术风险进行危险判断和预警。本专利技术的具体技术方案如下：一种基于图像数据处理的腔镜VR成像系统，包括控制层、设备层、数据库层；所述设备层包括输入设备和输出设备，所述输入设备包括摄像机组、音频设备，所述摄像机组用于获取腔镜手术时的二维图像，所述音频设备用于获取腔镜手术中的音频信息；所述输出设备包括腔镜VR成像的显示装置、报警装置，所述报警装置用于对手术风险进行预警，所述显示装置用于显示腔镜VR成像后的图像；所述数据库层用于存储腔镜VR成像系统工作过程中采集的数据；所述控制层包括CPU、图像处理模块、计算模块、通讯模块、预警模块，所述CPU用于对整体系统的运行进行管理控制，所述预警模块用于对腔镜手术因医生所持手术刀刀尖的抖动幅度变化而产生的手术风险进行预警，并通过所述输出设备中的报警装置进行报警，所述图像处理模块用于对二维图像进行处理以形成VR图像，所述计算模块用于对腔镜手术中提取到的各项数据进行计算分析，所述通讯模块用于在腔镜VR成像系统内部构建通讯网络，实现系统内部的数据互传。
[0006]本专利技术进一步的改进在于，所述图像处理模块包括图像去噪单元、图像拼接单元，所述图像去噪单元用于对模糊的、不清晰的二维图像进行去噪处理，所述图像拼接单元用于对不同图像重叠区域的特征点提取，并对图像进行校准、初匹配、拼接，使多个不同二维
图像组合形成VR图像。
[0007]本专利技术进一步的改进在于，所述计算模块包括位置信息计算单元、抖动幅度计算单元，所述位置信息计算单元用于对病变部位与手术刀刀尖所处区域的位置信息进行精确计算，所述抖动幅度计算单元用于对在腔镜手术中执刀医生的不同持刀姿势下手术刀刀尖的抖动幅度进行计算。
[0008]本专利技术进一步的改进在于，所述计算模块中包括整体计算策略，所述整体计算策略包括以下具体步骤：1、位置信息计算，包括：病变部位处于VR图像中的位置信息，医生所持手术刀刀尖操作的位置；2、计算腔镜手术中执刀医生手术刀刀尖在不同持刀姿势下的抖动幅度；3、根据医生所持手术刀刀尖操作的位置、刀尖抖动幅度大小、病变部位边缘位置信息进行危险判断，当判断手术刀尖不在病变部位边缘位置时，进行风险预警。
[0009]本专利技术进一步的改进在于，所述位置信息计算单元包括：对病变部位与手术刀刀尖所处区域的位置信息的计算策略，所述对病变部位与手术刀刀尖所处区域的位置信息的计算策略为：s1、设进行所述VR成像的摄像机组分别为、，进行所述VR成像的摄像机组的投影矩阵分别为、，其中是投影矩阵的第i行第j列元素，是投影矩阵的第i行第j列元素，是第i个摄像机组的光心到病变部位与手术刀刀尖所处区域的距离，为病变部位与手术刀刀尖所处区域通过摄像机组得到的二维图像下的齐次坐标，其中为其二维图像下的齐次坐标的横坐标，为其二维图像下的齐次坐标的纵坐标，为病变部位与手术刀刀尖所处区域通过摄像机组得到的二维图像下的齐次坐标，其中为其二维图像下的齐次坐标的横坐标，为其二维图像下的齐次坐标的纵坐标，是病变部位与手术刀刀尖所处区域在世界坐标系下的齐次坐标，建立方程式：=；=；
s2、对上述方程式消去、，得到关于的4个线性方程：(
‑
)X+(
‑
)Y+(
‑
)Z=
‑
；(
‑
)X+(
‑
)Y+(
‑
)Z=
‑
；(
‑
)X+(
‑
)Y+(
‑
)Z=
‑
；(
‑
)X+(
‑
)Y+(
‑
)Z=
‑
；s3、对4个线性方程联立求解，求解以摄像机组光心为坐标原点，病变部位与手术刀刀尖所处区域的三维点坐标。
[0010]本专利技术进一步的改进在于，所述抖动幅度计算单元包括抖动幅度的计算策略，所述抖动幅度的计算策略用于计算腔镜手术中执刀医生不同持刀姿势下手术刀刀尖的抖动幅度，具体步骤为：a1、对医生、手术刀刀尖的位置信息进行计算，设其持刀姿势有m种，不同持刀姿势持续时间分别为，，...，，其中表示第i个持刀姿势持续时间的编号，对m种持刀姿势下，手术刀刀尖的位置信息间隔1ms提取一次；a2、计算同一种持刀姿势下，提取n次手术刀刀尖的位置信息的三维点坐标，，....，，因间隔1ms提取一次，所以n为同种持刀姿势持续时间T的大小，则相邻两次提取的位置信息的点坐标和，在X，Y，Z坐标轴下的距离分别为，，，，分别计算相邻两次提取的三维点坐标距离，则同种持刀姿势下刀尖抖动幅度，即得腔镜手术中执刀医生手术刀刀尖在m种持刀姿势下的抖动幅度分别为，，...，；本专利技术进一步的改进在于，所述危险判断具体步骤为：b1、分析医生的持刀姿势，求得在该持刀姿势下，手术刀刀尖的振动幅度为；b2、计算医生手持手术刀操作的位置信息的三维点坐标、病变部位边缘位置的三维点坐标，求得两者距离为；
b3、判断与的大小，若>，即说明医生并不能精准切除病变部位，发出风险预警。
[0011]与现有技术相比，本专利技术具有如下有益效果：1、本专利技术能够对腔镜手术因医生而产生的手术风险进行危险判断和预警，大大减少了腔镜手术中存在的风险，提高了腔镜手术的安全性；2、在腔镜手术中，医生的不同的持刀姿势下所持手术刀刀尖的抖动幅度差异较大，本专利技术能够对腔镜手术中执刀医生在不同持刀姿势下手术刀刀尖的抖动幅度进行精确量化，以便更精准的切除病变部位，在现有技术的基础上更进一步的提高切除的准确率和腔镜手术的成功率。
附图说明
[0012]图1为本专利技术一种基于图像数据处理的腔镜VR成像系统的框架本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像数据处理的腔镜VR成像系统，包括控制层、设备层、数据库层；所述设备层包括输入设备和输出设备，所述输入设备包括摄像机组、音频设备，所述摄像机组用于获取腔镜手术时的二维图像，所述音频设备用于获取腔镜手术中的音频信息；所述输出设备包括腔镜VR成像的显示装置、报警装置，所述报警装置用于对手术风险进行预警，所述显示装置用于显示腔镜VR成像后的图像；所述数据库层用于存储腔镜VR成像系统工作过程中采集的数据；其特征在于：所述控制层包括CPU、图像处理模块、计算模块、通讯模块、预警模块，所述CPU用于对整体系统的运行进行管理控制，所述预警模块用于对腔镜手术因医生所持手术刀刀尖的抖动幅度变化而产生的手术风险进行预警，并通过所述输出设备中的报警装置进行报警，所述图像处理模块用于对二维图像进行处理以形成VR图像，所述计算模块用于对腔镜手术中提取到的各项数据进行计算分析，所述通讯模块用于在腔镜VR成像系统内部构建通讯网络，实现系统内部的数据互传。2.根据权利要求1所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述图像处理模块包括图像去噪单元、图像拼接单元，所述图像去噪单元用于对模糊的、不清晰的二维图像进行去噪处理，所述图像拼接单元用于对不同图像重叠区域的特征点提取，并对图像进行校准、初匹配、拼接，使多个不同二维图像组合形成VR图像。3.根据权利要求2所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述计算模块包括位置信息计算单元、抖动幅度计算单元，所述位置信息计算单元用于对病变部位与手术刀刀尖所处区域的位置信息进行精确计算，所述抖动幅度计算单元用于对在腔镜手术中执刀医生的不同持刀姿势下手术刀刀尖的抖动幅度进行计算。4.根据权利要求3所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述计算模块中包括整体计算策略，所述整体计算策略包括以下具体步骤：101、位置信息计算，包括：病变部位处于VR图像中的位置信息，医生所持手术刀刀尖操作的位置；102、计算腔镜手术中执刀医生手术刀刀尖在不同持刀姿势下的抖动幅度；103、根据医生所持手术刀刀尖操作的位置、刀尖抖动幅度大小、病变部位边缘位置信息进行危险判断，当判断手术刀尖不在病变部位边缘位置时，进行风险预警。5.根据权利要求3所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述位置信息计算单元包括：对病变部位与手术刀刀尖所处区域的位置信息的计算策略，所述对病变部位与手术刀刀尖所处区域的位置信息的计算策略为：201、设进行所述VR成像的摄像机组分别为 、，进行所述VR成像的摄像机组的投影矩阵分别为、，其中是投影矩阵的第i行第j列元素，是投影矩阵的第i行第j列元素，是第i个摄像机组的光心到病变部位与手术刀刀...

【专利技术属性】
技术研发人员：蔡惠明，李长流，王子阳，倪轲娜，卢露，
申请(专利权)人：南京诺源医疗器械有限公司，
类型：发明
国别省市：