用于在医生控制台显示虚拟手术器械的方法及医生控制台技术

本说明书涉及内窥镜手术技术领域，具体地公开了一种用于在医生控制台显示虚拟手术器械的方法及医生控制台，其中，该方法包括：获取医生控制台的主控制臂的图像；根据所述主控制臂的图像，确定所述主控制臂的姿态数据；基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。上述方案通过在立体监视器中显示虚拟指令器械图像，可以便于医生及时发现误操作，及时发现器械故障，辅助医生操作，提高手术效率，提高手术质量和成功率，改善医生和患者的手术体验。手术体验。手术体验。

【技术实现步骤摘要】
用于在医生控制台显示虚拟手术器械的方法及医生控制台


[0001]本说明书涉及内窥镜手术
，特别涉及一种用于在医生控制台显示虚拟手术器械的方法及医生控制台。

技术介绍

[0002]在现有内窥镜医疗机器人手术中，医生通过医生控制台中的主控制臂和脚踏等对处于内窥镜手术环境中的手术器械进行控制操作，需要医生的手部动作和脚踏动作切换配合。医生控制台中的立体监视器中显示有内窥镜手术环境中的手术器械的图像。对于医生的脚步动作及手部动作，医生在操作时只能凭培训或者以往经验中的肌肉记忆进行，很容易误操作，影响手术质量和成功率。
[0003]针对上述问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本说明书实施例提供了一种用于在医生控制台显示虚拟手术器械的方法及医生控制台，以解决现有技术中仅凭借立体监视器中的内窥镜图像进行手术时容易误操作的问题。
[0005]本说明书实施例提供了一种用于在医生控制台显示虚拟手术器械的方法，包括：获取医生控制台的主控制臂的图像；根据所述主控制臂的图像，确定所述主控制臂的姿态数据；基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。
[0006]在一个实施例中，该方法还包括：获取医生控制台的脚踏图像和/或操作者的脚部图像；根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据，以在所述立体监视器中显示脚踏区域和/或脚部区域。
[0007]在一个实施例中，该方法还包括：当所述医生控制台的一个或多个脚踏被有效踩踏时，在所述立体监视器中对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。
[0008]在一个实施例中，所述主控制臂的图像包括双目摄像头采集的主控制臂的左目图像和右目图像。
[0009]在一个实施例中，图像采集装置包括双目摄像头和红外线测距仪。
[0010]在一个实施例中，图像采集装置包括RGB
‑
D(RGB
‑
Depth)摄像机。
[0011]在一个实施例中，图像采集装置包括两个垂直设置的单目摄像头。
[0012]在一个实施例中，图像采集装置包括两个垂直设置的单目摄像头和红外线测距仪。
[0013]在一个实施例中，根据所述主控制臂的图像，确定所述主控制臂的姿态数据，包括：获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位
置参数，确定出所述各特征点对应的空间位置数据；根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。
[0014]在一个实施例中，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。
[0015]在一个实施例中，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：根据所述主控制臂的姿态数据和所述手术器械的三维模型，利用预设的控制算法生成所述手术器械的虚拟姿态数据。
[0016]在一个实施例中，所述立体监视器中还显示有内窥镜采集的手术器械的实际器械图像；在所述医生控制台的立体监视器中显示虚拟指令器械图像之后，还包括：将所述实际器械图像与所述虚拟指令器械图像进行对比；根据对比结果，确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分；所述立体监视器还用于对所述目标部分进行标注显示。
[0017]本说明书实施例还提供了一种医生控制台，包括：图像采集装置，用于采集医生控制台的主控制臂的图像；图像处理装置，用于根据所述主控制臂的图像，确定所述主控制臂的姿态数据；还用于基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据；立体监视器，用于根据所述虚拟姿态数据显示虚拟指令器械图像。
[0018]在一个实施例中，所述图像采集装置还用于采集医生控制台的脚踏图像以及操作者的脚部图像；所述图像处理装置还用于根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据；所述立体监视器还用于根据所述脚踏位置数据显示脚踏区域，和/或根据所述脚部位置数据显示脚部区域。
[0019]在一个实施例中，所述立体监视器还用于对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。
[0020]在一个实施例中，所述图像采集装置包括双目摄像头，所述双目摄像头用于采集所述主控制臂的左目图像和右目图像。
[0021]在一个实施例中，所述图像处理装置具体用于：获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位置参数，确定出所述各特征点对应的空间位置数据；根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。
[0022]在一个实施例中，所述图像处理装置具体用于：基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。
[0023]在一个实施例中，所述图像处理装置具体用于：根据所述主控制臂的姿态数据和所述手术器械的三维模型，利用预设的控制算法生成所述手术器械的虚拟姿态数据。
[0024]在一个实施例中，所述立体监视器中还显示有内窥镜采集的手术器械的实际器械图像；所述图像处理装置还用于：将所述实际器械图像与所述虚拟指令器械图像进行对比；根据对比结果，确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设
范围的目标部分；所述立体监视器还用于对所述目标部分进行标注显示。
[0025]本说明书实施例还提供一种医疗设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的用于在医生控制台显示虚拟手术器械的方法的步骤。
[0026]本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的用于在医生控制台显示虚拟手术器械的方法的步骤。
[0027]在本说明书实施例中，提供了一种用于在医生控制台显示虚拟手术器械的方法，可以获取医生控制台的主控制臂的图像，根据获得的主控制臂的图像，确定所述主控制臂的姿态数据，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。上述方案中，先根据主控制臂的图像确定主控制臂的姿态数据，由于主控制臂与手术器械之间存在主从关系，可以根据主控制臂的姿态数据和手术器械的三维模型，生成手术器械的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在医生控制台显示虚拟手术器械的方法，其特征在于，包括：获取医生控制台的主控制臂的图像；根据所述主控制臂的图像，确定所述主控制臂的姿态数据；基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。2.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，还包括：获取医生控制台的脚踏图像和/或操作者的脚部图像；根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据，以在所述立体监视器中显示脚踏区域和/或脚部区域。3.根据权利要求2所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，还包括：当所述医生控制台的一个或多个脚踏被有效踩踏时，在所述立体监视器中对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。4.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，所述主控制臂的图像包括双目摄像头采集的主控制臂的左目图像和右目图像。5.根据权利要求4所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，根据所述主控制臂的图像，确定所述主控制臂的姿态数据，包括：获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位置参数，确定出所述各特征点对应的空间位置数据；根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。6.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。7.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：获取目标机器学习模型；所述目标机器学习模型是基于所述手术器械的三维模型预先建立的；...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：