手术视觉随动系统的控制方法及手术视觉随动系统技术方案

本发明专利技术实施例提供一种手术视觉随动系统的控制方法及手术视觉随动系统，所述控制方法包括如下步骤：图像采集模块连续采集目标的图像信息，并发送至控制模块；控制模块在图像采集模块发送的若干图像信息中进行筛选，筛选出目标图像后向用户终端发送目标图像；用户终端向控制模块反馈空间位置信息，控制模块根据用户终端反馈的空间位置信息生成用于控制图像采集模块与用户终端同步动作的控制指令，并通过控制指令控制图像采集模块与用户终端同步动作。本发明专利技术通过主从方式控制机器人末端显微镜的运动，以此实现显微镜视野移动，并将其视野范围内的图像传回给医生，获得更直观的观察方式，解放使用者的双手。

Control method of surgical visual follow-up system and surgical visual follow-up system

【技术实现步骤摘要】
手术视觉随动系统的控制方法及手术视觉随动系统
本专利技术涉及医疗设备
，尤其涉及一种手术视觉随动系统的控制方法及手术视觉随动系统。
技术介绍
目前耳鼻喉手术过程中，手术设备可以包括具有后段和前段手术过程能力的手术显微镜来放大手术视野。但在实际手术过程中，由于经过放大后视野范围变小，若要观察其它部位则需要反复手动调整显微镜的位置姿态，操作较为繁琐，在一定程度上也影响对患者病情的及时诊治。有鉴于此提出本专利技术。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种手术视觉随动系统的控制方法，用以解决现有技术中需要手动调整显微镜观察角度和位置的缺陷，通过主从方式控制机器人末端显微镜的运动，以此实现显微镜视野移动，并将其视野范围内的图像传回给医生，获得更直观的观察方式，解放使用者的双手。本专利技术还提出一种手术视觉随动系统，用以解决现有技术中需要手动调整显微镜观察角度和位置的缺陷，通过主从方式控制机器人末端显微镜的运动，以此实现显微镜视野移动，并将其视野范围内的图像传回给医生，获得更直观的观察方式，解放使用者的双手。根据本专利技术第一方面实施例的一种手术视觉随动系统的控制方法，应用于用户终端，所述用户终端与控制模块连接，所述控制模块与图像采集模块连接，所述控制方法包括如下步骤：所述图像采集模块连续采集目标的图像信息，并发送至所述控制模块；所述控制模块在所述图像采集模块发送的若干所述图像信息中进行筛选，筛选出目标图像后向所述用户终端发送所述目标图像；所述用户终端向所述控制模块反馈空间位置信息，所述控制模块根据所述用户终端反馈的空间位置信息生成用于控制所述图像采集模块与所述用户终端同步动作的控制指令，并通过所述控制指令控制所述图像采集模块与所述用户终端同步动作。根据本专利技术的一个实施例，所述通过所述控制模块在所述图像采集模块发送的若干所述图像信息中进行筛选，筛选出目标图像后向所述用户终端发送所述目标图像的步骤中，具体包括：所述用户终端接收到所述目标图像后，对眼球在所述目标图像上的移动轨迹进行捕捉，将捕捉到的眼球移动轨迹生成轨迹信息，并将所述第一轨迹信息发送至所述控制单元；所述控制单元根据所述第一轨迹信息生成第二轨迹信息，并将所述第二轨迹信息发送至所述图像采集模块，所述图像采集模块根据所述第二轨迹信息在所述图像信息上生成与眼球移动轨迹对应的映射轨迹。具体来说，通过对用户终端使用者的眼球移动轨迹进行捕捉，进而判断出使用者的视角所在的位置，并在图像采集模块上形成对应的映射轨迹。需要说明的是，由于用户终端与图像采集模块之间为同步动作，并且画面也为同步，通过获取使用者在用户终端上眼球移动的轨迹，可以在图像采集模块上获得使用者在某一时刻的视线所在位置，进而可以对该位置进行相应的操作。根据本专利技术的一个实施例，所述控制单元根据所述第一轨迹信息生成第二轨迹信息，并将所述第二轨迹信息发送至所述图像采集模块，所述图像采集模块根据所述第二轨迹信息在所述采集目标上生成与眼球移动轨迹对应的映射轨迹的步骤中，具体包括：所述控制模块对所述第一轨迹信息进行分解，将所述第一轨迹信息分解成含有M个轨迹节点的所述第二轨迹信息，M为正整数；所述图像采集模块将连续采集的所述图像信息分解成N个图像片段，N为正整数；根据含有M个轨迹节点的第二轨迹信息在含有N个图像片段的所述图像信息上生成映射轨迹；其中，每个图像片段至少对应一个轨迹节点。具体来说，将眼球的移动轨迹进行分解，并将图像采集模块采集的连续图像也进行分解，并使两者一一对应，可以实现操作的同步性。需要说明的是，上述步骤可以理解为实现帧同步，即使用者在使用用户终端时，眼球移动轨迹的每一帧操作均与图像采集模块采集的图像的每一帧相对应。根据本专利技术的一个实施例，所述用户终端向所述控制模块反馈空间位置信息，所述控制模块根据所述用户终端反馈的空间位置信息生成用于控制所述图像采集模块与所述用户终端同步动作的控制指令的步骤之后，还包括：所述用户终端采集反馈信息，并将采集到的所述反馈信息发送至所述控制单元；所述控制单元根据所述反馈信息生成反馈信号，通过所述反馈信号控制所述图像采集模块采集所述图像信息的像素和分辨率。具体来说，通过用户终端的反馈信息实现对图像采集模块采集图像大小的调整，即根据使用者的需求，对特定位置的图像进行放大和缩小。需要说明的是，图像采集模块对采集图像进行的放大和缩小，可以根据使用者在用户终端的眼球移动轨迹来实现，比如可以根据使用者在发出反馈信息时刻的眼球所在位置为中心，对采集的图像进行相应的放大或者缩小。根据本专利技术的一个实施例，所述用户终端采集反馈信息，并将采集到的所述反馈信息发送至所述控制单元的步骤中，具体包括：所述用户终端至少采集肌肉反馈，并根据肌肉反馈生成所述反馈信息。具体来说，使用者在使用用户终端时，由于穿戴式的设备，不便于摘取；同时由于是同步操作，无法通过移动双手进行额外的操作，并且双手也由于手术的原因无法进行额外的辅助操作，并且在手部进行操作的同时头部和眼睛通常需要一同进行辅助。需要说明的是，通过获取使用者的肌肉反馈，判断使用者在做出该肌肉反馈时的目的，例如想放大采集图像或者缩小采集图像。根据本专利技术的一个实施例，所述肌肉反馈包括眨眼、眼角肌肉抖动、手指触碰和脚部踩压中任意一种或几种的组合。具体来说，通过对眨眼、眼角肌肉抖动、手指触碰和脚部踩压中的肌肉反馈，实现对图像采集模块的操作，例如放大采集的图像或者缩小采集的图像。根据本专利技术第二方面实施例的一种手术视觉随动系统，包括：图像采集模块、用户终端、控制模块和移动机构，以及上述的一种手术视觉随动系统的控制方法；所述控制模块分别与所述图像采集模块、所述用户终端和所述移动机构连接；所述移动机构与所述图像采集模块连接；所述图像采集模块在所述控制模块和所述移动机构的作用下，实现与所述用户终端同步动作。根据本专利技术的一个实施例，所述图像采集模块为显微镜；所述用户终端为穿戴设备；所述移动机构为至少六自由度的串联或并联机械臂。具体来说，具有多个自由度的机械臂能够提供双目显微镜工作空间范围内的定位和姿态调整；其中，显微镜通过法兰实现与机械臂末端的连接，当机械臂运动时可以驱动显微镜一起进行视野的调整。进一步地，穿戴设备可以是头戴式VR设备，也可以具备虚拟投影或者显示功能的眼镜等，图像采集模块通过采集目标，即病灶处的图像，并传递给穿戴设备，使得医生或者使用穿戴设备的人员能够同步获取病灶处的图像，同时移动机构根据穿戴设备的空间坐标，同步调整图像采集模块。根据本专利技术的一个实施例，所述用户终端还包括陀螺仪和/或加速度计。具体来说，通过在用户终端内设置陀螺仪和/或加速度计，实现对用户终端空间位置信息的获取。根据本专利技术的一个实施例，还包括：用于控制所述移动机构和所述图像采本文档来自技高网...

【技术保护点】
1.一种手术视觉随动系统的控制方法，其特征在于，应用于用户终端，所述用户终端与控制模块连接，所述控制模块与图像采集模块连接，所述控制方法包括如下步骤：/n所述图像采集模块连续采集目标的图像信息，并发送至所述控制模块；/n所述控制模块在所述图像采集模块发送的若干所述图像信息中进行筛选，筛选出目标图像后向所述用户终端发送所述目标图像；/n所述用户终端向所述控制模块反馈空间位置信息，所述控制模块根据所述用户终端反馈的空间位置信息生成用于控制所述图像采集模块与所述用户终端同步动作的控制指令，并通过所述控制指令控制所述图像采集模块与所述用户终端同步动作。/n

【技术特征摘要】
1.一种手术视觉随动系统的控制方法，其特征在于，应用于用户终端，所述用户终端与控制模块连接，所述控制模块与图像采集模块连接，所述控制方法包括如下步骤：
所述图像采集模块连续采集目标的图像信息，并发送至所述控制模块；
所述控制模块在所述图像采集模块发送的若干所述图像信息中进行筛选，筛选出目标图像后向所述用户终端发送所述目标图像；
所述用户终端向所述控制模块反馈空间位置信息，所述控制模块根据所述用户终端反馈的空间位置信息生成用于控制所述图像采集模块与所述用户终端同步动作的控制指令，并通过所述控制指令控制所述图像采集模块与所述用户终端同步动作。


2.根据权利要求1所述的一种手术视觉随动系统的控制方法，其特征在于，所述通过所述控制模块在所述图像采集模块发送的若干所述图像信息中进行筛选，筛选出目标图像后向所述用户终端发送所述目标图像的步骤中，具体包括：
所述用户终端接收到所述目标图像后，对眼球在所述目标图像上的移动轨迹进行捕捉，将捕捉到的眼球移动轨迹生成轨迹信息，并将所述第一轨迹信息发送至所述控制单元；
所述控制单元根据所述第一轨迹信息生成第二轨迹信息，并将所述第二轨迹信息发送至所述图像采集模块，所述图像采集模块根据所述第二轨迹信息在所述图像信息上生成与眼球移动轨迹对应的映射轨迹。


3.根据权利要求2所述的一种手术视觉随动系统的控制方法，其特征在于，所述控制单元根据所述第一轨迹信息生成第二轨迹信息，并将所述第二轨迹信息发送至所述图像采集模块，所述图像采集模块根据所述第二轨迹信息在所述采集目标上生成与眼球移动轨迹对应的映射轨迹的步骤中，具体包括：
所述控制模块对所述第一轨迹信息进行分解，将所述第一轨迹信息分解成含有M个轨迹节点的所述第二轨迹信息，M为正整数；
所述图像采集模块将连续采集的所述图像信息分解成N个图像片段，N为正整数；
根据含有M个轨迹节点的第二轨迹信息在含有N个图像片段的所述图像信息上生成映射轨迹；
其中，每个图像...

【专利技术属性】
技术研发人员：王利峰，沈晨，孙贝，刘洪澎，
申请(专利权)人：雅客智慧北京科技有限公司，
类型：发明
国别省市：北京;11