【技术实现步骤摘要】
本专利技术涉及内窥镜控制方法的，具体涉及一种基于gui界面交互的内窥镜控制系统及方法。
技术介绍
1、微创手术已被广泛使用，与开放手术相比，它具有创伤小、痛苦少、恢复快的优点，因此具有重要意义。近年来，设计机器人来操纵内窥镜是一个流行的趋势，这些系统仍需要由一个单独的持镜助手来操纵，或由外科医生的外部信号来驱动，如眼睛注视跟踪，语音控制等。然而，额外的持镜助手仍然存在前面提到的外科医生间的误解问题，而外科医生需要不断与助手沟通来调节视野在，这也会分散外科医生的注意力，从而增加手术负担。显然这些互动方式降低了机器人内窥镜上的易用性，也限制了其在复杂手术中的大范围运用。
2、公告号为cn110461269b的中国专利技术专利公开了一种用于机器人外科系统的多面板图形用户界面，在显示器上向用户显示图形用户界面，其中所述图形用户界面包括多个可重新配置的显示面板；在一个或多个用户输入装置处接收用户输入，其中所述用户输入指示对与所述机器人外科系统有关的至少一个软件应用程序的选择；以及呈现来自所述多个可重新配置的显示面板中的所述至少一个所选软件应用程序的内容。通过眼睛跟踪传感器检测到所述用户正在集中于所述gui中的所述第二显示面板上，所述显示器被重新配置为在所述第一显示面板中呈现来自所述第二软件应用程序的可视内容并且在所述第二显示面板中呈现来自所述第一软件应用程序的可视内容，实现人机交互。
3、公告号为cn113143461a的中国专利技术专利申请文件公开了一种人机协同的微创内窥镜持镜机器人系统，涉及内窥镜领域。通过获取
4、上述用于机器人外科系统的多面板图形用户界面中，虽然不需要额外的持镜助手就能够对系统进行控制，但在手术操作过程中，医生观察的位置会因为实际情况发生变化，而基于眼睛跟踪的方式对系统进行操作，容易在观察范围发生变化时容易产生误操作。此外，使用眼部对系统进行操作时，需要医生需要精神高度集中，长时间的手术使医生容易疲劳。故现有技术中的内窥镜控制方法存在易用性较差的问题。
技术实现思路
1、为了解决上述技术问题，本专利技术的目的在于提供一种基于gui界面交互的内窥镜控制系统，其包括内窥镜、显示器、计算机、器械追踪模块、图像化界面模块和视觉伺服控制模块，还提供一种基于gui界面交互的内窥镜控制方法，包括以下步骤：s1、器械识别；s2、器械追踪模块初始化；s3、第一阶段匹配跟踪；s4、第二阶段匹配跟踪；s5、gui界面交互。该基于gui界面交互的内窥镜控制系统具有易用性较好的优点。
2、为实现上述专利技术目的，本专利技术采取的技术方案如下：
3、一种基于gui界面交互的内窥镜控制系统，包括内窥镜、显示器和计算机，还包括器械追踪模块、图像化界面模块和视觉伺服控制模块；所述计算机分别与显示器、内窥镜和视觉伺服控制模块通信连接，所述器械追踪模块与内窥镜通信连接，所述图像化界面模块与器械追踪模块通信连接，所述视觉伺服控制模块与图像化界面模块通信连接，所述器械追踪模块设有跟踪器；
4、所述内窥镜用于采集图像数据；
5、所述器械追踪模块用于完成跟踪器的初始化，并实现跟踪器与检测的匹配；
6、所述图像化界面模块用于人机交互；
7、所述视觉伺服控制模块用于根据预设的算法控制内窥镜的运动实现调整器械在图像空间中的位置；
8、所述计算机用于向内窥镜发送控制指令，并向显示器发送图像数据；
9、所述显示器用于显示图像化界面和根据图像数据显示图像。
10、通过这样的设置：能够实现无标记物器械识别和追踪的效果，避免了手术过程中器械上的标记物受到血液等污染导致难以识别和无法稳定跟踪的问题，达到了易用性较好的优点，为实现后续的基于器械视觉伺服的自动视野控制以及gui界面的操控提供坚实基础。将稳定追踪得到的器械映射成虚拟的鼠标，从而实现其与gui界面的交互。因此医生可以直接操作器械来激活gui界面并进行交互，根据自己的需求快速调整当前视野，大幅度提升手术的效率。在进行gui界面的交互时医生能够观察图像画面中的不同位置，并且不会影响医生使用器械对gui界面进行操控，医生能够更方便地通过观察图像画面并进行操作，达到易用性较好的优点。
11、一种基于gui界面交互的内窥镜控制方法，采用一种基于gui界面交互的内窥镜控制系统，包括内窥镜、显示器和计算机，还包括器械追踪模块、图像化界面模块和视觉伺服控制模块；所述计算机分别与显示器、内窥镜和视觉伺服控制模块通信连接，所述器械追踪模块与内窥镜通信连接，所述图像化界面模块与器械追踪模块通信连接，所述视觉伺服控制模块与图像化界面模块通信连接，所述器械追踪模块设有跟踪器；
12、所述内窥镜用于采集图像数据；
13、所述器械追踪模块用于完成跟踪器的初始化，并实现跟踪器与检测的匹配；
14、所述图像化界面模块用于人机交互；
15、所述视觉伺服控制模块用于根据预设的算法控制内窥镜的运动实现调整器械在图像空间中的位置；
16、所述计算机用于向内窥镜发送控制指令，并向显示器发送图像数据；
17、所述显示器用于根据图像数据显示图像；
18、该方法包括以下步骤：
19、s1、器械识别：使用所述内窥镜采集图像数据，所述器械追踪模块通过图像数据和完成器械的识别，并输出原始器械检测信息，所述原始器械检测信息包含检测框；
20、s2、器械追踪模块初始化：所述器械追踪模块通过原始器械检测信息遍历所有检测到的器械，为相应的类别初始化跟踪器；
21、s3、第一阶段匹配跟踪：所述器械追踪模块通过原始器械检测信息遍历已初始化的跟踪器，找到匹配的跟踪器和检测框，用匹配的检测更新匹配的跟踪器；
22、s4、第二阶段匹配跟踪：对剩余未匹配的跟踪器进行不考虑类别信息的组匹配；
23、s5、gui界面交互：利用追踪得到的器械作为虚拟鼠标与图像化界面模块进行交互。
24、通过这样的设置：能够实现无标记物器械识别和追踪的效果，避免了手术过程中器械上的标记物受到血液等污染导致难以识别和无法稳定跟踪的问题，达到了易用性较好的优点，为实现后续的基于器械视觉伺服的自动视野控制以及gui界面的操控提供坚实基础。将稳定追踪得到的器械映射成虚拟的鼠标，从而实现其与gui界面的交互。因此医生可以直接操作器械来激活gui界面并进行交互，根据自己的需求本文档来自技高网...
【技术保护点】
1.一种基于GUI界面交互的内窥镜控制系统，包括内窥镜、显示器和计算机，其特征在于：还包括器械追踪模块、图像化界面模块和视觉伺服控制模块；所述计算机分别与显示器、内窥镜和视觉伺服控制模块通信连接，所述器械追踪模块与内窥镜通信连接，所述图像化界面模块与器械追踪模块通信连接，所述视觉伺服控制模块与图像化界面模块通信连接，所述器械追踪模块设有跟踪器；
2.一种基于GUI界面交互的内窥镜控制方法，其特征在于，采用一种基于GUI界面交互的内窥镜控制系统，包括内窥镜、显示器和计算机，还包括器械追踪模块、图像化界面模块和视觉伺服控制模块；所述计算机分别与显示器、内窥镜和视觉伺服控制模块通信连接，所述器械追踪模块与内窥镜通信连接，所述图像化界面模块与器械追踪模块通信连接，所述视觉伺服控制模块与图像化界面模块通信连接，所述器械追踪模块设有跟踪器；
3.根据权利要求2所述的基于GUI界面交互的内窥镜控制方法，其特征在于，在所述步骤S2中，还包括以下步骤：
4.根据权利要求2所述的基于GUI界面交互的内窥镜控制方法，其特征在于，在所述步骤S3中，还包括以下步骤：p>
5.根据权利要求2所述的基于GUI界面交互的内窥镜控制方法，其特征在于，在所述步骤S4中，还包括以下步骤：
6.根据权利要求2所述的基于GUI界面交互的内窥镜控制方法，其特征在于，在所述步骤S5中，还包括以下步骤：
7.根据权利要求6所述的基于GUI界面交互的内窥镜控制方法，其特征在于，在所述步骤S5中，还包括以下步骤：所述按钮区域(2)设有settings按钮、main按钮和switch按钮；
8.根据权利要求6所述的基于GUI界面交互的内窥镜控制方法，其特征在于，在所述步骤S5中，还包括以下步骤：所述按钮区域(2)设有camera按钮；
9.根据权利要求8所述的基于GUI界面交互的内窥镜控制方法，其特征在于，在所述步骤S5中，还包括以下步骤：
10.根据权利要求8所述的基于GUI界面交互的内窥镜控制方法，其特征在于，初始状态时，系统将自动记录内窥镜初始位置在所述步骤S5中，还包括以下步骤：
...【技术特征摘要】
1.一种基于gui界面交互的内窥镜控制系统，包括内窥镜、显示器和计算机，其特征在于：还包括器械追踪模块、图像化界面模块和视觉伺服控制模块；所述计算机分别与显示器、内窥镜和视觉伺服控制模块通信连接，所述器械追踪模块与内窥镜通信连接，所述图像化界面模块与器械追踪模块通信连接，所述视觉伺服控制模块与图像化界面模块通信连接，所述器械追踪模块设有跟踪器；
2.一种基于gui界面交互的内窥镜控制方法，其特征在于，采用一种基于gui界面交互的内窥镜控制系统，包括内窥镜、显示器和计算机，还包括器械追踪模块、图像化界面模块和视觉伺服控制模块；所述计算机分别与显示器、内窥镜和视觉伺服控制模块通信连接，所述器械追踪模块与内窥镜通信连接，所述图像化界面模块与器械追踪模块通信连接，所述视觉伺服控制模块与图像化界面模块通信连接，所述器械追踪模块设有跟踪器；
3.根据权利要求2所述的基于gui界面交互的内窥镜控制方法，其特征在于，在所述步骤s2中，还包括以下步骤：
4.根据权利要求2所述的基于gui界面交互的内窥镜...
【专利技术属性】
技术研发人员：黎斌，刘云辉，张德康，钟仿洵，
申请(专利权)人：香港中文大学深港创新研究院福田，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。