增强现实训练系统技术方案

本发明专利技术揭露了一种增强现实训练系统，包括一操作平台、一增强现实立体显微镜组、一器械追踪模块、以及一模拟产生模块。该增强现实立体显微镜组是以摄影机捕捉真实立体影像、以及传递增强现实影像于使用者眼中。该器械追踪模块利用顶部以及底部数位摄影机以追踪于一手术假体操作的一器械上部的一标记、以及追踪该器械的下部。该模拟产生模块可产生及显示合并真实立体影像以及虚拟影像的增强现实影像，以模拟该器械与于该模拟产生模块的一处理器上执行的一训练计画之间的相互动作。据此，该增强现实训练系统可使用真实的器械作为使用者的界面，并建立一可靠且通用的显微跟踪框架。

【技术实现步骤摘要】
增强现实训练系统
本专利技术有关于一种增强现实训练系统，更具体而言，是有关于一种是用于显微手术训练的增强现实训练系统，该显微手术可例如为眼科手术、神经外科手术、心血管手术、以及整形手术。
技术介绍
于西元1955年，Hunter以及其同事专利技术了第一台光学虚拟现实模拟系统，其使用机械手臂来接收细微动作的输入。研究人员采用了如电磁传感器、光学跟踪相机、霍尔效应传感器、惯性传感器、以及复合系统来改善器械定位的精确度以及解析度。为了与传感器互动，特别设计、改良、或有线的道具被使用以取代真正的器械，也因此该些道具的重量以及触觉回馈模式与真正的器械不相同。器械定位的准确度以及解析度以外，与手术器械的熟悉度对于一位白内障外科医师是相当关键的。举例而言，撕囊镊可具有弯曲或直的尖端，以及圆形或扁平的手柄，每一种类型都需要配合不同的操作技巧。手术的技术与器械的种类有高度的相关性，尤其是显微手术，因此，若真正的器械无法在练习时使用，训练系统的成效将有所限制。传统的光学跟踪系统中，六个自由度的跟踪至少需要将三个反射标记贴附于复制品上。该复制品的重量以及弹性与真正的器械将有所不同。于一电磁传感系统中，准确度可能被真实器械中的金属材料而影响。于一机械绞接系统中，使用者通常是操作机械手臂以取代手术器械，与真实手感有很大差异。上述的问题是先前的手术训练系统遇到的基本困难。上述的训练系统皆是内建于虚拟现实(Virtualreality)中，这些系统跟踪器械，并于一虚拟环境中呈现器械与眼睛的互动，因此，无法观察到真正的器械。此外，虽然于虚拟环境中可被忽略，但于尺寸被放大的眼睛模型上操作的动作与真实手术有很大的不同。
技术实现思路
本专利技术的目的在于提供一增强现实(AR)训练系统，以实现细微的动作跟踪以及真实器械的练习，并可改善学员的手眼协调能力。根据前述的目的，本专利技术提供了一种增强现实训练系统(ARTS)，包括：一操作平台，具有一模型放置区，供一手术假体放置、以及一工作空间，供一使用者于该手术假体上进行操作训练；一增强现实立体显微镜组，对应该操作平台设置，且以摄影机捕捉该手术假体以及操作于该手术假体上的一器械的真实立体影像，以及传递增强现实影像于该使用者眼中；一器械追踪模块，包含至少一顶部数位摄影机以及至少一底部数位摄影机，且提供该器械的位置信号以及方向信号，其中，该顶部数位摄影机设置于该工作空间的上方以追踪该器械的一上部的一标记，而该底部摄影机设置于该工作空间的下方以追踪该器械的一下部；以及一模拟产生模块，连接至该增强现实立体显微镜组以及该器械追踪模块上，并产生及显示该增强现实影像以模拟该器械与该训练计画之间的相互动作，其中，该增强现实影像是合并来自该增强现实立体显微镜组的该真实立体影像；以及基与该器械位置信号、该器械方向信号、与一训练计画互动所产生的多个虚拟影像。据此，该增强现实训练系统可应用于显微手术的训练，例如眼科手术、神经外科手术、心血管手术、以及整形手术等，以满足使用者于训练中使用真实手术器械的要求。透过该顶部摄影机以及该底部摄影机，该器械的位置可即时被计算，且可产生对应的虚拟动画。该虚拟影像与该增强现实立体显微镜组所捕捉的该真实立体影像重叠，而使用者可以双目目镜查看增强现实的效果。当该增强现实训练系统是根据该立体显微镜以及手术显微镜的结构而设计时，其可提供观察微小物件正确的立体视野的能力，以及提供超高画质的双目镜显示器以实现真实的使用者体验。尤其，该增强现实训练系统可展现0.02mm的空间准确度，其足以让外科医师进行白内障手术的训练。使用该增强现实训练系统时，使用者可自由地创造所需的手术伤口。此外，器械的移动路径不被限制，且手术操作空间为真实的大小，并未放大。于本专利技术中，该增强现实训练系统可跟踪多种器械，例如刮刀、剪刀、以及镊子等。藉由特别设计的摄影机设置方式以及计算软体，使用者可于该增强现实训练系统中使用预先注册的器械，并有七个自由度的追踪，包括镊子的开合。由于本训练系统的使用者界面中可使用无线的真实器械，使用者精进的手术技巧转换至真实的手术时可有最短的过渡期。在使用增强现实训练系统之前，该器械上必须贴附一或多个标记，而所述标记可为被动式的标记(例如反射球)、或为主动式的标记(例如无线或有线充电式的LED模块)，且被贴附于该器械的上部。于一较佳实施态样中，该标记为一被动式标记，且该增强现实训练系统的工作空间上方更包括一顶光模块。使用红外线(IR)摄影机作为顶部摄影机以及底部摄影机时，该顶光模块提供红外光以及可见光。因此，该器械的该上部可藉由该标记而被追踪。此外，较佳地，该增强现实训练系统的工作空间下方更包括一底光模块，以提供红外光以及可见光。更具体而言，该底光模块可包含多个光源，使得使用者可更轻易的判断该器械的下部的深度。相较于需要至少三个反射标记来追踪六个自由度的传统光学追踪系统，仅需要一个标记的该增强现实训练系统可让使用者忽略安装标记后所造成的差异，且其身临其境的体验不会受到影响。于本专利技术中，该模拟产生模块可包括一处理器以及一显示器。该处理器连接至该增强现实立体显微镜组以及该器械追踪模块，而该显示器连接至该处理器上，并显示该增强现实影像。更具体而言，该显示器可包含一右屏幕以及一左屏幕，而该增强现实影像则显示于该右屏幕以及该左屏幕上，并藉由该增强现实立体显微镜组的一光学模块而传递至使用者的眼睛。此外，该模拟产生模块可更包括一指导面板，连接至该处理器并显示一三维视图以可视化该手术假体的一三维模拟模型以及该器械与该训练计划互动的一三维模拟影像。较佳地，该模拟产生模块的该处理器可于该指导面板上提供有关于该使用者于训练计划中操作的一分析报告，供该使用者检视。针对白内障手术的训练，该处理器所产生的虚拟影像包括一虚拟瞳孔区，且该训练计划于该处理器中执行，以提供以下训练课程中的至少一者：(i)放置至少一虚拟物件于该虚拟瞳孔区上以记录该使用者于该训练课程中于一预设期间内操作该器械的位置，以及分析该器械移动的范围来评估该使用者的稳定握持器械技巧；(ii)放置一虚拟起始点以及多个虚拟物件于该虚拟瞳孔区上，并纪录使用者操作该器械触碰该虚拟起始点至触碰于不同高度的所述虚拟物件的次数以及时间，以评估该使用者的深度感测以及器械巡航技巧；(iii)放置一虚拟参考圈于该虚拟瞳孔区上，并比较该使用者绘制的一虚拟跟踪曲线与该虚拟参考圈，以评估该使用者的圆圈循迹技巧；(iv)放置至少一虚拟物件以及一虚拟目标点于该虚拟瞳孔区上，并记录该使用者操作一镊子夹取所述虚拟物件至该虚拟目标点所需的时间，以评估该使用者使用该镊子的技巧；以及(v)放置一虚拟物件、一虚拟引导曲线、以及一虚拟释放点于该虚拟瞳孔区上，并记录使用者操作一镊子抓取该虚拟物件以及将该虚拟物件沿着该虚拟引导曲线带至该虚拟释放点所需的时间，以评估该使用者的环形撕囊(capsulorhexis)技巧。于本专利技术中，该增强现实立体显微镜组可提供放大的立体影像，且可包括一摄影机模块、一光学模块、以及一目镜模块。该摄影机模块对应该工作空间设置以捕捉该真实立体影像；而该光学模块对应该目镜模块以及该模拟产生模块而设置，并藉由该目镜模块以传递该增强现实影像至该使用者的眼睛。更具体而言，该光学模块包括多个光学透镜、多本文档来自技高网...

【技术保护点】
1.一种增强现实训练系统，包括：一操作平台，具有一模型放置区，供一手术假体放置、以及一工作空间，供一使用者于该手术假体上进行操作训练；一增强现实立体显微镜组，对应该操作平台设置，且以摄影机捕捉该手术假体以及操作于该手术假体上的一器械的真实立体影像，以及传递增强现实影像于该使用者眼中；一器械追踪模块，包含至少一顶部数位摄影机以及至少一底部数位摄影机，且提供该器械的位置信号以及方向信号，其中，该顶部数位摄影机设置于该工作空间的上方以追踪该器械的一上部的一标记，而该底部摄影机设置于该工作空间的下方以追踪该器械的一下部；以及一模拟产生模块，连接至该增强现实立体显微镜组以及该器械追踪模块上，并产生及显示该增强现实影像以模拟该器械与该训练计画之间的交互动作，其中，该增强现实影像是合并来自该增强现实立体显微镜组的该真实立体影像；以及基与该器械位置信号、该器械方向信号、与一训练计画互动所产生的多个虚拟影像。

【技术特征摘要】
2018.04.23 US 62/661,5111.一种增强现实训练系统，包括：一操作平台，具有一模型放置区，供一手术假体放置、以及一工作空间，供一使用者于该手术假体上进行操作训练；一增强现实立体显微镜组，对应该操作平台设置，且以摄影机捕捉该手术假体以及操作于该手术假体上的一器械的真实立体影像，以及传递增强现实影像于该使用者眼中；一器械追踪模块，包含至少一顶部数位摄影机以及至少一底部数位摄影机，且提供该器械的位置信号以及方向信号，其中，该顶部数位摄影机设置于该工作空间的上方以追踪该器械的一上部的一标记，而该底部摄影机设置于该工作空间的下方以追踪该器械的一下部；以及一模拟产生模块，连接至该增强现实立体显微镜组以及该器械追踪模块上，并产生及显示该增强现实影像以模拟该器械与该训练计画之间的交互动作，其中，该增强现实影像是合并来自该增强现实立体显微镜组的该真实立体影像；以及基与该器械位置信号、该器械方向信号、与一训练计画互动所产生的多个虚拟影像。2.如权利要求1所述的增强现实训练系统，其特征在于，该模拟产生模块包括一处理器，连接至该增强现实立体显微镜组以及该器械追踪模块；以及一显示器，连接至该处理器上，并显示该增强现实影像。3.如权利要求1所述的增强现实训练系统，其特征在于，该底部数位摄影机为可旋转地设置于该工作空间的下方。4.如权利要求2所述的增强现实训练系统，其特征在于，该模拟产生模块更包括一指导面板，连接至该处理器且显示一三维视图以可视化该手术假体的一三维模拟模型以及该器械与该训练计划互动的一三维模拟影像。5.如权利要求4所述的增强现实训练系统，其特征在于，该处理器于该指导面板上提供有关于该使用者于训练计划中操作的一分析报告。6.如权利要求2所述的增强现实训练系统，其特征在于，更包括一可操作界面模块，连接至该处理器，并使得该使用者得以操作调整该增强现实立体显微镜组的一对焦平面或一缩放比例、或移动该增强现实立体显微镜组。7.如权利要求6所述的增强现实训练系统，其特征在于，该可操作界面模块使得该使用者得以操作调整光线。8.如权利要求2所述的增强现实训练系统，其特征在于，该增强现实立体显微镜组包括一摄影机模块、一光学模块、以及一目镜模块，其中，该摄影机模块是对应该工作空间设置以捕捉该真实立体影像；以及，该光学模块是对应该目镜模块以及该模拟产生模块而设置，并透过该目镜模块以传递该增强现实影像至该使用者的眼睛。9.如权利要求8所述的增强现实训练系统，其特征在于，该光学模块包括多个光学透镜、多个棱镜、多个镜子、多个扩散器、以及多个分束器；以...

【专利技术属性】
技术研发人员：黄宇轩，张皓宇，
申请(专利权)人：黄宇轩，
类型：发明
国别省市：中国台湾,71