用于时间要求严格的生物医学应用的增强现实系统技术方案

一种增强现实系统和方法，该方法和系统被配置为使用增强现实头戴式装置自动向使用者(诸如医师)提供患者实时医疗状况的实时平视视图。该系统可以自动识别患者，拉取相关病历，获得来自患者的实时生物医学传感器数据并将此显示给使用者，同时还允许使用者通过头戴式装置的透明镜片直接查看患者，并解放使用者的双手以操纵患者或执行其他功能。对于重症监护室以及使用者需要几乎瞬间了解患者状况的其他紧急医学情况，该系统和方法特别有用。该系统和方法特别有用。该系统和方法特别有用。

【技术实现步骤摘要】
【国外来华专利技术】用于时间要求严格的生物医学应用的增强现实系统
[0001]相关申请的交叉引用
[0002]本申请是2018年3月28日提交的美国专利申请15/939,190的继续申请，并要求该继续申请的优先权权益。
[0003]专利技术背景


[0004]本专利技术属于与生物医学应用有关的增强现实设备、系统和方法的领域。

技术介绍

[0005]近年来，已经提出了使用头戴式显示器和增强现实技术来提供医疗信息的各种方法。特别地，已经提出了诸如Google Glass、Microsoft HoloLens和其他设备等技术以用于多种不同的医学功能。
[0006]在美国专利公开2017/0357333中讨论了Microsoft HoloLens系统，该美国专利公开的全部内容通过援引并入本文，该系统教导了一种头戴式显示设备，该头戴式显示设备具有透视(透明或部分透明的)显示器、一个或多个计算机处理器、诸如加速度计和倾斜度传感器等传感器、以及被配置为查看外界的相机和深度相机(例如，飞行时间相机，通常被称为ToF相机)。这种类型的设备通常具有可再充电电池、以及使得HoloLens能够与外部计算机化设备和系统交换信息的无线收发器(例如，Wi-Fi收发器和蓝牙收发器)。
[0007]这样的增强现实设备和方法目前普遍用于各种医学教育目的，诸如解剖学教学和其他教育情况。然而，在诸如医院、重症监护室和常规临床实践等非教育性医疗环境中使用这种技术尚未得到普及。

技术实现思路

[0008]本专利技术最初部分地受到以下见解的启发，即在某些快节奏的医疗环境(诸如重症监护室)中患者的存活率目前未达到最佳标准。该问题的部分原因在于医务人员通常需要同时监视许多患者。此外，由于不同的成员每8小时、12小时或24小时轮班轮换，因此医务人员的组成不断发生变化。在每次轮班变化时，必须将最新的患者状况信息快速地从离任班次人员传递到继任班次人员。这种对快速传递的需求加上人类记忆的局限性极大地限制了医务人员在任何给定时间在其脑海中掌握的关于任何给定患者当前(例如，实时)状况的信息量。
[0009]在重症监护情况下，这些患者可能随时会出现心力衰竭或其他紧急状况，在这种情况下，医疗响应时间相差几秒钟或几分钟会极大地影响患者的存活率。
[0010]从主治医师的角度考虑情况，在该主治医师轮班期间，该医师可能负责许多重症监护患者。在任何给定时间，这些患者之一都可能会“崩溃”。期望主治医师在几秒钟内做出有关挽救患者所需的适当手术方法或用药的决定，但该主治医师可能甚至以前从未见过该患者。同时，主治医师需要观察患者，并且通常还需要操纵患者。
[0011]现有技术的病历系统不太适合这种情况。为了评估患者的当前状况并确定适当的措施，医师通常必须翻阅打印记录的文件夹，同时尝试查看可能放置在整个房间的各个位置的多种仪器，并且然后将这些与医师自己对患者的观察结果进行整合。当这正在发生的同时，关键时间正在丢失。本专利技术最初是受寻找帮助克服现有技术在这方面的缺陷的系统和方法的潜在需求的启发。
[0012]更具体地，本专利技术受到的启发部分地基于以下见解，即可以通过提供改进的医疗信息系统来显著提高这种情况下患者的存活率，该医疗信息系统允许使用者完全自由活动(即，不会由于物理电线或电缆将使用者束缚到特定的位置)并提供免手持“平视”显示器，该显示器快速提供对最相关患者医疗信息的即时访问。同时，本专利技术(有时也被称为方法或系统)允许医师直接观察患者，并且还继续通过医师的手来操纵患者(或其他医用材料)。
[0013]本专利技术受到的启发还部分地基于以下见解，即诸如Microsoft HoloLens等当前头戴式显示设备可以通过适当的硬件和软件附件、修改和扩展充当可用于这种改进的医疗信息系统的平视增强现实显示系统。
[0014]尽管本专利技术最初是受到医学重症监护问题的启发，但是本专利技术本身可以具有更普遍的应用。在替代性实施例中，本专利技术可以更普遍地被认为是一种系统和方法，通过该系统和方法，人类使用者(包括但不限于医师)可以快速且几乎毫不费力地获得关于人类受试者(包括但不限于人类受试者)的生理信息。例如，在一些替代性实施例中，运动教练(使用者)可以使用本专利技术来获得关于比赛期间各个运动队运动员(受试者)的生理状态的近乎即时的反馈，并使用该信息来确定何时更换运动员。因此，在更普遍的实施例中，本文中使用的术语“患者”可以用替代性术语“受试者”或“人类受试者”代替。类似地，尽管本专利技术通常提及作为医师的“使用者”，但是原则上任何人都可以使用本专利技术，因此术语“使用者”也不旨在是限制性的。
附图说明
[0015]图1A示出了概图，示出了本专利技术(系统)的一些实施例的一些主要部件。
[0016]图1B示出了根据本专利技术的一个实施例的软件流程图。
[0017]图2示出了根据本专利技术的一些实施例的可以用于获得患者实时生物医学数据的单元式患者佩戴生物医学感测系统的示例。
[0018]图3示出了配备有系统的头戴式装置(左下方)的医师即将进入病房的场景。
[0019]图4示出了一瞬间之后的同一场景。现在医师与患者近到足以使本专利技术的患者接近检测器记录与患者的接近，并且系统现在已经开始使用至少一些患者数据自动填充增强现实显示器。
[0020]图5示出了医师正好检查患者、同时系统正在显示各种类型的实时生物医学传感器数据(诸如心率、血压、呼吸、SpO2等)的场景。
[0021]图6示出了一些增强现实数据的放大视图。
[0022]图7示出了患者某些器官(诸如心脏和肺部)的计算机动画的放大视图。
[0023]图8示出了系统如何将患者数据与实时传感器数据进行整合以产生患者某些器官的更真实的计算机动画的示例。
具体实施方式
[0024]如图1A所示，在一些实施例中，本专利技术可以是在由诸如医师等使用者佩戴的增强现实头戴式装置(120)上自动且快速地显示患者医疗信息的系统、设备或方法。增强现实头戴式装置(120)可以是可商购的头戴式装置(诸如Microsoft HoloLens，美国专利公开2017/0357333进行了例示，其全部内容通过援引并入本文)、或其他类型的增强现实头戴式装置，包括定制头戴式装置。
[0025]当使用可商购的部件时，本专利技术通常将至少部分地通过被配置为执行本文描述的各种功能和方法的定制软件来实施。本专利技术的软件方法不必单独在头戴式装置(120)上执行，而是在一些实施例中可以包括各种相互通信的软件模块，在一些实施例中，这些软件模块可以在头戴式装置处理器(120)、便携式计算机化设备处理器(122)、以及驻留在诸如(112)等本地或远程服务器上的处理器中的任一个上运行。
[0026]可以使用不同的处理器类型。例如，头戴式装置或便携式计算机化设备处理器可以包括可以作为流行的ARM架构的变体的一个或多个处理器核，而服务器处理器可以包括可以作为流行的x86或x86-64架构的变体的一个或多个处理器核，等等。本专利技术的软件方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在使用者佩戴的增强现实头戴式装置上自动显示患者医疗信息的方法，所述方法包括：使用与所述增强现实头戴式装置通信的至少一个计算机处理器、以及至少一个传感器来确定a)所述使用者何时接近所述患者；b)确定所述患者的身份，并且c)获得与所述患者有关的病史数据；使用所述至少一个计算机处理器来进一步获取与所述患者有关的实时生物医学传感器数据；当所述增强现实头戴式装置接近所述患者时，显示与所述患者有关的所述病史数据中的至少一些、以及与所述患者有关的所述实时生物医学传感器数据中的至少一些。2.根据权利要求1所述的方法，其中，所述增强现实头戴式装置具有查看方向，并且所述患者具有位置，进一步使用所述至少一个计算机处理器和至少一个患者位置传感器来进一步控制所述增强现实头戴式装置，以便当所述增强现实头戴式装置的所述查看方向未朝向所述患者的所述位置定向时，抑制所述病史数据和实时生物医学传感器数据中的至少一些的显示。3.根据权利要求1所述的方法，其中，所述病史数据包括所述患者的医学图像；并且至少一个计算机处理器进一步被配置为使用所述增强现实头戴式装置和至少一个患者位置传感器来自动缩放和变换所述医学图像，以便为所述使用者创建所述医学图像中的至少一些在所述患者的解剖结构的相应部分和所述患者附近中的任一种上的叠加。4.根据权利要求1所述的方法，其中，所述生物医学传感器数据包括心血管传感器数据；通过使用所述至少一个计算机处理器对所述患者的心脏和肺部的计算机表示进行动画处理以与所述心血管传感器数据相对应从而产生传感器响应动画来进一步显示所述心血管传感器数据，并在所述增强现实头戴式装置上显示所述传感器响应动画。5.根据权利要求4所述的方法，进一步使用所述至少一个计算机处理器根据所述病史数据来修改所述计算机表示，从而产生病史校正的计算机表示，并在所述增强现实头戴式装置上显示病史校正的传感器响应动画。6.根据权利要求1所述的方法，进一步使用所述至少一个计算机处理器并使用所述患者的所述身份、与所述患者有关的所述病史数据和与所述患者有关的所述实时生物医学传感器数据中的任一者来从计算机存储器中检索并显示以下中的任一项：a)临床决策算法；b)替代性潜在诊断；c)替代性医学治疗。7.根据权利要求1所述的方法，其中，所述增强现实头戴式装置和与所述增强现实头戴式装置通信的所述至少一个计算机处理器中的任一者进一步被配置为通过语音传感器、手部运动传感器、面部姿态传感器和触觉传感器中的任一个接收来自所述使用者的输入。8.根据权利要求1所述的方法，其中，所述病史数据是从以下中的任一个获得的：增强现实头戴式装置存储器、本地内联网电子病历存储器、或存储在至少一个远程互联网服务
器上的存储器。9.根据权利要求1所述的方法，其中，使用者佩戴的所述增强现实头戴式装置包括：眼镜和护目镜中的任一种，其中透明镜片安装在每只眼睛上方以允许所述使用者看到外界的图像；至少一个计算机显示器，被配置为将外界的所述图像叠加在计算机生成的位图图形上；至少一个患者位置传感器；至少一个增强现实头戴式装置计算机处理器，被配置为驱动所述位图图形；以及至少一个通信接口，被配置为至少从外部源获得病史数据。10.根据权利要求1所述的方法，其中，所述实时生物医学传感器数据中的至少一些是从被配置为能够由非固定患者佩戴的单元式患者可穿戴生命体征监测系统获得的，所述监测系统包括：至少一个非固定患者可穿戴传感器，所述至少一个非固定患者可穿戴传感器包括一个或多个ECG传感器、脉搏血氧仪、温度传感器、运动传感器、电子听诊器和血压监测器中的任一种；所述至少一个非固定患者可穿戴传感器进一步被配置为直接或间接地向所述增强现实头戴式装置传输传感器数据。11.根据权利要求1所述的方法，其中，确定以下中的任一项a)所述使用者何时接近所述患者；b)确定所述患者的身份，并且c)获得与所述患者有关的病史数据；...

【专利技术属性】
技术研发人员：罗伯特，
申请(专利权)人：云诊断特拉华州股份有限公司，
类型：发明
国别省市：