用于虚拟医学模型的视觉分析的协作系统技术方案

本发明专利技术涉及用于虚拟医学模型的视觉分析的方法和协作系统，尤其是用于由多个用户进行医学产品开发和/或用于解剖比较。该系统包括用于提供虚拟医学模型的装置和用于生成虚拟医学模型的视图和/或场景的至少一个可视化装置。该可视化装置被配置为将表示所生成的视图和/或场景的图像数据发送到显示装置。至少一个视图操纵装置允许由至少一个用户操纵虚拟医学模型的视图，其中视图操纵装置被配置为接收用户输入，并且将用户输入转换为虚拟医学模型或其子模型的视觉变化数据。同步装置，被配置为接收视觉变化数据，同步所接收的视觉变化数据并将经同步视觉变化数据发送到至少一个可视化装置，其中，可视化装置被配置为接收同步视觉变化数据并且基于所接收的数据来更新虚拟医学模型的视图和/或场景。虚拟医学模型的视图和/或场景。虚拟医学模型的视图和/或场景。

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟医学模型的视觉分析的协作系统


[0001]本专利技术涉及一种用于虚拟医学模型的视觉分析的方法、一种实现该方法的计算机程序、以及一种用于虚拟医学模型的视觉分析的协作系统，尤其是用于由多个用户进行医学产品开发和/或用于解剖比较。

技术介绍

[0002]近年来，医学产品开发成本不断上升，而监管批准的标准变得越来越严格。特别是，在过去十年中临床试验成本急剧上升，导致缺乏医学创新。
[0003]这与正在势头上的此背景虚拟解决方案相反。例如，已经开发了用于流式成像和病理数据以及用于医学分析的医学信息web平台；虚拟患者模型被设计以补充临床决策制定并帮助开发对人或动物无风险的医学产品；并且立体视觉显示器、虚拟现实(VR)和增强现实(AR)在医学领域中的利用已经在过去几年中稳定地获得吸引力，其用于各种应用，如训练和教导、患者教育和外科手术计划。
[0004]在文章“使用基于互联网的图形渲染和面向消息的流式成像的医学数据可视同步和信息交互(Medical data visual synchronization and informationinteraction using Internet
‑
based graphics rendering and message
‑
orientedstreaming)”(参见Informatics in Medicine Unlocked,vol.17,p.100253,11 2019)中，Q.Zhang建议用于渲染的3D内容的视觉实时同步的工具。此外，还例如从P.V.F.Paiva,L.S.Machado和J.C.de Oliveira，“用于支持医学合作虚拟环境(CVE)的对等组播架构(A Peer
‑
to
‑
Peer MulticastArchitecture for Supporting Collaborative Virtual Environments(CVEs)inMedicine)”(第十四届虚拟增强现实研讨会，2012)记录了协作VR场景的方法。
[0005]这些已知方法的共同点在于，它们集中关注一个特定的成像数据集，例如单个真实患者的解剖结构的虚拟表示，并且不被设计用于多数据可视化。然而，对于医学产品开发，诸如植入物之类的医学产品通常不适合于一种特定的解剖结构，而应该适合于大的目标群体。此外，这些已知的方法被设计用于常规的单视场视觉显示器或用于立体视觉显示器/VR。
[0006]因此，本专利技术的一个目的是提供一种系统，该系统解决了协作虚拟环境中的多个成像数据集的比较可视化的问题，可选地具有特别适合于医学产品开发的联合VR(和/或XR(扩展现实))和非VR(和/或非XR)访问。
[0007]此外，在医学产品开发中，有效的沟通是至关重要的，因为来自不同学科的多个专家，例如医师、工程师、监管机构、合同研究组织(CRO)和制造商，必须共同协作。错误沟通可能导致大量的时间损失和不必要的医学创新延迟。因此，有效地共享信息和内容是重要的，特别是在日益全球化的环境中。诸如电子邮件和电话之类的已知通信手段不一定足够。通常，需要显示用户的意思。解剖结构和医疗设备的多边形3D模型克服了该问题。
[0008]然而，3D多边形模型可视化工具通常被设计为供单个用户一次使用。如果用户在团队中工作，则查看器工具需要安装在每个用户的设备(例如，计算机、平板电脑或智能电
话)上，并且需要从例如服务器下载所有相关联的、可能大的文件的副本，并随后上传。用户需要确保他们正在使用最新版本，并且不会覆写彼此的变更。此外，一个版本通常由许多文件组成，其中所有文件都需要被传送。如果引入新文件，例如表示组件的新部分的新文件，则该文件必须被复制到需要它的所有用户。与模型的同步交互根本是不可能的。
[0009]另一方面，3D
‑
pdf既不需要额外的安装工作，也不需要大量下载可能大的文件，而且不可能进行同步交互。此外，交互非常有限。
[0010]近来，使用单个用户可视化工具结合具有远程控制的屏幕共享系统来解决这些缺点。因此，多个用户的协作成为可能。然而，仍然存在缺点。一个用户必须演示并给予其他用户对其计算机的控制。这是严重的安全风险，特别是当与外部各方进行会议时。此外，演示者不可能离开会议：在不经过前面提到的上传/下载过程的情况下，拥有团队正在其上工作的版本的用户不能容易地让团队的其余队员单独继续。
[0011]因此，需要一种能够实现真正的多用户协作的系统。尤其，希望每个用户都可以控制模型并与模型交互，可以上传附加的模型，和/或可以私人或共享保存3D场景。此外，每个用户应该具有与演示者被允许的相同的交互自由度和可能性。另一方面是包括异步通信，例如允许准备和保存3D场景，这将在后面更详细地示出。

技术实现思路

[0012]这些目的至少部分地由如独立权利要求中所限定的系统、方法和计算机程序来实现。本专利技术的其他方面在从属权利要求中限定。
[0013]具体地，该目的由用于虚拟医学模型的视觉分析的协作系统来实现，该协作系统尤其用于由多个用户进行医学产品开发和/或用于解剖比较。该系统包括用于提供虚拟医学模型的装置和用于生成虚拟医学模型的视图和/或场景的至少一个可视化装置。可视化装置被配置为将表示所生成的视图和/或场景的图像数据发送到显示装置。至少一个视图操纵装置允许由至少一个用户操纵虚拟医学模型的视图，其中，视图操纵装置被配置为接收用户输入，并且将用户输入转换为虚拟医学模型或其子模型的视觉变化数据。
[0014]该系统还包括同步装置。同步装置被配置为接收视觉变化数据(来自至少一个视图操纵装置)并同步所接收的视觉变化数据。然后，经同步视觉变化数据被发送(经由同步装置)到至少一个可视化装置。此外，可视化装置被配置为接收经同步视觉变化数据，并且基于所接收的数据来更新虚拟医学模型的视图和/或场景。
[0015]虚拟医学模型可以包括虚拟患者模型、医疗设备的模型和/或其组合中的至少一个。此外，虚拟医学模型可以包括子模型，例如医疗设备的组件、一组医疗设备和/或一组不同的虚拟患者模型。
[0016]通常，虚拟患者模型是表示真实患者(特定于患者的虚拟患者)或一组患者(代表性虚拟患者)的基于计算机的模拟或模型。在第一种情况下，虚拟患者是基于从单个患者取回的数据的。该数据在被取回以形成虚拟患者之后可以被修改和/或更改。在第二种情况下，虚拟患者是基于从一组患者(至少两个)取回的数据的，其中包含在该组患者中的各个单独患者的数据被合并以形成虚拟患者。在这种情况下，包含在该组患者中的各个单独患者的数据可以在虚拟患者中同等地表示，或者可以存在加权(例如，以最小化或排除测量失败或统计偏差)。虚拟患者(虚拟患者模型)可以是(一个或多个)真实患者的部分模型，即它
可以仅表示感兴趣的部分(例如，身体部分，诸如心脏、血管、骨骼等)。虚拟患者(虚拟患者模型)不限于人类模型，还可以包括动物模型。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于虚拟医学模型(100)的视觉分析的协作系统(1)，尤其是用于由多个用户进行医学产品开发和/或用于解剖比较，所述协作系统包括：用于提供虚拟医学模型(100a，100b，100c)的装置(10)；至少一个可视化装置(20)，用于生成所述虚拟医学模型(100a，100b，100c)的视图和/或场景，所述可视化装置(20)被配置为将表示所生成的视图和/或场景的图像数据发送到显示装置(50，52)；至少一个视图操纵装置(30)，其允许由至少一个用户操纵所述虚拟医学模型(100a，100b，100c)的视图，所述视图操纵装置(30)被配置为接收用户输入(40)，并且将所述用户输入(40)转换为所述虚拟医学模型(100a，100b，100c)或其子模型的视觉变化数据(34)，同步装置(25)，其被配置为接收视觉变化数据，同步所接收的视觉变化数据，并将经同步视觉变化数据发送到所述至少一个可视化装置(20)，其中，所述至少一个可视化装置(20)被配置为接收所述经同步视觉变化数据(34)，并基于所接收的数据来更新所述虚拟医学模型(100a，100b，100c)的视图和/或场景。2.根据权利要求1所述的协作系统(1)，其中，所述虚拟医学模型(100a，100b，100c)包括至少一个虚拟患者模型和/或医疗设备的至少一个虚拟模型，所述协作系统(1)还包括：引导装置(60)，其支持在虚拟患者模型(100a)内对准医疗设备的虚拟模型(100b)。3.根据前述权利要求中任一项所述的协作系统(1)，还包括：交互模拟装置(70)，其被配置为模拟所述虚拟医学模型(100)的虚拟患者模型(100a)和/或医疗设备的虚拟模型(100b)中的至少一者与以下项中的至少一者之间的交互：所述虚拟医学模型的至少一个另外的虚拟患者模型、和/或医疗设备的至少一个另外的虚拟模型。4.根据前述权利要求中任一项所述的协作系统(1)，其中，所述至少一个可视化装置(20)将图像数据发送到至少一个显示装置(50，52)，该显示装置可以是单视场视觉显示器和/或立体视觉显示器，并且其中，表示所生成的视图和/或场景的所述图像数据可以与其他图像数据叠加。5.根据前述权利要求中任一项所述的协作系统(1)，其中，所述系统包括多个视图操纵装置(30，32)，所述多个视图操纵装置中的每一个与用户相关联，并且允许所述用户操纵所述虚拟医学模型的视图，其中所述视图操纵装置被配置为接收特定于用户的用户输入(40)，并且将所述特定于用户的用户输入转换为所述虚拟医学模型或其子模型的特定于用户的视觉变化数据(34)，其中所述同步装置(25)被配置为接收特定于用户的视觉变化数据，同步所接收的...

【专利技术属性】
技术研发人员：西蒙，
申请(专利权)人：弗托诺米有限责任公司，
类型：发明
国别省市：