【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种多模态手术大模型系统、交互方法、电子设备和存储介质。
技术介绍
1、随着医疗技术的发展，手术的复杂性和精度要求不断提高，给医生带来了巨大的挑战。手术过程中，医生需要处理大量复杂的信息，同时精确地操作手术器械，这对医生的专业技能和精神集中力提出了极高的要求。尤其是对于一些复杂和微创的手术，由于视野局限和操作难度大，手术风险相对较高。传统技术下，医生难以兼顾手术微创化、手术安全、手术效率以及较短的手术学习曲线。
2、为了解决这些问题，研究者们已经开发出了一系列人工智能手术辅助系统。这些系统包括手术机器人、手术规划系统、手术导航系统等，通过高精度的机械操作和高级的图像处理技术，辅助医生进行手术。然而，这些系统多数集中在某一具体的手术阶段，如手术规划或手术导航，缺乏一个全面、一体化的解决方案。此外，现有的人工智能手术辅助系统交互性较差，通常需要医生通过复杂的界面进行操作，不够直观和便捷。
3、因此，急需一种新型的手术智能系统，能够解决上述问题，提高手术的安全性和效率，降低医生的工作负担。
技术实现思路
1、本专利技术提供一种多模态手术大模型系统、交互方法、电子设备和存储介质，用以解决现有技术中手术辅助系统缺乏全面、一体化的解决方案，且交互性差的缺陷。
2、本专利技术提供一种多模态手术大模型系统，包括：
3、语音交互模块，用于将用户的语音指令发送至手术大模型，并接收所述手术大模型返回的多模态信息，以建立与用户
4、所述手术大模型，用于对所述语音指令进行语义理解后，生成所述多模态信息、与手术相关的视觉信息、手术模拟信息、控制指令中的至少一种；
5、增强现实模块，用于接收所述手术大模型发送的视觉信息，以供用户通过所述增强现实模块查看所述视觉信息；
6、数字孪生模块，用于接收所述手术大模型发送的手术模拟信息；
7、手术机器人，用于接收所述手术大模型发送的控制指令，并执行所述控制指令对应的操作。
8、根据本专利技术提供的多模态手术大模型系统，所述系统还包括：
9、跨模态对齐适配器，用于接收多模态输入信息，对所述多模态输入信息进行跨模态信息对齐处理，并将处理后的所述多模态输入信息输入至所述手术大模型；
10、所述多模态输入信息包括手术的术前信息和术中信息。
11、根据本专利技术提供的多模态手术大模型系统，所述手术大模型，还用于：
12、基于所述多模态输入信息，生成手术描述信息，所述手术描述信息包括医生动作描述、工具操作描述、解剖结构描述、生命体征描述和手术团队描述中的至少一种。
13、根据本专利技术提供的多模态手术大模型系统，所述手术大模型，还用于：
14、基于所述多模态输入信息和/或所述手术描述信息，对所述手术的手术阶段进行实时识别，得到手术阶段信息。
15、根据本专利技术提供的多模态手术大模型系统，所述手术大模型，还用于：
16、基于所述手术阶段信息，以及所述多模态输入信息和/或所述手术描述信息，对所述手术的手术风险进行评估，得到风险评估信息，并基于所述风险评估信息生成调整建议。
17、根据本专利技术提供的多模态手术大模型系统，所述手术大模型，还用于：
18、基于所述多模态输入信息、所述手术描述信息、所述手术阶段信息、风险评估信息和所述调整建议，提供具身智能手术服务。
19、根据本专利技术提供的多模态手术大模型系统，所述系统还包括：
20、模型优化模块，用于接收用户反馈信息，并基于所述用户反馈信息对所述手术大模型进行优化。
21、本专利技术还提供一种交互方法，包括：
22、获取用户的语音指令；
23、对所述语音指令进行语义理解后，执行以下步骤中的至少一项：
24、生成多模态信息，并将所述多模态信息发送至语音交互模块，以建立与用户之间的交互；
25、生成与手术相关的视觉信息，并将所述视觉信息发送至增强现实模块，以供用户通过所述增强现实模块查看所述视觉信息；
26、生成手术模拟信息，并将所述手术模拟信息发送至数字孪生模块；
27、生成控制指令，以控制手术机器人执行所述控制指令对应的操作。
28、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述交互方法。
29、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述交互方法。
30、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述交互方法。
31、本专利技术提供的多模态手术大模型系统、交互方法、电子设备和存储介质，通过手术大模型针对用户发出的语音指令进行语义理解后，生成各智能模块所需的信息，并通过各智能模块实现与用户之间的交互，从而提供全面一体化的手术解决方案。此外，用户仅通过输入简单的语音指令即可实现交互，使用便捷，能够提高手术的安全性，降低医生的工作负担。
本文档来自技高网...【技术保护点】
1.一种多模态手术大模型系统，其特征在于，包括：
2.根据权利要求1所述的多模态手术大模型系统，其特征在于，所述系统还包括：
3.根据权利要求2所述的多模态手术大模型系统，其特征在于，所述手术大模型，还用于：
4.根据权利要求3所述的多模态手术大模型系统，其特征在于，所述手术大模型，还用于：
5.根据权利要求4所述的多模态手术大模型系统，其特征在于，所述手术大模型，还用于：
6.根据权利要求5所述的多模态手术大模型系统，其特征在于，所述手术大模型，还用于：
7.根据权利要求1至6中任一项所述的多模态手术大模型系统，其特征在于，所述系统还包括：
8.一种交互方法，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8所述交互方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8所述交互方法。
【技术特征摘要】
1.一种多模态手术大模型系统，其特征在于，包括：
2.根据权利要求1所述的多模态手术大模型系统，其特征在于，所述系统还包括：
3.根据权利要求2所述的多模态手术大模型系统，其特征在于，所述手术大模型，还用于：
4.根据权利要求3所述的多模态手术大模型系统，其特征在于，所述手术大模型，还用于：
5.根据权利要求4所述的多模态手术大模型系统，其特征在于，所述手术大模型，还用于：
6.根据权利要求5所述的多模态手术大模型系统，其特征在...
【专利技术属性】
技术研发人员：刘宏斌，陈阵，雷震，吴锦林，
申请(专利权)人：中国科学院香港创新研究院人工智能与机器人创新中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。