医学影像全息AR显示系统技术方案

本发明专利技术公开了医学领域的一种医学影像全息AR显示技术系统。包括图像识别装置、动作捕捉装置、人机交互界面和三维虚拟图像叠加系统，其特征在于：图像识别装置和动作捕捉装置获取人体的真实医学影像，真实医学影像经数字化转换后与三维虚拟人体模型叠加显示到人机交互界面，人机交互界面是以交互性的计算机高级人机界面，医疗技术人员能够通过虚拟现实系统与医学影像结合感受到现实病人体内器官、组织形态的客观存在。

【技术实现步骤摘要】

本专利技术涉及医疗诊断和展示
的一种医学影像全息AR显示技术系统，涉及到应用AR技术来展示医学影像学诊断，它利用高智能的人机交互技术，利用摄像，传感，实时计算和匹配技术，将真实的人体影像学环境和虚拟的人体解剖学结构和生理状态实时地叠加到同一个画面或空间而同时存在。医生通过虚拟实现系统感受到在病人身体内部世界中所见到的逼真性，突破了空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。
技术介绍
AR技术是国际上近些年发展起来的一种新技术。作为新型的人机接口和仿真工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。AR是充分发挥创造力的科学技术，为人类的智能扩展提供了强有力的手段，对生产方式和社会生活产生了巨大深远的影响。随着技术的不断发展，其内容也势必将不断增加。而随着输入和输出设备价格的不断下降、视频显示质量的提高，以及功能很强大但易于使用的软件的实用化，AR的应用必将日益增长。AR技术在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。总体来讲，增强现实在中国处于起步阶段，现在许多虚拟现实领域的企业已经开始专注于“增强现实”的研发和应用。比如中视典数字科技研发的VRP12.0就集成了增强现实的功能。2013年中国国际工业博览会上，复旦大学数字医学研究中心主任宋志坚教授及其团队展出这一最新研发成果——增强现实神经导航系统。除此之外国内尚未见到AR技术在医学影像学上诊断应用和展示。
技术实现思路
本专利技术的目的是提供一种医学影像AR显示技术，可以全方位，对当前医学影像(包括声像)提供一个较为全面的AR显示技术。使医学诊断迈向一个新的形式和方向。本专利技术是通过以下技术方案实现的：一种医学影像全息AR显示技术系统，包括图像识别装置、动作捕捉装置、人机交互界面和三维虚拟图像叠加系统，其特征在于：图像识别装置和动作捕捉装置获取人体的真实医学影像，真实医学影像经数字化转换后与三维虚拟人体模型叠加显示到人机交互界面，人机交互界面是以交互性的计算机高级人机界面，医疗技术人员能够通过虚拟现实系统与医学影像结合感受到现实病人体内器官、组织形态的客观存在；所述的三维虚拟图像叠加系统是将一个三维虚拟人体模型与人体真实医学影像结合,通过计算机图形可视化技术产生医学影像中不存在的虚拟人体结构现象,通过计算机技术将真实医学图像准确的载入虚拟人体结构中,由人机交互界面的显示设备将虚拟现象与真实环境融为一体，实现虚拟人体解剖结构和真实医学影像的结合，医生在人机交互界面感受虚拟空间中模拟的病理变化，判定病变部位对机体局部和整体的影响；所述图像识别装置和动作捕捉装置为医学X线、CT和MRI断层影像，真实医学影像实时载入计算机的虚拟人体解剖结构中，借助于计算机图形和可视化技术，显示出组织结构和疾病形态学效果，通过人机交互界面使医生看到病变部位与周围器官、组织的关系以及对相应组织、器官功能的影响；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构，载入实时真实的超声检查的静态和动态声像图，通过计算机处理不同质地、性质的声像学结构和计算机图形、可视化技术，展示器官、组织间的病理变化，使医生了解病变的具体部位、性质和状态；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构，载入实时真实组织/血管/腔体照影影像，通过计算机技术处理和可视化技术，展示真实组织/血管/腔体等内外的病情变化、以及对周围组织、器官的影响；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构和生理状态，载入实时真实心电图形变化，通过计算机技术处理和可视化技术展示，了解、直视、聆听心脏搏动节律、声音情况、健康和心肌缺血、梗死情况；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构和生理状态，载入实时真实病人呼吸声像图及相关的X线图片/CT扫描图像，通过计算机技术处理和可视化技术展示，增强出现双肺呼吸运动状态，呼吸正常/异常呼吸音，肺部组织病理变化和肺功能情况；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构和神经生理状态，载入神经诱发电位的体感、听觉和视觉数据输入，通过三维人体解剖学图像展示神经功能状况；所述的真实医学影像数据通过无线传输载入虚拟三维人体生理解剖图像中，医学影像数据在云计算的数据库中运行。本专利技术应用AR技术处理医学影像，使虚拟技术增强了现实不可能看到、了解到的受时间、空间限制的客观方面，重建解剖学模型它在医学影像诊断方面有如下意义：1、再现神经系统疾病对人生命和健康的影响：了解颅脑和外周神经因外伤(所致的颅脑损伤等)或病变(血管梗阻/塞)对人体生理功能的影响或可能造成的影响。如：通过CT或MRI的数字摄影或脑血管照(显)影成像，将病变部位、占位/缺损、积水/水肿、血管梗阻/狭窄等影像载入解剖学的虚拟颅脑相应位置，增强实现病变对周围脑组织的影响，对其功能的损害；或因缺血/缺氧给脑组织/功能所造成的危害。2、再现脏器占位性病变或缺损对健康和生命的影响：通过上述检查成像，将腔体器官因疾病/创伤，造成相应部位占位性病变、组织缺损给机体和相应器官、组织造成的影响。比如：将超声检查的声像图所见的脏器内生长的肿瘤、各种性质的包块、脏器因病变缺损、组织变化等图像载入载入解剖学机体结构，增强实现病变对周围器官、组织的影响，对其功能的损害(如肝脏肿瘤的超声图像增强实现，可清除地看到肿块对周围血管、胆道等管道的压迫对机体的影响)；3、再现脏器功能性运动病变情况及对机体和健康的影响：经过超声波检查、心电图、心肺听诊音异常声响检查，可将超声声像图、心电图、心肺听诊音声像图等载入载入解剖学机体结构，经计算机处理，增强实现心脏各血管血流情况、心肌缺血、梗死情况，肺部呼吸频率、异常呼吸音、病变情况；使医生更加形象、客观的了解病变和病变对机体的影响。4、再现神经功能损害及对机体和健康的影响：通过脑电图、脑地形图、神经感觉诱发电位等人体神经功能检查，将其图形或数字载入虚拟人体神经生理解剖结构经AR技术处理装置，实现神经生命活动再现。可使医生加形象、客观的了解病变和病变对机体的影响，对其进行功能性诊断。附图说明图1为医学影像全息AR显示系统原理框图。具体实施方式下面结合具体应用对本专利技术的内容做进一步的说明：本专利技术是增强现实的应用是一个虚、实结合的应用,它借助于计算机图形和可视化技术,产生现实环境中不存在的虚拟现象,并通过传感技术将虚拟对象准确放在真实环境中,借助显示设备将虚拟现象与真实环境融为一体。为完成上述目的，本专利技术基于这样一个背景,增强现实硬件平台，组成包括以下系统：计算机系统：应不但具备一般计算机完整的先进功能外，尚需有强大的医学影像、语言、文学数字处理、转换储存功能，承担医学影像、声波、声响和文学数字转换系统；视频输入转换系统：可以将电脑输出的信号转换为电视可以接受的信号,分辨率高达1280x102485Hz,提供超强的功能如触键面板、视频转换、独立的水平/垂直位置调整、电脑、电视同步本文档来自技高网...

【技术保护点】
一种医学影像全息AR显示技术系统，是以交互性和构想为基本特征的计算机高级人机界面；医疗技术人员不仅能够通过虚拟现实系统与医学影像结合，感受到现实病人体内器官、组织形态学客观存在的逼真性 ,而且能够突破空间、时间以及其它客观限制 ,感受到在真实世界中无法亲身经历的体验；是一种综合了图像识别、动作捕捉、虚拟现实等技术，将数字信息、三维虚拟模型精确地叠加显示到真实场景的创新人机交互技术。

【技术特征摘要】
1.一种医学影像全息AR显示技术系统，是以交互性和构想为基本特征的计算机高级人机界面；医疗技术人员不仅能够通过虚拟现实系统与医学影像结合，感受到现实病人体内器官、组织形态学客观存在的逼真性,而且能够突破空间、时间以及其它客观限制,感受到在真实世界中无法亲身经历的体验；是一种综合了图像识别、动作捕捉、虚拟现实等技术，将数字信息、三维虚拟模型精确地叠加显示到真实场景的创新人机交互技术。
2.根据权利要求1所述的医学影像全息AR显示技术系统，其特征在于：所述的三维虚拟图像叠加系统是将一个三维虚拟人体模型与人体真实医学影像结合,通过计算机图形可视化技术产生医学影像中不存在的虚拟人体结构现象,通过计算机技术将真实医学图像准确的载入虚拟人体结构中,由人机交互界面的显示设备将虚拟现象与真实环境融为一体，实现虚拟人体解剖结构和真实医学影像的结合，医生在人机交互界面感受虚拟空间中模拟的病理变化，判定病变部位对机体局部和整体的影响。
3.根据权利要求1所述的医学影像全息AR显示技术系统，其特征在于：它借助于计算机的虚拟人体解剖结构，载入实时真实的所述图像识别装置和动作捕捉装置为医学X线、CT和MRI断层影像，借助于计算机图形和可视化技术，显示出组织结构和疾病形态学效果，通过人机交互界面使医生看到病变部位与周围器官、组织的关系以及对相应组织、器官功能的影响。
4.根据权利要求1所述的医学影像全息AR显示技术系统，其特征在于：所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构，载入实时真实的超声检查的静态和动态声像图，通过计算机处理不同质地、性质的声像学结构...

【专利技术属性】
技术研发人员：李占和，谢党恩，汪磊，
申请(专利权)人：李占和，
类型：发明
国别省市：江苏;32