一种基于智能手机的便携式增强现实医学图像观察辅助设备制造技术

本发明专利技术公开一种基于智能手机的便携式增强现实医学图像观察辅助设备，包括数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；增强现实系统，用于通过光学结构将智能手机屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。本发明专利技术能将智能手机屏幕呈现出的图像源和现实环境中物体与现实物体同时呈现在人眼中，实现增强现实效果。

A portable augmented reality medical image observation assistant device based on smart phone

【技术实现步骤摘要】
一种基于智能手机的便携式增强现实医学图像观察辅助设备
本专利技术涉及医疗辅助设备
，特别是涉及一种基于智能手机的便携式增强现实医学图像观察辅助设备。
技术介绍
微创手术是通过微小创口实施手术的一种临床治疗方式，主要通过术前医学影像进行诊断以及术中内窥镜影像等辅助进行，这种方式直观性差，对医生经验要求高，精力消耗大；结合增强现实的图像导航系统可以为医生提供直观的生理解剖信息，便于医生快速进行诊断，并在术中提供辅助，现有的增强现实图像导航设备大多比较笨重或价格昂贵，对于在医生间推广使用造成了困难。
技术实现思路
本专利技术的目的是针对现有技术中存在的技术缺陷，而提供一种基于智能手机的便携式增强现实医学图像观察辅助设备。为实现本专利技术的目的所采用的技术方案是：一种基于智能手机的便携式增强现实医学图像观察辅助设备，包括：数据处理系统，以及增强现实系统；所述数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；所述增强现实系统，用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。其中，所述增强现实系统包括相机、图像处理模块、智能手机和光学结构；所述相机与图像处理模块相连接，图像处理模块与智能手机相连接，智能手机置入光学结构中；所述相机，获取外界环境影像信息，并将信息传递给图像处理模块；所述图像处理模块，将获取的图像进行处理得出标记物位姿信息，根据标记点信息将三维模型进行配准，生成配准后影像传递给智能手机；所述智能手机，接收图像数据处理后的画面呈现给光学结构；所述光学结构，使智能手机呈现出图像的虚像与现实环境影像能共同在人眼中成像，实现增强现实效果。其中，所述数据处理系统包括存储模块、数据处理模块、图像处理模块；所述存储模块与数据处理模块相连接，数据处理模块与图像处理模块相连接；所述存储模块，用来保存患者CT图像重建出的三维模型信息，以及相机和光学结构的参数信息；所述数据处理模块，用以将存储模块和图像处理模块中的信息进行处理，并将处理后的数据传递给图像处理模块；所述图像处理模块用以将由相机获取的图像信息进行处理并传递给数据处理模块，根据由数据处理模块处理后的信息生成影像信息，传递给增强现实系统。其中，所述虚拟交互控制系统，通过识别标记物控制虚拟物体实现交互控制。本专利技术中，所述基于智能手机的便携式增强现实医学图像观察辅助设备，其实现步骤如下：步骤1：启动发布到智能手机上的应用程序，并将智能手机置入光学结构中；步骤2：增强现实系统启动相机，获取外界环境信息以及标记点信息，并传递给图像处理模块；步骤3：图像处理模块对图像信息进行处理，获取标记信息以及标记点信息并将其传递给数据处理系统；步骤4：数据处理系统根据存储模块中的参数信息以及重建的三维模型信息进行计算配准，并将计算后的数据传递给图像处理模块；步骤5：图像处理模块根据接收的数据生成影像并传递给增强现实系统的智能手机；步骤6：光学结构将智能手机所呈现的画面和现实环境的影像同时传入人眼中，使人能眼同时看到屏幕画面的虚像和现实环境信息，实现增强现实效果；步骤7：医生戴上增强现实眼镜，根据呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。本专利技术的增强现实眼镜通过光学结构将智能手机屏幕呈现出的图像源和现实环境中的物体与现实物体同时呈现在人眼中，实现增强现实效果；数据处理系统可将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；虚拟交互控制系统通过标记物实现虚拟交互控制，简单便携，便于医生快速诊断病情和辅助手术操作。附图说明图1所示为基于智能手机的便携式增强现实医学图像观察辅助设备实现流程框图。图2为增强现实系统的光学结构与智能手机的配合示意图。具体实施方式以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术的基于智能手机的便携式增强现实医学图像观察辅助设备包括：增强现实系统，虚拟交互控制系统以及数据处理系统；其中，所述的增强现实系统，用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。；所述虚拟交互控制系统，用于通过识别标记物控制虚拟物体实现交互控制；所述数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准。其中，所述增强现实系统，包括相机、图像处理模块、智能手机和光学结构；所述相机与图像数据处理模块相连接，图像数据处理模块与智能手机相连接，智能手机置入光学结构中；所述相机，用于获取外界环境影像信息，并将信息传递给图像处理模块；所述图像处理模块，用于将获取的图像进行处理得出标记物位姿信息，根据标记点信息将三维模型进行配准，得出配准后影像传递给智能手机；所述智能手机，用于接收图像数据处理后的画面通过其显示屏幕显示后呈现给光学结构；所述光学结构，用于接收智能手机呈现的画面，将接受的画面与外界环境场景叠加呈现在人眼中。如图2所示，本专利技术中，所述光学结构，由反射镜30、菲涅尔透镜20和半透半反镜40构成，安装在光学结构的后端由端盖60固定的智能手机10呈现出图像的虚像经由光学结构调整位置后，与人眼透过半透半反镜看到的现实环境物体50的影像共同在人眼中成像实现增强现实效果。其中，所述数据处理系统包括存储模块、数据处理模块、图像处理模块；所述存储模块与数据处理模块相连接，数据处理模块与图像处理模块相连接；所述存储模块，用来保存患者CT图像重建出的三维模型信息，以及相机和光学结构的参数信息；所述数据处理模块，用以将存储模块和图像处理模块中的信息进行处理，并将处理后的数据传递给图像处理模块。所述图像处理模块，用以将由相机获取的图像信息进行处理并传递给数据处理模块，根据由数据处理模块处理后的信息生成影像信息，传递给增强现实系统。本专利技术的基于智能手机的便携式增强现实医学图像观察辅助设备，具体实现步骤如下：步骤1：启动发布到智能手机上的应用程序，并将智能手机置入光学结构中；步骤2：增强现实系统启动相机(单目视觉模块)，获取外界环境信息以及标记点信息，并传递给图像处理模块；步骤本文档来自技高网...

【技术保护点】
1.一种基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，包括数据处理系统，以及增强现实系统；/n所述数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；/n所述增强现实系统，用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。/n

【技术特征摘要】
1.一种基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，包括数据处理系统，以及增强现实系统；
所述数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；
所述增强现实系统，用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。


2.根据权利要求1所述基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，所述增强现实系统包括相机、图像处理模块、智能手机和光学结构；所述相机与图像处理模块相连接，图像处理模块与智能手机相连接，智能手机置入光学结构中；
所述相机，获取外界环境影像信息，并将信息传递给图像处理模块；所述图像处理模块，将获取的图像进行处理得出标记物位姿信息，根据标记点信息将三维模型进行配准，生成配准后影像传递给智能手机；所述智能手机，接收图像数据处理后的画面呈现给光学结构；所述光学结构，使智能手机呈现出图像的虚像与现实环境影像能共同在人眼中成像，实现增强现实效果。


3.根据权利要求2所述基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，所述数据处理系统包括存储模块、数据处理模块、图像处理模块；所述存储模块与数据处理模块相连接，数据处理模块与图像处理模块相连接；所述存储模块，用来保存患者CT...

【专利技术属性】
技术研发人员：姜杉，姜博文，周泽洋，徐斌，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12