基于VR眼镜的心血管术中智能化交互医学影像视讯系统技术方案

本发明专利技术公开了基于VR眼镜的心血管术中智能化交互医学影像视讯系统，医学影像视讯技术领域。为了解决现有技术中难以达到对于远程手术示教的高质量高精度要求，很难做到及时的研讨，对患者手术方案的精准协商、判断的问题。基于VR眼镜的心血管术中智能化交互医学影像视讯系统，包括术中采集终端、医疗数据可视化系统、医疗视讯交互系统、VR眼镜和远程管控平台；通过VR眼镜交互构建区域医学信息交换与共享平台，远程影像会诊过程中包含静态与动态的的实时交互式操作，减少了医院重复检查和设备投资，减少了患者流动和医疗资源覆盖不够的现象，提升医院的医疗水平与影响力，提高医院的整体医学影响力，更好的服务于群众。更好的服务于群众。更好的服务于群众。

【技术实现步骤摘要】
基于VR眼镜的心血管术中智能化交互医学影像视讯系统


[0001]本专利技术涉及医学影像视讯
，特别涉及基于VR眼镜的心血管术中智能化交互医学影像视讯系统。

技术介绍

[0002]现有的虚拟现实技术在医学领域中的应用，主要通过对人体活体或尸体进行全方位的扫描，从而获取人体组织器官信息，再通过三维重建直接建立扫描的人体模型，应用虚拟现实技术和设备将虚拟模型呈现在场景之中。目前关于医学影像视讯系统，已有相关专利，比如申请号：CN202110286376.3公开了一种医学影像信息的交互式传输方法及系统，其中，所述系统包括：不少于一个的获得单元、上传单元、模拟单元和判断单元；通过基于所述第一用户的模拟的虚拟会诊对象实现VR的模拟会诊，同时基于实时的所述第一VR会诊图像信息的变化，对所述第一用户的疾病进行多方会诊。
[0003]该申请专利虽然解决了现有的多科室会诊存在较多局限性，不能对患者的病情进行切实高效的多方会诊，使得会诊效果不理想的技术问题，但在实际使用过程中仍存在以下几点问题：
[0004]1、现有技术中，通信系统依旧是视频编码性能或高清的视频画面，难以达到对于远程手术示教的高质量高精度要求，影响医护人员的远程会诊的诊断效果，很难做到及时的研讨，对患者手术方案的精准协商、判断，可能会延误患者的最佳治疗时间；
[0005]2、信息化时代的到来，医院的通信系统已经很难跟上国家对医疗改革的技术水准，基层医院诊疗水平较低，医资力量分配不均，受传统网络以及医疗影像接口不能顺利对接的限制，难以良好的实现跨区域沟通。

技术实现思路

[0006]本专利技术的目的在于提供基于VR眼镜的心血管术中智能化交互医学影像视讯系统，构建区域医学信息交换与共享平台，实现医疗机构间信息的互联互通，促进治疗手段的进步，提升医院的医疗水平与影响力，以解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]基于VR眼镜的心血管术中智能化交互医学影像视讯系统，包括术中采集终端、医疗数据可视化系统、医疗视讯交互系统、VR眼镜和远程管控平台；
[0009]所述术中采集终端用于获取术中患者基本数据、患者病灶数据、患者二维CT影像数据、医护人员基本数据及医护人员手术过程影像数据，将获取到的数据基于数据来源将数据打包生成患者数据包和医护人员数据包；
[0010]所述医疗数据可视化系统用于获取术中采集终端上传的患者数据包构建三维重建操作，建立三维模型包括人体血管、骨骼、内脏和血压的虚拟化患者病灶；
[0011]所述医疗数据可视化系统还用于获取术中采集终端上传的医护人员数据包对于患者的手术操作，在所述三维模型中展现手术操作过程，并基于操作过程预设模拟结果，并
将模拟结果在所述三维模型中显现出来；
[0012]所述医疗视讯交互系统用于获取第一会诊方所在的VR眼镜上传的医学影像数据和术中影像数据，将所述医学影像数据和术中视频数据作为第一会诊方的视频信息；
[0013]获取所述第二会诊方所在的VR眼镜主动上传的视频数据及会诊方进行虚拟操作过程中发送的操作数据，将所述视频数据和操作数据作为第二会诊方的视频信息；
[0014]所述远程管控平台用于获取所述VR眼镜连接请求，基于请求指令与另一VR眼镜建立连接，同时基于第一会诊方所在的VR眼镜和第二会诊方所在的VR眼镜获取音频流数据，VR眼镜同步显示三维模型；
[0015]基于第一会诊方的视频信息和第二会诊方的视频信息与所述音频流数据同步，远程管控平台基于无线网络建立双向传输通道实时获取第一会诊方和第二会诊方的视频音频数据，并对所述视频音频数据进行储存。
[0016]进一步的，所述医疗数据可视化系统包括：
[0017]模型构建模块，用于获取术中采集终端上传的患者数据包，提取所述患者数据包中术中采集终端捕捉的现实画面，形成二维图像，获取二维坐标；
[0018]将所述二维坐标输入至对应三维空间坐标点后，将对应的三维空间的各个点的坐标值根据与二维空间的坐标值的对应关系，连接成线，再将对应的线连接构成面，再将对应的面连接起来形成立体结构，构成患者三维模型；
[0019]模型重建模块，用于实时获取采集终端上传的医护人员数据包，提取所述医护人员数据包中采集终端捕捉的医护人员操作画面，将操作数据与所述患者三维模型重合；
[0020]手术交互模块，用于处理所述患者三维模型与操作数据之间、患者三维模型中物体与物体之间的遮挡关系，获取现实手术设备在进行操作的过程中发送的操作数据，并将该操作数据发送至模型重建模块。
[0021]进一步的，所述模型重建模块，包括：
[0022]获取子模块，用于实时获取手术交互模块中手术设备上传的操作数据，并依据操作数据模拟虚拟手术操作；
[0023]合并子模块，用于基于模拟虚拟手术操作数据与人体体态变化将变化量输入至所述三维模型中，更新患者的三维模型的位姿；
[0024]显像子模块，用于依据适配信息将若干路视频数据流转化成适配播放要求的格式和分辨率，将基于患者数据的三维模型和C臂模拟X线成像技术结合形成显像。
[0025]进一步的，所述手术交互模块，还用于：
[0026]允许医护人员操作虚拟环境中的手术器械，医护人员操作虚拟手术设备时数据在虚拟手术设备、手术平台和第二会诊方实时同步；
[0027]记录整个过程中医护人员的每一步操作，将所述操作信息发送到远程管控平台，所述远程管控平台获取所述操作信息后，建立更新日志并存档。
[0028]进一步的，所述医疗视讯交互系统包括：
[0029]参数管理模块，用于获取所述医疗数据可视化系统上传的信号数据，提取所述信号数据中的时间数据及其携带的相关参数；
[0030]视讯交互模块，用于将VR眼镜与远程管控平台建立连接，对VR眼镜中的三维模型进行同步交互，基于手术交互模块的交互数据；
[0031]当前VR眼镜对三维模型进行更新，处理的参数通过远程管控平台同步发给其他VR眼镜，其他VR眼镜将更新后的三维模型进行显示；
[0032]音频同步模块，用于术中采集终端上传的数据中提取的图像信息和音频信息，与模型重建模块提取的虚拟三维模型合成虚拟手术视频，将音频数据和合成后的虚拟手术视频数据进行同步整合，实现影音同步。
[0033]进一步的，在所述将获取到的数据基于数据来源将数据打包生成患者数据包和医护人员数据包的步骤中，还包括：
[0034]将患者基本数据、患者病灶数据、患者二维CT影像数据进行第一标识标记，形成第一标识数据集A＝[A1,A2…
A3]，将第一标识数据集A中基于每个患者所对应的的患者基本数据、患者病灶数据和患者二维CT影像数据进行关联性对应匹配；
[0035]将医护人员基本数据及医护人员手术过程影像数据进行第二标识标记，形成第二标识数据集B＝[B1,B2…
B3],将第二标识数据集B中的基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于VR眼镜的心血管术中智能化交互医学影像视讯系统，其特征在于：包括术中采集终端、医疗数据可视化系统、医疗视讯交互系统、VR眼镜和远程管控平台；所述术中采集终端用于获取术中患者基本数据、患者病灶数据、患者二维CT影像数据、医护人员基本数据及医护人员手术过程影像数据，将获取到的数据基于数据来源将数据打包生成患者数据包和医护人员数据包；所述医疗数据可视化系统用于获取术中采集终端上传的患者数据包构建三维重建操作，建立三维模型包括人体血管、骨骼、内脏和血压的虚拟化患者病灶；所述医疗数据可视化系统还用于获取术中采集终端上传的医护人员数据包对于患者的手术操作，在所述三维模型中展现手术操作过程，并基于操作过程预设模拟结果，并将模拟结果在所述三维模型中显现出来；所述医疗视讯交互系统用于获取第一会诊方所在的VR眼镜上传的医学影像数据和术中影像数据，将所述医学影像数据和术中视频数据作为第一会诊方的视频信息；获取所述第二会诊方所在的VR眼镜主动上传的视频数据及会诊方进行虚拟操作过程中发送的操作数据，将所述视频数据和操作数据作为第二会诊方的视频信息；所述远程管控平台用于获取所述VR眼镜连接请求，基于请求指令与另一VR眼镜建立连接，同时基于第一会诊方所在的VR眼镜和第二会诊方所在的VR眼镜获取音频流数据，VR眼镜同步显示三维模型；基于第一会诊方的视频信息和第二会诊方的视频信息与所述音频流数据同步，远程管控平台基于无线网络建立双向传输通道实时获取第一会诊方和第二会诊方的视频音频数据，并对所述视频音频数据进行储存。2.如权利要求1所述的基于VR眼镜的心血管术中智能化交互医学影像视讯系统，其特征在于：所述医疗数据可视化系统包括：模型构建模块，用于获取术中采集终端上传的患者数据包，提取所述患者数据包中术中采集终端捕捉的现实画面，形成二维图像，获取二维坐标；将所述二维坐标输入至对应三维空间坐标点后，将对应的三维空间的各个点的坐标值根据与二维空间的坐标值的对应关系，连接成线，再将对应的线连接构成面，再将对应的面连接起来形成立体结构，构成患者三维模型；模型重建模块，用于实时获取采集终端上传的医护人员数据包，提取所述医护人员数据包中采集终端捕捉的医护人员操作画面，将操作数据与所述患者三维模型重合；手术交互模块，用于处理所述患者三维模型与操作数据之间、患者三维模型中物体与物体之间的遮挡关系，获取现实手术设备在进行操作的过程中发送的操作数据，并将该操作数据发送至模型重建模块。3.如权利要求2所述的基于VR眼镜的心血管术中智能化交互医学影像视讯系统，其特征在于：所述模型重建模块，包括：获取子模块，用于实时获取手术交互模块中手术设备上传的操作数据，并依据操作数据模拟虚拟手术操作；合并子模块，用于基于模拟虚拟手术操作数据与人体体态变化将变化量输入至所述三维模型中，更新患者的三维模型的位姿；显像子模块，用于依据适配信息将若干路视频数据流转化成适配播放要求的格式和分
辨率，将基于患者数据的三维模型和C臂模拟X线成像技术结合形成显像。4.如权利要求3所述的基于VR眼镜的心血管术中智能化交互医学影像视讯系统，其特征在于：所述手术交互模块，还用于：允许医护人员操作虚拟环境中的手术器械，医护人员操作虚拟手术设备时数据在虚拟手术设备、手术平台和第二会诊方实时同步；记录整个过程中医护人员的每一步操作，将所述操作信息发送到远程管控平台，所述远程管控平台获取所述操作信息后，建立更新日志并存档。5.如权利要求4所述的基于VR眼镜的心血管术中智能化交互医学影像视讯系统，其特征在于：所述医疗视讯交互系统包括：参数管理模块，用于获取所述医疗数据可视化系统上传的信号数据，提取所述信号数据中的时间数据及其携带的相关参数；视讯交互模块，用于将VR眼镜与远程管控平台建立连接，对VR眼镜中的三维模型进行同步交互，基于手术交互模块的交互数据；当前VR眼镜对三维模型进行更新，处理的参数通过远程管控平台同步发给其他VR眼镜，其他VR眼镜将更新后的三维模型进行显示；音频同...

【专利技术属性】
技术研发人员：付士辉，平萍，单晨，赵亚力，
申请(专利权)人：中国人民解放军总医院海南医院，
类型：发明
国别省市：