基于5G技术的远程手术导航云桌面系统技术方案

本发明专利技术实施例公开了一种基于5G技术的远程手术导航云桌面系统，涉及数据处理技术领域，该系统包括：影像设备，光学定位设备，手术机器人，5G医疗物联网系统，手术导航系统云端以及云端调度平台。通过本发明专利技术实施例的方案，能有效的提高远程手术的效率。

【技术实现步骤摘要】
基于5G技术的远程手术导航云桌面系统
本专利技术涉及数据处理
，尤其涉及基于5G技术的远程手术导航云桌面系统。
技术介绍
当前医疗器械行业涌现出诸多类型的手术导航和手术机器人系统，例如骨科手术机器人系统，颅内手术机器人系统，TAVR经导管主动脉瓣置换等等。基于医学影像导航和手术机器人的外科手术因其微创、可视化、精准、安全以及术后疗效好等特点正在逐渐取代传统外科手术成为主流。但是医院使用手术导航系统和手术机器人不仅需要大笔的设备购置和维护费用、还需要专业的培训以及高技术的手术导航专家，手术机器人专家，否则设备空置，这对大部分医院来说引入风险和收益比不高。本专利技术开发一种可以在医院普及的手术导航云计算系统，利用5G与云计算技术，通过将手术导航系统部署在云端，大幅降低了医院引进手术导航系统的资金、技术和时间成本，而且还能让分布在全球各地的各领域相关专家直接通过浏览器连线正在实施的手术导航云桌面，远程指导甚至直接操作手术导航系统。在引入手术导航系统过程中，医院主要面临着三大挑战：系统利用率低、系统操作专业性强和手术实施门槛高。单机环境的手术导航系统，设备笨重、造价高、维护成本大，因此大部分时间处于闲置状态。而且，操作和使用手术导航设备需要经过专门的培训，前期需要设备厂商提供专门的跟台人员，但在实际操作中，厂商无法为每台手术提供跟台人员。此外，高技术的外科手术需要多科室，多领域专家协作，但各专家往往因各种现实原因(例如，因疫情隔离，或身处不同国家地区)，很难亲临手术现场。为了下沉专家资源，普及优质医疗手术服务，远程手术导航势在必行。但由于在医疗手术导航系统运行过程中，系统需要实时处理传感器数据，并以高清的方式动态的对医学影像进行渲染。但目前主流的远程桌面方案对GPU加速支持有限，许多远程桌面系统使用CPU进行视频编码，不支持在硬件图形加速。而且，由于医学影像需要处理大量的数据，移动数据会产生延迟，难以达到手术导航的实时要求。本专利技术开发一套基于5G实时通信技术采用高性能GPU处理复杂医学影像的云桌面，将手术计算、可视化渲染以及视频编全部交由GPU完成，并利用CUDA，OpenGL与NVENCODE共享数据资源，极大的降低了系统延迟。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于5G技术的远程手术导航云桌面系统，至少部分的解决现有技术中存在的问题。本专利技术实施例提供了一种基于5G技术的远程手术导航云桌面系统，包括：影像设备，所述影像设备与手术导航系统云端建立连接后，采集生成的影像将通过5G医疗物联网系统传输到手术导航系统云端；光学定位设备，所述光学定位设备包括光学定位摄像机和光学定位标记物两部分，光学定位设备部署在手术室，不同几何结构的光学定位标记物附着手术导航工具上，光学定位设备实时追踪检测附着特殊光学标记物的手术导航工具的位姿，并将检测结果实时通过5G医疗物联网系统传输到手术导航系统云端；手术机器人，手术机器人操控手术导航工具的角度和位置替代手工操作，手术机器人部署在手术室，通过5G医疗物联网系统与手术导航系统云端建立连接和数据交互；5G医疗物联网系统，5G医疗物联网系统接收影像设备传出的数据后，将数据分成数据的元信息和实际的影像部分，数据的元信息通过5G的命令通道进行传输，实际的影像部分通过5G的数据通道进行传输。手术导航系统云端，手术导航系统云端运行于多台高性能GPU服务器之上，每台GPU服务器配置有支持CUDA并行加速的显卡，GPU处理复杂医学影像的云桌面，将手术计算、可视化渲染以及视频编全部交由GPU完成，并利用CUDA，OpenGL与NVENCODE共享数据资源；云端调度平台，所述云端调度平台包括物理网IOT管理器、影像数据存储器、消入消息队列以及写入数据库，用于对系统中的数据资源进行调度和处理；手术导航云桌面，手术导航云桌面提供虚拟的系统桌面与手术导航服务，用户通过浏览器接入到手术导航云端桌面参与手术。根据本公开实施例的一种具体实现方式，依据云手术导航系统的导航提示将手术导航工具装配到手术机器人的机械臂上，操控机械臂精准定位实施手术；机械臂上手术导航工具位姿信息通过5G医疗物联网系统传到手术数据管理系，手术数据管理系统触发云端调度平台使手术影像仿真系统对手术导航工具进行实时位姿虚拟仿真，使手术影像渲染系统实时渲染手术部位的医学影像，同时机械臂传感器依据接收的手术规划数据控制机械臂位姿。根据本公开实施例的一种具体实现方式，手术导航系统云端以两个不同的端点接收信息：影像元数据信息，通过物联网协议流入云端的物联网平台，物理网平台后端接入非结构化数所库用于保存数据，同时数据也会被推入消算队列，用于触发后端的影像处理服务；影像数据部分接入对像存储部分，对象存储同网络的CDN直接相联。根据本公开实施例的一种具体实现方式，元数据部分通过WebSocket与手术导航云端交互元数据信息，影像数据部分以CDN的方式与手术导航云端连接。根据本公开实施例的一种具体实现方式，所述手术导航系统云端包括：手术导航界面子系统，手术导航界面子系统是用户和手术导航系统云端的交互窗口，支持多窗口并发远程接入，实时呈现手术部位与手术导航工具影像仿真和渲染效果，以及提供干预手术导航过程的操作入口。根据本公开实施例的一种具体实现方式，所述手术导航系统云端还包括：光学追踪子系统，光学追踪子系统处理光学定位设备传输的数据，通过光学标记物的特殊几何形状识别不同用途的手术导航工具，设定的校准方法校准工具位姿，输出与手术导航工具物理位姿数据误差小于0.1mm的位姿数据。根据本公开实施例的一种具体实现方式，所述手术导航系统云端还包括：手术配准子系统，手术配准子系统将云端的手术部位影像空间和手术室中手术部位物理空间统一，使手术导航界面子系统中显示的手术导航工具相对手术部位影像的位姿与现实中手术导航工具相对手术部位的位姿一致；手术配准子系统先通过采集的3个配准点的空间坐标推导出初始的配准矩阵，然后通过采集一系列的配准点空间坐标，不断训练推导出精度更高的配准矩阵，使云端的手术部位影像空间和手术室中手术部位物理空间精度约0.1mm。根据本公开实施例的一种具体实现方式，所述手术导航系统云端还包括：手术影像渲染子系统，手术影像渲染子系统以超声影像设备、磁共振成像)设备、X射线计算机断层扫描成像设备、或X射线成像设备成像效果渲染医学影像，同时以接近真实感的方式渲染虚拟的手术导航工具影像以及手术实施场景；手术影像仿真子系统，手术影像仿真子系统通过几何图像虚拟手术导航工具影像，该影像位姿会实时跟随光学追踪子系统处理的位姿变化。根据本公开实施例的一种具体实现方式，所述手术导航系统云端还包括：手术数据管理子系统，手术数据管理子系统连接手术导航界面子系统、手术配准子系统、手术影像渲染子系统、手术影像仿真子系统、光学追踪子系统、手术操作日志子系统和手术情况评估子系统；手术数据管理子系统接收并本文档来自技高网...

【技术保护点】
1.一种基于5G技术的远程手术导航云桌面系统，其特征在于，包括：/n影像设备，所述影像设备与手术导航系统云端建立连接后，采集生成的影像将通过5G医疗物联网系统传输到手术导航系统云端；/n光学定位设备，所述光学定位设备包括光学定位摄像机和光学定位标记物两部分，光学定位设备部署在手术室，不同几何结构的光学定位标记物附着手术导航工具上，光学定位设备实时追踪检测附着特殊光学标记物的手术导航工具的位姿，并将检测结果实时通过5G医疗物联网系统传输到手术导航系统云端；/n手术机器人，手术机器人操控手术导航工具的角度和位置替代手工操作，手术机器人部署在手术室，通过5G医疗物联网系统与手术导航系统云端建立连接和数据交互；/n5G医疗物联网系统，5G医疗物联网系统接收影像设备传出的数据后，将数据分成数据的元信息和实际的影像部分，数据的元信息通过5G的命令通道进行传输，实际的影像部分通过5G的数据通道进行传输。/n手术导航系统云端，手术导航系统云端运行于多台高性能GPU服务器之上，每台GPU服务器配置有支持CUDA并行加速的显卡，GPU处理复杂医学影像的云桌面，将手术计算、可视化渲染以及视频编全部交由GPU完成，并利用CUDA，OpenGL与NVENCODE共享数据资源；/n云端调度平台，所述云端调度平台包括物理网IOT管理器、影像数据存储器、消入消息队列以及写入数据库，用于对系统中的数据资源进行调度和处理；/n手术导航云桌面，手术导航云桌面提供虚拟的系统桌面与手术导航服务，用户通过浏览器接入到手术导航云端桌面参与手术。/n...

【技术特征摘要】
1.一种基于5G技术的远程手术导航云桌面系统，其特征在于，包括：
影像设备，所述影像设备与手术导航系统云端建立连接后，采集生成的影像将通过5G医疗物联网系统传输到手术导航系统云端；
光学定位设备，所述光学定位设备包括光学定位摄像机和光学定位标记物两部分，光学定位设备部署在手术室，不同几何结构的光学定位标记物附着手术导航工具上，光学定位设备实时追踪检测附着特殊光学标记物的手术导航工具的位姿，并将检测结果实时通过5G医疗物联网系统传输到手术导航系统云端；
手术机器人，手术机器人操控手术导航工具的角度和位置替代手工操作，手术机器人部署在手术室，通过5G医疗物联网系统与手术导航系统云端建立连接和数据交互；
5G医疗物联网系统，5G医疗物联网系统接收影像设备传出的数据后，将数据分成数据的元信息和实际的影像部分，数据的元信息通过5G的命令通道进行传输，实际的影像部分通过5G的数据通道进行传输。
手术导航系统云端，手术导航系统云端运行于多台高性能GPU服务器之上，每台GPU服务器配置有支持CUDA并行加速的显卡，GPU处理复杂医学影像的云桌面，将手术计算、可视化渲染以及视频编全部交由GPU完成，并利用CUDA，OpenGL与NVENCODE共享数据资源；
云端调度平台，所述云端调度平台包括物理网IOT管理器、影像数据存储器、消入消息队列以及写入数据库，用于对系统中的数据资源进行调度和处理；
手术导航云桌面，手术导航云桌面提供虚拟的系统桌面与手术导航服务，用户通过浏览器接入到手术导航云端桌面参与手术。


2.根据权利要求1所述的系统，其特征在于：
依据云手术导航系统的导航提示将手术导航工具装配到手术机器人的机械臂上，操控机械臂精准定位实施手术；
机械臂上手术导航工具位姿信息通过5G医疗物联网系统传到手术数据管理系，手术数据管理系统触发云端调度平台使手术影像仿真系统对手术导航工具进行实时位姿虚拟仿真，使手术影像渲染系统实时渲染手术部位的医学影像，同时机械臂传感器依据接收的手术规划数据控制机械臂位姿。


3.根据权利要求2所述的系统，其特征在于：
手术导航系统云端以两个不同的端点接收信息：影像元数据信息，通过物联网协议流入云端的物联网平台，物理网平台后端接入非结构化数所库用于保存数据，同时数据也会被推入消算队列，用于触发后端的影像处理服务；
影像数据部分接入对像存储部分，对象存储同网络的CDN直接相联。


4.根据权利要求3所述的系统，其特征在于：
元数据部分通过WebSocket与手术导航云端交互元数据信息，影像数据部分以CDN的方式与手术导航云端连接。


5.根据权利要求4所述的系统，其特征在于，所述手术导航系统云端包括：
手术导航界...

【专利技术属性】
技术研发人员：刘芳德，江鑫楠，刘悦，
申请(专利权)人：杭州湖西云百生科技有限公司，
类型：发明
国别省市：浙江;33