一种基于VR技术的手术室监控系统技术方案

本发明专利技术公开了一种基于VR技术的手术室监控系统，其技术方案要点是：包括摄像模块、VR显示模块、控制存储模块、平面显示模块、深度学习模块以及模拟训练模块；所述摄像模块包括安装在每个手术间内的全景摄像机；所述控制存储模块包括用于上传所述全景摄像机拍摄视频的中心服务器，所述中心服务器包括用于实时存储与备份拍摄视频文件的云端存储器；所述VR显示模块包括安装在监控室内的VR头戴显示器及运行的播放器；通过在手术台上方安装全景摄像机，可以监控手术过程，消除视觉盲区的存在；还原手术场景，解决了物品遗失无法精确查找的问题。题。题。

【技术实现步骤摘要】
一种基于VR技术的手术室监控系统


[0001]本专利技术属于医疗领域，具体涉及一种基于VR技术的手术室监控系统。

技术介绍

[0002]医院是人员成分非常复杂的公共场所，综合考虑医院本身的特点，随着计算机技术及网络技术的迅猛发展，世界掀起一股强大的数字化、网络化浪潮，医院监控系统主要是对出入医院的人员及病人的情况进行监控。医院科室多，出入人员复杂为了保证医院及病人的安全，为医院建立一套智能数字监控系统是必不可少的。
[0003]可参考公开号为CN104042346A的中国专利，其公开了一种手术室监控系统，该手术室监控系统设置手术室终端模块、医院监控模块和会诊示教模块；能够实时将手术室内环境和病人生命特征显示在显示屏上，供医生参考，远程诊疗视频通信子系统通过与远程医疗流程相适应，形成能够进行灵活前端接入，使得处于异地的不同专家汇聚于一个网络会议室内进行虚拟会诊，其效果能够达到高清级别，效果逼真。同时所有视频、语音、数据均通过平台系统实现端到端的传送，从而实现实时动态协同。
[0004]上述专利具有实时将手术室内环境、设备运行状况和病人生命特征显示在显示屏上，并能够将数据进行记录，供医生参考，还能通过全景摄像机和麦克风与监控中心的专家或者学院进行实时沟通的优点，但是其也存在缺陷，如：其拍摄的部分比较局限，存在视野盲区，术中在发生物品遗失时，通过查监控存在视野盲区，虽然能够为回顾性查找提供一定的依据，但很难清晰查找。

技术实现思路

[0005]本专利技术的目的在于提供一种基于VR技术的手术室监控系统，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一种基于VR技术的手术室监控系统，包括摄像模块、VR显示模块、控制存储模块、平面显示模块、深度学习模块以及模拟训练模块；
[0008]所述摄像模块包括安装在每个手术室内的全景摄像机；
[0009]所述控制存储模块包括用于上传所述全景摄像机拍摄视频的中心服务器，所述中心服务器包括用于实时存储与备份拍摄视频文件的云端存储器；
[0010]所述VR显示模块包括安装在监控室内的VR头戴显示器及运行在所述VR头戴显示器中的播放器；
[0011]所述全景摄像机与所述中心服务器之间通过5G无线网络连接；所述中心线服务器与所述VR头戴显示器以及所述平面显示模块之间均通过5G无线网络连接。
[0012]优选的，所述VR头戴显示器包括VR眼镜，所述平面显示模块包括用于播放视频文件的台式电脑、平板电脑、智能手机以及智慧电视。
[0013]优选的，所述模拟训练模块包括数据采集及处理步骤，具体为：
[0014]选取一段手术视频，导入his系统记录的手术节点信息或人工标注的手术信息，将手术过程分为：手术患者入手术间、麻醉开始、手术开始、手术结束、手术患者出手术间阶段，解码视频，提取时间节点前后1min的视频进行图像处理，提取视频中的如下信息：
[0015]识别图像中的人体，追踪人体运行情况并根据运动关键节点建立矩阵数组，记录关键点的运动轨迹为x1；
[0016]对图像进行轮廓提取，建立轮廓矩阵数组，为x2；
[0017]对视频中的亮度较高物体进行识别和追踪，建立矩阵数组为x3；
[0018]训练模型
[0019]将x1，x2，x3作为输入，手术开始、动刀子、缝皮阶段作为输入，依次将不同阶段的x1，x2，x3输入前馈网络模型进行训练；
[0020]测试验证
[0021]用已知结果的样本使用训练好的前馈网络模型进行验证，若结果符合预期则停止训练，若结果不符合预期则增加训练样本进行训练，直至验证通过。
[0022]优选的，还包括圈定物体跟踪模块，所述圈定物体跟踪模块对视频文件中的某个物品进行区域圈定，对圈定区域进行物体的轮廓提取和运动跟踪，圈定区域之后的视频将依据用户的圈定检索该物体，并一直将物体周边自动圈定；在VR显示中依据圈定区域的位置，自动旋转VR头戴显示器播放的主场景角度，使视线一直可以跟随该主场景。
[0023]优选的，所述摄像模块还包括水平板，所述水平板上滑动连接有连接杆，所述连接杆的底部固定连接有壳体，所述壳体的内腔中安装有第一伺服电机，所述第一伺服电机的电机轴端部固定连接有固定板，所述固定板的底部安装有全景摄像机。
[0024]优选的，所述水平板的底部固定连接有侧板，所述侧板的一侧安装有第二伺服电机，所述第二伺服电机的电机轴上固定连接有清洁毛刷板，所述水平板上设置有用于向所述全景摄像机喷洒清洗液的喷洒组件，所述水平板的底部固定连接有竖直板，所述竖直板的一侧安装有电动伸缩杆，所述电动伸缩杆的输出端与所述连接杆固定连接。
[0025]优选的，所述喷洒组件包括固定连接在所述水平板顶部的储液箱，所述水平板顶部在所述储液箱的一侧安装有水泵，所述水泵的抽水口与所述储液箱连通，所述水泵的出水口连通固定有连接管，所述连接管的一端贯穿所述水平板与所述侧板并安装有喷头。
[0026]优选的，所述水平板的底部固定连接有连接板，所述连接管上套设有固定套，所述固定套与所述连接板固定连接，所述储液箱的一侧连通固定有进液管。
[0027]优选的，所述侧板的一侧固定连接有接液板，所述接液板上开设有漏液孔，所述接液板在所述漏液孔处设置有积液筒，所述积液筒与所述漏液孔连通，所述接液板的顶部设置有方便清洗液滑入所述漏液孔的倾斜坡。
[0028]优选的，所述水平板上开设有供所述连接杆水平滑移的腰型槽，所述连接杆上固定连接有两个限位导向板，所述全景摄像机的端部固定连接有透明玻璃保护罩。
[0029]与现有技术相比，本专利技术的有益效果是：
[0030]第一、本基于VR技术的手术室监控系统，通过在手术台上方安装全景摄像机，可以监控手术过程，消除视觉盲区的存在；
[0031]通过控制存储模块的设置可以随时调出拍摄的全景视频进行回放，再结合VR显示模块播放全景视频，可还原手术场景，解决物品遗失无法精确查找的问题；
[0032]在还原手术场景的同时，可形成重回过去真实手术场景的效果，便于实习医生进行学习、训练；
[0033]本专利技术还参考his系统的手术时间节点，将拍摄的手术视频进行结构化分解；对手术视频进行分析，根据提取的视频特征，运用自动分解出详细的手术时间节点；然后再利用图像处理，可以圈定跟踪目标物体为关注点，着重提示该物体，便于在视频录像中查找；在VR头戴显示器中，根据关注点自动旋转图像，进行视线跟随。
[0034]第二、本基于VR技术的手术室监控系统在使用时，通过喷洒组件、第一伺服电机、第二伺服电机以及清洁毛刷板的配合使用，可方便对全景摄像机镜头进行清洁，避免灰尘附着严重影响拍摄效果，达到方便清洗，提高拍摄清晰度的目的。
附图说明
[0035]图1为本专利技术的结构示意图；
[0036]图2为本专利技术的喷洒组件处结构示意图；
[0037]图3为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VR技术的手术室监控系统，其特征在于：包括摄像模块、VR显示模块、控制存储模块、平面显示模块、深度学习模块以及模拟训练模块；所述摄像模块包括安装在若干手术室内的全景摄像机(6)；所述控制存储模块包括用于上传所述全景摄像机(6)拍摄视频的中心服务器，所述中心服务器包括用于实时存储与备份拍摄视频文件的云端存储器；所述VR显示模块包括安装在监控室内的VR头戴显示器及运行在所述VR头戴显示器中的播放器；所述全景摄像机(6)与所述中心服务器之间通过5G无线网络连接；所述中心线服务器与所述VR头戴显示器以及所述平面显示模块之间均通过5G无线网络连接。2.根据权利要求1所述的一种基于VR技术的手术室监控系统，其特征在于：所述VR头戴显示器包括VR眼镜，所述平面显示模块包括用于播放视频文件的台式电脑、平板电脑、智能手机以及智慧电视。3.根据权利要求1所述的一种基于VR技术的手术室监控系统，其特征在于：所述模拟训练模块包括数据采集及处理步骤，具体为：选取一段手术视频，导入his系统记录的手术节点信息或人工标注的手术信息，将手术过程分为：手术患者入手术间、麻醉开始、手术开始、手术结束、手术患者出手术间阶段，解码视频，提取时间节点前后1min的视频进行图像处理，提取视频中的如下信息：识别图像中的人体，追踪人体运行情况并根据运动关键节点建立矩阵数组，记录关键点的运动轨迹为x1；对图像进行轮廓提取，建立轮廓矩阵数组，为x2；对视频中的亮度较高物体进行识别和追踪，建立矩阵数组为x3；训练模型将x1，x2，x3作为输入，手术开始、动刀子、缝皮阶段作为输入，依次将不同阶段的x1，x2，x3输入前馈网络模型进行训练；测试验证用已知结果的样本使用训练好的前馈网络模型进行验证，若结果符合预期则停止训练，若结果不符合预期则增加训练样本进行训练，直至验证通过。4.根据权利要求1所述的一种基于VR技术的手术室监控系统，其特征在于：还包括圈定物体跟踪模块，所述圈定物体跟踪模块对视频文件中的某个物品进行区域圈定，对圈定区域进行物体的轮廓提取和运动跟踪，圈定区域之后的视频将依据用户的圈定检索该物体，并一直将物体周边自动圈定；在VR显示中依据圈定区域的位置，自动旋转VR头戴显示器播放的主场景角度，使视线一直可以跟随该主场景。5.根据权利要求1所述的一种基于VR技术的手术室监控系统，其特征在于：所述...

【专利技术属性】
技术研发人员：张聚，王静，王艳丽，孔娜，苗成琼，杨静，张振清，
申请(专利权)人：青岛大学附属医院，
类型：发明
国别省市：