一种利用AR实现远程医疗会诊的方法及设备技术

一种利用AR实现远程医疗会诊的方法及设备，本发明专利技术将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得主刀医生看到的病患能够实时传送给位于远方的远程终端控制系统，让远方的专家能够身临其境般地看到主刀医生看到的病患情况，相比于手机直播、录像等大大提高了真实性，使得专家能够直观地看出病患的体征，从而无法准确地作出判断，专家不需再像以往那般四处奔波，坐在办公室便可对全国各地、甚至全球各个地方的病患进行诊疗；大大降低了医疗事故的发生率，有效提升了治疗的效率，并且由于专家的坐镇，也使得主刀医生做手术时更加镇定、更加得心应手，即便实战经验较少的实习医生也能从容应对。

【技术实现步骤摘要】
一种利用AR实现远程医疗会诊的方法及设备
本专利技术涉及医疗会诊领域，尤其是指一种利用AR实现远程医疗会诊的方法及设备。
技术介绍
如今，虽然医疗技术越来越发达，但是依然存在各种疑难杂症需要专家亲自动手方可顺利地解决，但是病患需要的在某个领域成就较高的专家有可能在别的医院或者出差，无法及时赶到，因此便有可能耽误病患的病情。为了解决这一问题，可以让专家通过远程协助来指导主刀医生动手术，现有的远程指导方式主要包括通过移动端实时传输拍摄的画面、对病患患处进行录像再上传给专家查看等等。但是无论哪种远程指导方式，都效果极差，无法让专家直观地看出来病患的体征，从而无法准确地作出判断。增强现实技术（AR技术）是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。如果能将AR技术应用到医疗领域，则将有可能彻底改变现有的医疗模式，但是至今医疗领域依然鲜有AR技术的身影。中国专利技术专利一种基于AR技术和地理信息技术的埋地管线巡检方法及装置（申请公布号：CN106791620A），公开了其包括AR眼镜和安装在AR眼镜上的摄像头、数据处理融合终端；所述数据处理融合终端包括摄像头接口、GPS定位模块、网络通信模块、微处理模块、视频接口，所述摄像头接口、GPS定位模块、网络通信模块、视频接口分别与微处理模块连接；所述摄像头与摄像头接口连接，所述AR眼镜与视频接口连接。将该专利技术应用到现场医疗会诊，也仅能让主刀医生通过云端数据自行进行查找数据，而无法让专家在画面上与主刀医生进行动态的互动。
技术实现思路
本专利技术提供一种利用AR实现远程医疗会诊的方法及设备，其主要目的在于克服现有医疗会诊中远程指导的方式效果差，无法让专家直观地看出来病患体征的缺陷。为解决上述技术问题，本专利技术采用如下技术方案：一种利用AR实现远程医疗会诊的方法，包括以下步骤：1)医疗现场的主刀医生戴上AR眼镜，AR眼镜上的摄像头根据主刀医生的视角实时采集当前的病患实景，并将该病患实景实时传输到CPU模块；2)所述CPU模块通过视频接口将该病患实景传输到所述AR眼镜上进行实时的投影显示；同时，该CPU模块还将该病患实景的数据通过无线通信模块传输到远程终端控制系统上实时显示；3)主刀医生对AR眼镜投影出来的病患实景中需要咨询的部位进行标记，该主刀医生标记的数据再实时传输至所述CPU模块中，与CPU模块中的病患实景进行叠加；4)CPU模块将叠加有所述主刀医生标记的病患实景数据通过无线通信模块传输到所述远程终端控制系统上实时显示；5)专家对显示在远程终端控制系统上的病患实景中需要开刀的部位或需要微创手术的创口进行标记，该专家标记的数据再通过无线通信模块实时传输到所述CPU模块，与CPU模块中的病患实景、主刀医生标记进行叠加；6)CPU模块通过所述视频接口将叠加有所述主刀医生标记、专家标记的病患实景传输到所述AR眼镜上进行实时的投影显示；7)步骤1～6进行的同时，主刀医生通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的专家进行实时对话。进一步的，步骤3中，主刀医生进行标记的方法为：主刀医生通过操作与所述CPU模块信号控制连接的驱动装置使所述AR眼镜中的系统光标移动至要标记的位置进行标记。进一步的，所述驱动装置可以为外置的触摸板、手柄、鼠标中的一种。进一步的，所述远程终端控制系统为PC、手机、平板电脑中的一种。一种利用AR实现远程医疗会诊的设备，包括供主刀医生佩戴的AR眼镜、装设于该AR眼镜上的摄像头、CPU模块、无线通信模块、摄像头接口、视频接口、供专家使用的远程终端控制系统以及蓝牙耳机，所述CPU模块、无线通信模块、视频接口、摄像头接口集成在一控制盒内并装设于所述AR眼镜上；所述CPU模块通过所述无线通信模块与所述远程终端控制系统无线信号连接；所述摄像头通过所述摄像头接口与所述CPU模块连接，所述AR眼镜通过所述视频接口与所述CPU模块连接；所述蓝牙耳机可拆卸地卡设在所述AR眼镜的镜架上。进一步的，所述远程终端控制系统为PC、手机、平板电脑中的一种。进一步的，所述蓝牙耳机上具有一与所述镜架相适配的卡套，该蓝牙耳机可通过该卡套卡设在所述镜架上。进一步的，还包括线绳，所述镜架上开设有环形槽，所述线绳一端绕设在所述环形槽内、另一端与所述蓝牙耳机连接。和现有技术相比，本专利技术产生的有益效果在于:本专利技术将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得主刀医生看到的病患能够实时传送给位于远方的远程终端控制系统，让远方的专家能够身临其境般地看到主刀医生看到的病患情况，相比于手机直播、录像等大大提高了真实性，使得专家能够直观地看出病患的体征，从而准确地作出判断，专家不需再像以往那般四处奔波，坐在办公室便可对全国各地、甚至全球各个地方的病患进行诊疗；此外，由于AR眼镜的图像叠加功能，使得主刀医生可在AR眼镜投影出来的病患实景中进行标记，并将该主刀医生标记与病患实景叠加的图像实时发送给远程终端控制系统，专家则可在远程终端控制系统上的病患实景中进行标记，并将该专家标记实时发送给CPU模块叠加，最终使得主刀医生与专家能够同步地看到病患实景、主刀医生标记、专家标记三者叠加的图像，从而让主刀医生能够在AR眼镜上与专家进行动态的互动，让主刀医生能够清楚地理解专家所指出的需要开刀的部位或需要微创手术的创口位于何处，大大降低了医疗事故的发生率，有效提升了治疗的效率，并且由于专家的坐镇，也使得主刀医生做手术时更加镇定、更加得心应手，即便实战经验较少的实习医生也能从容应对。附图说明图1为本专利技术的结构示意图。图2为本专利技术中所述AR眼镜上的模块连接框图。图3为本专利技术的数据信号传输框图。图4为本专利技术的应用框图。具体实施方式下面参照附图说明本专利技术的具体实施方式。参照图1、图2、图3和图4。一种利用AR实现远程医疗会诊的设备，包括供主刀医生佩戴的AR眼镜1、装设于该AR眼镜1上的摄像头2、CPU模块3、无线通信模块4、摄像头接口51、视频接口52、供专家使用的远程终端控制系统7，其中，CPU模块3、无线通信模块4、视频接口52、摄像头接口51集成在一控制盒8内并装设于AR眼镜1上；CPU模块3通过无线通信模块4与远程终端控制系统7无线信号连接；摄像头2通过摄像头接口51与CPU模块3连接，AR眼镜1通过视频接口52与CPU模块3连接。具体的，参照图1、图2、图3和图4。AR眼镜1具有镜片11和镜架12，该摄像头2可以采用双目深度摄像头，该双目深度摄像头嵌设在镜架12的中间位置，双目深度摄像头是使用立体视觉的原理（stereo，MVS）来估计深度，其利用视差原理来求取深度的，投射一个图案，然后进行比较，其能起到增强现实的作用。无线通信模块4可以采用WiFi、2G、3G、4G等无线通信模式。远程终端控制系统7可以为PC、手机、平板电脑、另外一个AR眼镜中的一种。远程终端控制系统7中也设有无线通信模块，并能与AR眼镜1上的本文档来自技高网...

【技术保护点】
一种利用AR实现远程医疗会诊的方法，其特征在于，包括以下步骤：1) 医疗现场的主刀医生戴上AR眼镜，AR眼镜上的摄像头根据主刀医生的视角实时采集当前的病患实景，并将该病患实景实时传输到CPU模块；2) 所述CPU模块通过视频接口将该病患实景传输到所述AR眼镜上进行实时的投影显示；同时，该CPU模块还将该病患实景的数据通过无线通信模块传输到远程终端控制系统上实时显示；3) 主刀医生对AR眼镜投影出来的病患实景中需要咨询的部位进行标记，该主刀医生标记的数据再实时传输至所述CPU模块中，与CPU模块中的病患实景进行叠加；4) CPU模块将叠加有所述主刀医生标记的病患实景数据通过无线通信模块传输到所述远程终端控制系统上实时显示；5) 专家对显示在远程终端控制系统上的病患实景中需要开刀的部位或需要微创手术的创口进行标记，该专家标记的数据再通过无线通信模块实时传输到所述CPU模块，与CPU模块中的病患实景、主刀医生标记进行叠加；6) CPU模块通过所述视频接口将叠加有所述主刀医生标记、专家标记的病患实景传输到所述AR眼镜上进行实时的投影显示；7) 步骤1～6进行的同时，主刀医生通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的专家进行实时对话。...

【技术特征摘要】
1.一种利用AR实现远程医疗会诊的方法，其特征在于，包括以下步骤：1)医疗现场的主刀医生戴上AR眼镜，AR眼镜上的摄像头根据主刀医生的视角实时采集当前的病患实景，并将该病患实景实时传输到CPU模块；2)所述CPU模块通过视频接口将该病患实景传输到所述AR眼镜上进行实时的投影显示；同时，该CPU模块还将该病患实景的数据通过无线通信模块传输到远程终端控制系统上实时显示；3)主刀医生对AR眼镜投影出来的病患实景中需要咨询的部位进行标记，该主刀医生标记的数据再实时传输至所述CPU模块中，与CPU模块中的病患实景进行叠加；4)CPU模块将叠加有所述主刀医生标记的病患实景数据通过无线通信模块传输到所述远程终端控制系统上实时显示；5)专家对显示在远程终端控制系统上的病患实景中需要开刀的部位或需要微创手术的创口进行标记，该专家标记的数据再通过无线通信模块实时传输到所述CPU模块，与CPU模块中的病患实景、主刀医生标记进行叠加；6)CPU模块通过所述视频接口将叠加有所述主刀医生标记、专家标记的病患实景传输到所述AR眼镜上进行实时的投影显示；7)步骤1～6进行的同时，主刀医生通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的专家进行实时对话。2.如权利要求1所述一种利用AR实现远程医疗会诊的方法，其特征在于：步骤3中，主刀医生进行标记的方法为：主刀医生通过操作与所述CPU模块信号控制连接的驱动装置使所述AR眼镜中的系...

【专利技术属性】
技术研发人员：阙凯，阙宇，阙小鸿，
申请(专利权)人：福建铁工机智能机器人有限公司，
类型：发明
国别省市：福建,35