【技术实现步骤摘要】
本专利技术涉及外科手术导航，特别涉及一种增强现实外科导航装置、方法、系统设备及介质。
技术介绍
1、外科手术需要高精度和准确性，传统的手术方法依赖于医生经验和术中影像。然而，由于手术复杂性和个体差异，传统方法可能存在误差和风险。近几十年来，世界各地使用的外科技术在技术上取得了进步。为了给外科医生提供参考信息，传统的手术可视化系统使用超声、磁共振成像（magnetic resonance imaging， mri）或患者术前计算机断层扫描（computed tomography， ct）和其他医学成像。然而，外科医生应在整个手术过程中将二维 （2d） 图像与三维 （3d） 空间相结合，导致术前和术中信息不匹配。
2、近年来，随着三维建模与计算机图形图像技术的发展，将其应用于外科手术导航已成为研究热点，目前国内外临床应用最多的为三维可视化手术导航。所谓三维可视化手术导航是指以病人自身的ct、mri等影像学资料为数据源，通过建立虚拟现实空间，结合三维可视化技术使医生在手术前能够模拟手术中的关键步骤，并在此基础上，再借助光学定位仪。在手术中实时跟踪手术器械相对患者病灶的位置关系，从而达到辅助医生进行手术操作的目的。大量临床统计数据证明，手术导航可提高病灶切除率86.7％，降低手术并发症12.1％，减少死亡率0.8％，临床疗效显著。
3、虽然使用三维可视化手术导航可以大幅度提升临床治疗效果，但从业者仍需要频繁地在手术场景和辅助显示器之间切换视线，从而延长手术时间。手术目标和器械也经常隐藏在其他解剖结构中。在此技术上
4、虽然三维可视化手术导航装置可以提供精准的导航定位，但其存在患者实体与三维可视化画面分离的问题，这可能给医生在手术过程中带来一些挑战和要求。由于三维可视化手术导航装置的使用，医生需要在现实世界中进行手术操作，同时还需要通过观看屏幕上的三维可视化画面来获得更详细的导航信息。患者的实体与导航画面的分离意味着医生无法直接看到自己的手术区域，而需要循环切换视觉方向来进行手术操作和调整。这种切换可能会带来额外的认知负担和操作复杂性。医生在使用三维可视化手术导航装置时，需要医生具备较强的空间思维能力和手眼协调能力，他们需要从屏幕上获取的虚拟图像与实际手术场景进行有效地对应和理解。此外，医生还需要适应循环切换视觉方向的操作方式。
5、ar头戴式导航装置发展背后的驱动力是需要一个最佳的头部跟踪系统，显示设备必须无缝融入医生的工作流程，该系统可以连续、完美地跟踪手术区域的所有细微变化，然而当前阶段的头戴式ar眼镜虽然可以将虚拟图像叠加在真实世界中，但同样造成医生视野的遮挡或干扰。这可能使医生难以正确看到手术区域的细节；长时间佩戴头戴式ar眼镜可能会导致眼部疲劳和不适感。眼睛对于连续的近距离焦点调整和视角变化可能会产生不适应。另外，当前头戴式ar眼镜通常比较重，佩戴时间过长可能会给医生带来颈部不适或疲劳。头戴式ar眼镜多基于内部光学追踪，当前国内外头戴式ar技术的稳定性和可靠性并不成熟，可能造成图像失真或延迟，导致定位精度降低。当医生进行精细、快速的手术操作时，影响手术操作的准确性和效果。介于以上问题，头戴式ar导航装置从研究实验室迁移到医疗环境，仍需一段汇集更多的资源和专业知识的沉淀时间。
技术实现思路
1、本专利技术的目的是提供一种增强现实外科导航装置、方法、系统、设备及介质，以叠加的ar画面，避免头戴式增强现实装置的点云校准和叠加带来的误差偏移和携带不便等问题，同时也将现实环境与三维可视化数据精准重合，实现了一种高精度的ar手术导航装置。
2、为实现上述目的，本专利技术提供了如下方案：
3、第一方面，本专利技术提供了一种增强现实外科导航装置，包括：
4、光学追踪仪、ar屏幕显示器以及光学反射刚体；
5、所述光学反射刚体包括：
6、若干红外反射球和连接件，所述反射球固定在所述连接件上；
7、所述光学反射刚体固定在所述ar屏幕显示器上，所述红外反射球正对所述光学追踪仪，使得所述光学追踪仪可以捕获所述红外反射球；
8、所述光学追踪仪包括：
9、红外摄像头、网络设备以及计算机；
10、所述红外摄像头和所述计算机通过网线连接至所述网络设备的交换机中。
11、第二方面，基于上述装置本专利技术提供一种增强现实外科导航方法，所述方法应用于第一方面所述的装置，所述方法包括：
12、对ar屏幕显示器进行高精度三维建模；
13、对光学反射刚体进行测量，得到光学数据，记为模型点集；所述光学数据包括光学反射刚体的名称、批次编号、测量时间以及红外反射球空间坐标集；
14、通过ct扫描建立患者病灶骨骼数据；
15、将光学反射刚体、患者病灶骨骼数据和ar屏幕显示器进行动态配准；
16、对所述光学数据进行处理和配准；
17、进行三维虚拟骨骼复位；
18、对所述复位后的虚拟骨骼进行置钉操作。
19、可选的，所述通过ct扫描建立患者病灶骨骼数据具体包括以下步骤：
20、将光学反射刚体固定在患者病灶骨骼上；
21、将患病病灶骨骼连同所述光学反射刚体进行ct扫描，获得ct断层数据；
22、对所述ct断层数据进行数据转换得到断层骨骼点云信息。
23、可选的，所述将光学反射刚体、患者病灶骨骼数据和ar屏幕显示器进行动态配准具体包括以下步骤：
24、进行虚拟相机和真实相机配准：
25、将虚拟图像与真实环境融合；
26、使用unity的videocapture api插件获取ar屏幕显示器相机的视频输入；
27、对图像进行白平衡、曝光、镜头畸变进行处理；
28、使用unity中的arfoundation工具将虚拟图像与真实环境进行合成；
29、将ar屏幕显示器与光学追踪仪连接，利用tcp网络协议接收光学追踪仪的数据信息。
30、可选的，对所述光学数据进行处理和配准具体包括以下步骤：
31、由ar屏幕显示器接收来自光学追踪仪追踪的光学数据，并将所述光学数据转换为手术器械和患者体内标记点的实时位置数据，即红外反射球球心坐标，记为本文档来自技高网...
【技术保护点】
1.一种增强现实外科导航装置，其特征在于，包括：
2.一种增强现实外科导航方法，其特征在于，所述方法应用于如权利要求1所述的装置，所述方法包括：
3.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，所述通过CT扫描建立患者病灶骨骼数据具体包括以下步骤：
4.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，所述将光学反射刚体、患者病灶骨骼数据和AR屏幕显示器进行动态配准具体包括以下步骤：
5.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，对所述光学数据进行处理和配准具体包括以下步骤：
6.一种增强现实外科导航系统，其特征在于，包括：
7.根据权利要求6所述的增强现实外科导航系统，其特征在于，所述CT扫描模块包括：
8.根据权利要求6所述的增强现实外科导航系统，其特征在于，所述动态配准模块包括：
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求2-5中任一项所述的增强现实
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求2-5中任一项所述的增强现实外科导航方法。
...【技术特征摘要】
1.一种增强现实外科导航装置，其特征在于，包括：
2.一种增强现实外科导航方法，其特征在于，所述方法应用于如权利要求1所述的装置，所述方法包括：
3.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，所述通过ct扫描建立患者病灶骨骼数据具体包括以下步骤：
4.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，所述将光学反射刚体、患者病灶骨骼数据和ar屏幕显示器进行动态配准具体包括以下步骤：
5.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，对所述光学数据进行处理和配准具体包括以下步骤：
6....
【专利技术属性】
技术研发人员：周烽，张继刚，王侃，何元会，李体雷，田承林，刘昊扬，
申请(专利权)人：北京诺亦腾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。