一种外科手术AR辅助设备制造技术

本发明专利技术提供了一种外科手术AR辅助设备，属于手术辅助设备技术领域，该外科手术AR辅助设备包括AR眼镜以及控制系统；其中，AR眼镜包括眼镜本体，AR眼镜是光波导AR眼镜，眼镜本体上设置有第一采集摄像头组和第二采集摄像头组，控制系统包括第一采集模块、第二采集模块、手术辅助成像模块、校准模块、指令接收模块以及输出模块；指令接收模块用于接收使用者的指令；手术辅助成像模块用于对采集的图像进行处理并形成目标图像；校准模块用于训练图像形变方案；输出模块用于将目标图像传输给AR眼镜进行显示。能够对外科手术过程中的血液遮挡进行处理，有效解决医护人员容易被血液遮挡视线，影响外科手术的顺利进行的技术问题。影响外科手术的顺利进行的技术问题。影响外科手术的顺利进行的技术问题。

【技术实现步骤摘要】
一种外科手术AR辅助设备


[0001]本专利技术属于手术辅助设备
，具体而言，涉及一种外科手术AR辅助设备。

技术介绍

[0002]外科手术过程中，手术处理区域容易被血水阻挡视野，比如切开的伤口，会渗血渗液，混成的血水会往手术操作范围内慢慢流，看不到手术范围内的细节，手术医护人员通过使用负压吸引器和纱布对血液进行清理，其中负压吸引器是通过一定方法制造其吸引头的负压状态，吸引头外的物质向吸引头挤压，从而完成“血液吸引”效果的工具；纱布直接贴到血液处进行吸取。
[0003]为了使医生能够清晰的了解手术器械相对病人解剖结构的位置，不少医院普遍采用计算机辅助导航技术，该导航技术的工作原理为：在患者的手术部位附近和手术器械上安装能够发出信号的装置，通常采用红外线作为发射源、CCD(电荷耦合元件)相机为接收器，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，同时将这些信息通过显示器展示给医生；在术中进行患者手术部位的X线透视，并将透视图像与得到的患者骨骼位置和手术器械位置图像进行合成，从而得到医生进行手术采用的导航图像。
[0004]不过，由于当前的手术导航技术中没有对外科手术过程中的血液遮挡进行处理，因此在外科手术过程中，医护人员容易被血液遮挡视线，影响外科手术的顺利进行。

技术实现思路

[0005]有鉴于此，本专利技术提供一种外科手术AR辅助设备，能够对外科手术过程中的血液遮挡进行处理，有效解决医护人员容易被血液遮挡视线，影响外科手术的顺利进行的技术问题。
[0006]本专利技术是这样实现的：
[0007]本专利技术提供一种外科手术AR辅助设备，其中，包括AR眼镜以及控制系统；
[0008]其中，AR眼镜包括眼镜本体，所述AR眼镜是光波导AR眼镜，所述眼镜本体上设置有第一采集摄像头组和第二采集摄像头组，所述第一采集摄像头组正向设置在眼镜本体上，用于采集AR眼镜外部图像，所述第二采集摄像头组反向设置在眼镜本体上，用于采集使用者的眼睛图像；
[0009]所述控制系统包括第一采集模块、第二采集模块、手术辅助成像模块、校准模块、指令接收模块以及输出模块；
[0010]其中，所述第一采集模块用于接收第一采集摄像头组采集的外部图像，
[0011]所述第二采集模块用于接收第二采集摄像头组采集的使用者眼睛图像；
[0012]所述指令接收模块用于接收使用者的指令；
[0013]所述手术辅助成像模块用于对采集的图像进行处理并形成目标图像；
[0014]所述校准模块用于训练图像形变方案，其中图像形变方案包括左图像偏移度、左
图像旋转角度、左图像缩放度以及右图像偏移度、右图像旋转角度、右图像缩放度；
[0015]所述输出模块用于将目标图像传输给AR眼镜进行显示。
[0016]所述控制系统可以部署在服务器上，所述AR眼镜上还设置有通信模块，所述通信模块用于实现所述控制系统所部署的服务器与所述AR眼镜进行数据传输。所述服务器可以是本地服务器或云端服务器。
[0017]上述方案的有益效果是：
[0018]由于每个使用者的眼睛状态不同，且当使用者调整视角时，会引发眼睛状态的变化，此时若AR眼镜镜片上显示图像不根据使用者眼睛状态变化进行调整，则会使得使用者眼睛看到的图像不自然。因此，需要随着使用者眼睛状态的不同，实时调整AR眼镜左右两个镜片上的目标图像。利用校准模块得到图像形变方案，并利用图像形变方案对目标图像进行处理，得到的目标图像，能够跟随使用者眼睛状态的不同而变化，使得目标图像的被使用者接收到之后减小对比实际物体方位产生的偏移或形变。此时使用者同时看到的是外部实际图像和眼镜上的图像，得到两者完全匹配的视觉效果。
[0019]在上述技术方案的基础上，本专利技术的一种外科手术AR辅助设备还可以做如下改进：
[0020]其中，所述手术辅助成像模块用于执行手术辅助成像的步骤，所述手术辅助成像的步骤包括：
[0021]S100：对外部图像进行合并处理得到第一外部图像；
[0022]S200：对第一外部图像进行遮挡透过处理得到第二外部图像，其中，遮挡主要外科手术过程中出现的患者渗出脓血的遮挡，主要是渗出的血液遮挡；
[0023]S300：对使用者眼睛图像进行处理得到使用者眼睛状态，其中眼睛状态包括瞳孔位置、瞳孔尺寸；
[0024]S400：将使用者眼睛状态录入预先训练好的AR成像模型，并计算得到左右两个镜片的实时图像形变方案，其中所述AR成像模型在所述校准模块中完成预先训练；
[0025]S500：根据得到的左右两个镜片的实时显示中心和图像形变方案，对第二外部图像进行处理生成左右两个镜片的实时图像作为目标图像，其中目标图像包括需显示在左镜片的左目标图像以及需显示在右镜片的右目标图像。
[0026]采用上述改进方案的有益效果为：由于瞳孔的位置、尺寸会影响到使用者眼睛接受的图像的形变，且每个人的瞳孔位置、瞳孔尺寸有所不同，因此，利用神经网络训练的方式对形成实时图像形变方案，有利于得到更优化的实时图像形变方案，使得目标图像的被使用者接收到之后减小对比实际物体方位产生的偏移或形变。
[0027]遮挡透过处理后的第二外部图像，能够有效减少血液等对手术部位造成的遮挡。
[0028]进一步的，所述校准模块用于执行建立AR成像模型进行训练的步骤，包括：
[0029]第一步：构建训练样本，具体包括：
[0030]a.获取使用者的眼睛状态；
[0031]b.根据所获取的使用者眼睛状态，通过手术辅助成像模块获取预定校准图案的左目标图像和右目标图像；
[0032]c.对左目标图像和右目标图像进行图像重叠训练，得到形变方案，并与a步骤中的眼睛状态组合为一个样本向量，表示为[A，B]，其中，A表示使用者眼睛状态，B表示图像形变
方案；
[0033]d.当使用者调整眼睛状态，重复步骤a
‑
b
‑
c，以新得到的样本向量；
[0034]e.将得到的多个样本向量组合为样本矩阵X；
[0035]第二步：设计网络架构和初始化，具体是：构建一个卷积神经网络，其中包含1个输入层，3个卷积层，3个Relu非线性激活层，3个池化层，1个全连接层以及1个输出层；
[0036]第三步：通过卷积神经网络训练得到AR成像模型，具体包括前向传播网络训练和反向传播网络训练两个阶段，所述前向传播网络训练是，输入A并通过手术辅助成像模块获取B；所述反向传播网络训练是，当向前传播网络训练的输出结果使与操作人员的图像重叠训练不匹配时，采用随机梯度下降优化算法进行反向传播网络训练，更新卷积层的参数。
[0037]采用上述改进方案的有益效果为：利用包括前向传播网络训练和反向传播网络训练两个阶段的卷积神经网络，能够更好的修正训练结果，提高模型的准确度。
[0038]进一步的，所述“对左目标图像和右目标图像进行图像重叠训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种外科手术AR辅助设备，其特征在于，包括AR眼镜以及控制系统；其中，AR眼镜包括眼镜本体，所述AR眼镜是光波导AR眼镜，所述眼镜本体上设置有第一采集摄像头组和第二采集摄像头组，所述第一采集摄像头组正向设置在眼镜本体上，用于采集AR眼镜外部图像，所述第二采集摄像头组反向设置在眼镜本体上，用于采集使用者的眼睛图像；所述控制系统包括第一采集模块、第二采集模块、手术辅助成像模块、校准模块、指令接收模块以及输出模块；其中，所述第一采集模块用于接收第一采集摄像头组采集的外部图像，所述第二采集模块用于接收第二采集摄像头组采集的使用者眼睛图像；所述指令接收模块用于接收使用者的指令；所述手术辅助成像模块用于对采集的图像进行处理并形成目标图像；所述校准模块用于训练图像形变方案，其中图像形变方案包括左图像偏移度、左图像旋转角度、左图像缩放度以及右图像偏移度、右图像旋转角度、右图像缩放度；所述输出模块用于将目标图像传输给AR眼镜进行显示。2.根据权利要求1所述的一种外科手术AR辅助设备，其特征在于，所述手术辅助成像模块用于执行手术辅助成像的步骤，所述手术辅助成像的步骤包括：S100：对外部图像进行合并处理得到第一外部图像；S200：对第一外部图像进行遮挡透过处理得到第二外部图像，其中，遮挡主要外科手术过程中出现的患者渗出脓血的遮挡，主要是渗出的血液遮挡；S300：对使用者眼睛图像进行处理得到使用者眼睛状态，其中眼睛状态包括瞳孔位置、瞳孔尺寸；S400：将使用者眼睛状态录入预先训练好的AR成像模型，并计算得到左右两个镜片的实时图像形变方案，其中所述AR成像模型在所述校准模块中完成预先训练；S500：根据得到的左右两个镜片的实时显示中心和图像形变方案，对第二外部图像进行处理生成左右两个镜片的实时图像作为目标图像，其中目标图像包括需显示在左镜片的左目标图像以及需显示在右镜片的右目标图像。3.根据权利要求2所述的一种外科手术AR辅助设备，其特征在于，所述校准模块用于执行建立AR成像模型进行训练的步骤，包括：第一步：构建训练样本，具体包括：a.获取使用者的眼睛状态；b.根据所获取的使用者眼睛状态，通过手术辅助成像模块获取预定校准图案的左目标图像和右目标图像；c.对左目标图像和右目标图像进行图像重叠训练，得到形变方案，并与a步骤中的眼睛状态组合为一个样本向量，表示为[A，B]，其中，A表示使用者眼睛状态，B表示图像形变方案；d.当使用者调整眼睛状态，重复步骤a
‑
b
‑
c，以新得到的样本向量；e.将得到的多个样本向量组合为样本矩阵X；第二步：设计网络架构和初始化，具体是：构建一个卷积神经网络，其中包含1个输入层，3个卷积层，3个Relu非线性激活层，3个池化层，1个全连接层以及1个输出层；
第三步：通过卷积神经网络训练得到AR成像模型，具体包括前向传播网络训练和反向传播网络训练两个阶段，所述前向传播网络训练是，输入A并通过手术辅助成像模块获取B；所述反向传播网络训练是，当向前传播网络训练的输出结果使与操作人员的图像重叠训练不匹配时，采用随机梯度下降优化算法进行反向传播网络训练，更新卷积层的参数。4.根据权利要求3所述的一种外科手术AR辅助设备，其特征在于，所述“对左目标图像和右目标图像进行图像重叠训练”的具体步骤包括：第1步：固定左目标图像，并以右目标图像的中心点为极坐标原点，将右目标图像的中心点在极坐标上进行遍历移动，当获取到使用者的停止遍历指令时，停止遍历，以此时的右目标图像的中心点极坐标作为右图像偏移度；第2步：固定左目标图像，并将右目标图像围绕中心点做震荡旋转，当获取到使用者的停止旋转指令时，停止旋转，以此时的右目标图像的中心点的偏移角度作为右图像旋转角度；第3步：固定左目标图像，并以右目标图像的中心点作为固定点，将右目标图像进行震荡缩放，当获取到使用者的停止缩放指令时，停止缩放，以此时右目标图像的缩放度作为右图像缩放度；第4步：按照同样图像偏移度、图像旋转角度以及图像缩放度同步调整左目标图像和右目标图像，当获取到使用者的停止同步指令时，停止左目标图像和右目标图的同步调整，以此时的左目标图像的偏移度、图像旋转角度以及图像缩放度作为左图像偏移度、左图像旋转角度以及左图像缩放度，以此时的右目标图像的偏移度、图像旋转角度以及图像缩放度作...

【专利技术属性】
技术研发人员：臧金林，石学香，
申请(专利权)人：青岛市市立医院，
类型：发明
国别省市：