一种可用于超声图像显示的增强现实处理方法和系统技术方案

本发明专利技术公开了一种可用于超声图像显示的增强现实处理方法和系统，包括增强现实眼镜和带视觉标记的超声探头，所述增强现实眼镜包括头戴显示模组和主机，所述增强现实眼镜上安装有一个以上的摄像头，所述带视觉标记的超声探头在探头机身位置分布有一圈视觉标记，可以反射/发射可见光或红外光，与现有技术相比，本发明专利技术将虚拟屏幕始终直接投影到使用者的眼睛里，并且始终投射在相对使用者舒适的角度上，或者投射在使用者的超声探头附近的固定位置，可以避免使用者长期扭头造成的肌肉劳损，也可以产生使用者直接透视看到病人身体内部的视觉效果。

【技术实现步骤摘要】
一种可用于超声图像显示的增强现实处理方法和系统
本专利技术涉及增强现实技术和超声技术，具体为一种可用于超声图像显示的增强现实处理系统和方法。
技术介绍
目前医疗市场使用的超声系统中，呈现图像采用的都是医用显示屏，一般放置在超声台车的上方。病人躺在医生的一侧，医生由于职业训练的素养，在观察屏幕的时候看不到病人，医生需要根据检查项目来选测病人的体位，如平卧位，左侧卧位，右侧卧位，坐位或半卧位等。医生本人的位置是固定的，看屏幕的方向也是固定的，所以检查各种体位的病人时，经常需要作出侧身的体位去触及病人的检查部位。所以肩周炎和颈椎病成为了超声医生的一项职业病。本专利技术提出一种可用于超声图像显示的增强现实处理系统，由一AR增强现实眼镜，一计算处理装置，以及固定在超声探头上的红外追踪标记构成。该系统可以将超声图像一直显示在医生眼前，或者跟随医生身体的转动将超声图像显示在医生身前的固定高度，或者在超声引导类的穿刺治疗中直接将超声图像融合显示在病人的患处。从而能够减少医生在操作超声的过程中长期肩周，颈椎紧张的情况，减少职业病的发生。目前的AR显示技术配合的头动检测基本上是基于三种技术来实现，一种是IMU姿态传感器，能够感受3个或6个轴上的加速度和角加速度。第二种是采用头盔上的三维视觉传感器，第三种是安装在房间空间中的图像传感器，捕捉增强现实眼镜上分布的标记点，从而可以计算使用者头部相对于房间固定位置的角度。本专利技术提出的头动检测并不关注头戴显示相对于实际物理空间的位置，而关注头部相对与身体的位置。实现将图形投影在使用者身体的特定方向，图像随着使用者运动。本专利技术涉及的另一个技术为检测超声探头相对于使用者头戴显示的位置，实现将图像投影在超声探头的相对位置上，由于超声回波图象相对于超声探头的位置是固定的，所以最终可以实现将超声图像投影在患处相应位置。
技术实现思路
本专利技术的目的在于提供一种可用于超声图像显示的增强现实处理方法及系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种可用于超声图像显示的增强现实处理系统，其特征在于：包括增强现实眼镜和带视觉标记的超声探头，所述增强现实眼镜包括头戴显示模组(2)和主机(3)，所述增强现实眼镜上安装有一个以上的摄像头，所述主机为具有图像处理或接口转发能力的计算单元；所述带视觉标记的超声探头在探头机身位置分布有若干视觉标记，可以反射/发射可见光或红外光，所述增强现实眼镜和带视觉标记的超声探头，分别与超声主机电性连接或无线连接；优选的，所述主机(3)通过有线或无线接口与第三方超声系统主机连接进行数据交互，所述头戴显示模组(2)与所述主机(3)之间有线电性连接，所述主机(3)悬挂在人体颈部，所述主机(3)中安装有第一套姿态传感器(6)，所述头戴显示模组(2)中安装有第二套姿态传感器(9)，姿态传感器包括三轴角加速度传感器或三轴地磁传感器；还包括一种可用于超声图像显示的增强现实处理方法，采用模式一将图像输出给所述头戴显示模组(2)中左右眼两个屏幕的图像，使得使用者始终可以在头部绕身体转动的特定方向看到悬挂的虚拟屏幕内容，所述模式一具体为：第一步，坐标系下，预设虚拟屏幕的(0，0)坐标位于相对于人体前方d距离(θ，φ)方向处；第二步，采用所述第一套姿态传感器读出的相对地磁场角度用所述第二套姿态传感器读出的相对地磁场角度第三步，在所述第三方系统主机中计算得出两个相对地磁场角度的偏差，得出使用者头部相对于身体旋转的角度第四步，所述第三方系统主机以角度输出给所述头戴显示模组(2)，原视频内容在人体前方半径为d的球体上以偏移角度输出后，仍然处于所述头戴显示模组(2)的虚拟屏幕视场角内；还包括一种可用于超声图像显示的增强现实处理方法，采用模式二将图像输出给所述头戴显示模组(2)中左右眼两个屏幕的图像，使得使用者可以在相对于所述带视觉标记的超声探头固定的空间位置看到虚拟的视频内容，所述模式二具体为：第一步，所述增强现实眼镜上的一个摄像头或多个摄像头，采用结构光方法或者视差法定位所述带视觉标记的超声探头，根据所述视觉标记，计算出超声探头相对于所述增强现实眼镜的三维空间位置(x,y,z)和超声探头指向方向角度(θ',φ')；第二步，假设需要将图像呈现在探头前方L(L≥0)的距离上，则虚拟屏幕的(0,0)坐标相对于增强现实眼镜位于(x+Lsinθ'Cosφ',y+LSinθ'Sinφ',z+LCosθ')位置；第三步，所述第三方系统主机根据当前摄像头读出的(x,y,z)坐标和(θ',φ')，将视频内容输出至(x+Lsinθ'Cosφ',y+LSinθ'Sinφ',z+LCosθ')位置；优选的，所述视觉标记构成一个非旋转对称的图案，图案中至少有一个三维指向；优选的，所述增强现实眼镜上设有Wifi通讯模块或蜂窝移动通讯模块。另外，还包括一种超声诊断/检测系统，超声检测设备及设备的外设通过有线或者无线的方式连接所述的一种可用于超声图像显示的增强现实处理系统，作为所述超声诊断/检测系统的显示设备之一。优选的，所述主机(3)通过脖圈(4)悬挂在人体颈部，所述脖圈(4)包括安装板、第一弹性板和第二弹性板，所述主机固定在安装板的一侧，所述第一弹性板和第二弹性板对称固定在安装板远离主机的一侧，所述第一弹性板和第二弹性板均为圆弧状，且第一弹性板和第二弹性板远离安装板一端的间距为5厘米，所述第一弹性板、第二弹性板和安装板三者围成穿戴区。优选的，所述第一弹性板和第二弹性板远离安装板的一端固定有调节机构，所述调节机构包括调节带、松紧带、转向装置和限位装置，所述松紧带的两端分别与第一弹性板和第二弹性板的内侧固定，所述转向装置和限位装置分别与第一弹性板和第二弹性板远离安装板的一端固定，所述调节带为柔性带，所述调节带的一端与第二弹性板远离安装板一端的端口处固定，另一端穿过转向装置与限位装置的限位端固定。优选的，所述转向装置包括支撑块和转向辊，所述支撑块固定在第一弹性板远离安装板一端的外侧，所述支撑块远离第一弹性板的一侧设有装置槽，所述转向辊的两端分别与装置槽的两侧壁转动连接，所述调节带远离第二弹性板的一端穿过转向辊与装置槽底部的间隙，并绕过转向辊与限位装置的限位端固定。优选的，所述限位装置包括安装块、挡板、限位块、限位板、限位弹簧、限位杆和凸块，所述安装块固定在第二弹性板远离安装板的一端，所述安装块上设有通槽，所述通槽内侧对称固定两个挡板，所述调节带绕过转向辊的一端穿插在挡板与通槽靠近第二弹性板一侧的间隙内，所述调节带的外侧等距设有多个限位槽，所述限位槽为直角三棱锥结构，所述限位块的一端为与限位槽相配合的锥形结构，且限位块为锥形结构的一端插接在限位槽内，另一端与限位板固定，所述限位板与限位弹簧的一端固定，所述限位弹簧的另一端与通槽远离第二弹性板的一侧固定，所述限位杆的一端套接在限位弹簧的内侧，且与限位板固定，所述限位杆远离限位板的一端穿过安装块与凸块固定，所述限位杆与安装块滑动连本文档来自技高网...

【技术保护点】
1.一种可用于超声图像显示的增强现实处理系统，其特征在于：包括增强现实眼镜和带视觉标记的超声探头，所述增强现实眼镜包括头戴显示模组(2)和主机(3)，所述增强现实眼镜上安装有一个以上的摄像头，所述主机(3)为具有图像处理或接口转发能力的计算单元；所述带视觉标记的超声探头在探头机身位置分布有若干视觉标记，可以反射/发射可见光或红外光，所述增强现实眼镜和带视觉标记的超声探头，分别与超声主机电性连接或无线连接。/n

【技术特征摘要】
1.一种可用于超声图像显示的增强现实处理系统，其特征在于：包括增强现实眼镜和带视觉标记的超声探头，所述增强现实眼镜包括头戴显示模组(2)和主机(3)，所述增强现实眼镜上安装有一个以上的摄像头，所述主机(3)为具有图像处理或接口转发能力的计算单元；所述带视觉标记的超声探头在探头机身位置分布有若干视觉标记，可以反射/发射可见光或红外光，所述增强现实眼镜和带视觉标记的超声探头，分别与超声主机电性连接或无线连接。


2.根据权利要求1所述的一种可用于超声图像显示的增强现实处理系统，其特征在于：所述主机(3)通过有线或无线接口与第三方超声系统主机连接进行数据交互，所述头戴显示模组(2)与所述主机(3)之间有线电性连接，所述主机(3)悬挂在人体颈部，所述主机(3)中安装有第一套姿态传感器(6)，所述头戴显示模组(2)中安装有第二套姿态传感器(9)，姿态传感器包括三轴角加速度传感器或三轴地磁传感器。


3.一种可用于超声图像显示的增强现实处理方法，其特征在于：根据权利要求2所述的一种可用于超声图像显示的增强现实处理系统，采用模式一将图像输出给所述头戴显示模组(2)中左右眼两个屏幕的图像，使得使用者始终可以在头部绕身体转动的特定方向看到悬挂的虚拟屏幕内容，所述模式一具体为：
第一步，坐标系下，预设虚拟屏幕的(0，0)坐标位于相对于人体前方d距离(θ，φ)方向处；
第二步，采用所述第一套姿态传感器读出的相对地磁场角度用所述第二套姿态传感器读出的相对地磁场角度
第三步，在所述第三方系统主机中计算得出两个相对地磁场角度的偏差，得出使用者头部相对于身体旋转的角度
第四步，所述第三方系统主机以角度输出给所述头戴显示模组(2)，原视频内容在人体前方半径为d的球体上以偏移角度输出后，仍然处于所述头戴显示模组(2)的虚拟屏幕视场角内。


4.一种可用于超声图像显示的增强现实处理方法，其特征在于：根据权利要求2所述的一种可用于超声图像显示的增强现实处理系统，采用模式二将图像输出给所述头戴显示模组(2)中左右眼两个屏幕的图像，使得使用者可以在相对于所述带视觉标记的超声探头固定的空间位置看到虚拟的视频内容，所述模式二具体为：
第一步，所述增强现实眼镜上的一个摄像头或多个摄像头，采用结构光方法或者视差法定位所述带视觉标记的超声探头，根据所述视觉标记，计算出超声探头相对于所述增强现实眼镜的三维空间位置(x,y,z)和超声探头指向方向角度(θ’,φ’)；
第二步，假设需要将图像呈现在探头前方L(L≥0)的距离上，则虚拟屏幕的(0,0)坐标相对于增强现实眼镜位于(x+Lsinθ’Cosφ’,y+LSinθ’Sinφ’,z+LCosθ’)位置；
第三步，所述第三方系统主机根据当前摄像头读出的(x,y,z)坐标和(θ’,φ’)，将视频内容输出至(x+Lsinθ’Cosφ’,y+LSinθ’Sinφ’,z+LCosθ’)位置。


5.根据权利要求3或4所述的一种可用于超声图像显示的增强现实处理方法，其特征在于，所述视觉标记构成一个非旋转对称的图案，图案中至少有一个三维指向。


6.根据权利要求3或4所述的一种可用于超声图像显示的增强现实处理方法，其特征在于：所述增强现实眼镜上设有Wifi通讯模块或蜂窝移动通讯模块。


7.一种超声诊断/检测系统，其特征在于，超声检测设备及设备的外设通过有线或者无线的方式连接权利要求1所述的一种可用于超声图像显示的增强现实处理系统，作为所述超声诊断/检测系统...

【专利技术属性】
技术研发人员：宋新华，
申请(专利权)人：上海初云开锐管理咨询有限公司，
类型：发明
国别省市：上海;31