本发明专利技术提供一种医疗辅助视频系统及方法，涉及医疗器械领域，所述系统用于头戴式医疗辅助视频设备，所述系统包括：视频获取模块，用于获取手术视频图像；图像获取模块，用于获取现实空间中的视频图像；传感模块用于，获取头戴式医疗辅助视频设备的加速度数据和姿态角度数据；空间定位模块，用于根据加速度数据和姿态角度数据，得到头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与姿态；渲染模块，用于根据当前位置与当前姿态以及手术视频图像，得到渲染完成的视频信号；显示模块，用于显示渲染完成的视频。通过空间定位模块实现对医疗辅助视频系统的相对位置的准确感知，改善头戴式医疗辅助视频设备在混合现实空间中的映射精度。映射精度。映射精度。
【技术实现步骤摘要】
一种医疗辅助视频系统及方法
[0001]本专利技术涉及医疗器械领域，具体而言，涉及一种医疗辅助视频系统及方法。
技术介绍
[0002]目前，临床手术大规模应用机器人手术系统，使医生可以远离手术台，操纵机器进行手术，同时，机器人手术系统配有视频系统，方便对手术过程进行监控，同时视频信号会传送至医疗辅助视频系统中，指导专家可以通过医疗辅助视频系统，远程关注手术过程中的每一个动作。医疗辅助视频系统通常用于接收并播放手术过程视频等医疗视频以及手术音频，并通过3D头戴显示装置作为视频显示设备佩带在指导专家的头部，从而观看整个手术的全过程，并对手术视频中的重点区域进行标注，并将标注的内容显示在显示装置中。
[0003]在现有技术中，一般采用通过视频图像的机器学习技术和滑动模型控制对标注进行处理，实现视频显示图像的叠加。但由于视频图像和机器学习算法对于3D头戴显示装置，在混合现实空间中的精确位置和姿态的计算有限，这可能导致3D标记在眼镜视野中的映射不够准确，影响交互，同时，由于机器学习技术和滑动模型控制的处理存在延迟，因此，由于存在较长的处理延迟，导致标记内容显示存在时间误差。
技术实现思路
[0004]本专利技术解决的技术问题是如何提高视频系统在混合现实空间中的映射精度。
[0005]本专利技术提供一种医疗辅助视频系统，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频系统包括：显示模块、视频获取模块、空间定位模块、传感模块、图像获取模块和渲染模块，其中，所述图像获取模块、所述传感模块和所述显示模块分别设置于所述头戴式医疗辅助视频设备对应的预设位置；
[0006]所述视频获取模块用于，获取手术视频图像；
[0007]所述图像获取模块用于，获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
[0008]所述传感模块用于，获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
[0009]所述空间定位模块用于，根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
[0010]所述渲染模块用于，根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态、所述头戴式医疗辅助视频设备在现实空间中的所述视频图像以及所述手术视频图像，得到渲染完成的视频信号；
[0011]所述显示模块用于，根据所述渲染完成的所述视频信号，显示对应的视频。
[0012]可选地，所述医疗辅助视频系统还包括：图像获取模块，所述图像获取模块用于，获取所述头戴式医疗辅助视频设备在现实空间中的视频图像信息；
[0013]所述空间定位模块用于，根据所述视频图像信息，提取所述视频图像信息的每一帧的特征物体，所述特征物体包括所述现实空间中的物体或显著结构；
[0014]通过预设特征匹配算法，将任一帧中所述特征物体与上一帧中所述特征物体进行匹配，得到所述任一帧和所述上一帧中相同的所述特征物体；
[0015]根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
[0016]可选地，所述空间定位模块包括环境建立单元；
[0017]所述环境建立单元，用于通过三角测量法，根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到每一帧的所述特征物体在所述现实空间中的坐标；
[0018]根据每一帧的所述特征物体在所述现实空间中的坐标，建立环境地图；
[0019]并根据当前帧的所述特征物体在所述现实空间中的坐标，更新所述环境地图。
[0020]所述所述空间定位模块还包括位姿估计单元；
[0021]所述位姿估计单元，用于根据所述当前帧的所述特征物体与所述当前帧的上一帧的所述特征物体，得到所述特征物体在所述环境地图中的位姿变化；
[0022]根据所述特征物体的位姿变化和所述特征物体的初始位姿，得到所述特征物体在所述当前帧的当前位姿；
[0023]根据所述特征物体在所述当前帧的当前位姿，通过预设优化算法，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
[0024]可选地，所述根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号，包括：
[0025]根据所述当前帧中需要进行三维标记的所述特征物体，得到所述特征物体在所述环境地图中的位置和尺寸；
[0026]根据所述特征物体在所述环境地图中的位置和尺寸，以及所述头戴式医疗辅助视频设备在所述混合现实空间中实时的当前位置与当前姿态，将所述三维标记叠加在所述手术视频图像上；
[0027]将叠加了所述三维标记的所述手术视频图像作为所述渲染完成的视频信号。
[0028]可选地，所述空间定位模块，还用于：
[0029]根据所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态，得到所述头戴式医疗辅助视频设备与使用者眼睛的相对位置与相对朝向；
[0030]根据所述相对位置与所述相对朝向，通过眼动追踪方法，得到所述使用者眼睛的注视方向。
[0031]可选地，所述显示模块还用于，根据所述使用者眼睛的所述注视方向，得到所述使用者眼睛在所述混合现实空间的头戴式医疗辅助视频设备的注视位置；
[0032]根据所述使用者眼睛的注视位置，显示所述注视位置对应的所述渲染完成的所述视频信号。
[0033]可选地，所述显示模块还用于，当所述使用者眼睛的所述注视方向的变化角度在
所述混合现实空间中，超过预设角度阈值时，停止显示所述渲染完成的所述视频信号。
[0034]可选地，所述医疗辅助视频系统还包括：语音处理模块；
[0035]所述语音处理模块用于，获取所述头戴式医疗辅助视频设备的使用者的音频信号，并将所述音频信号发送至预设接收端。
[0036]本专利技术还提供一种医疗辅助视频方法，应用于上述任意一项医疗辅助视频系统，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频方法，包括：
[0037]获取手术视频图像；
[0038]获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
[0039]获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
[0040]根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
[0041]根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号；
[0042]根据所述渲染完成的所述视频信号，显示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种医疗辅助视频系统，其特征在于，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频系统包括：显示模块、视频获取模块、空间定位模块、传感模块、图像获取模块和渲染模块，其中，所述图像获取模块、所述传感模块和所述显示模块分别设置于所述头戴式医疗辅助视频设备对应的预设位置；所述视频获取模块用于，获取手术视频图像；所述图像获取模块用于，获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；所述传感模块用于，获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；所述空间定位模块用于，根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；所述渲染模块用于，根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态、所述头戴式医疗辅助视频设备在现实空间中的所述视频图像以及所述手术视频图像，得到渲染完成的视频信号；所述显示模块用于，根据所述渲染完成的所述视频信号，显示对应的视频。2.根据权利要求1所述的医疗辅助视频系统，其特征在于，所述空间定位模块用于，根据所述视频图像信息，提取所述视频图像信息的每一帧的特征物体，所述特征物体包括所述现实空间中的物体或显著结构；通过预设特征匹配算法，将任一帧中所述特征物体与上一帧中所述特征物体进行匹配，得到所述任一帧和所述上一帧中相同的所述特征物体；根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。3.根据权利要求2所述的医疗辅助视频系统，其特征在于，所述空间定位模块包括环境建立单元；所述环境建立单元，用于通过三角测量法，根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到每一帧的所述特征物体在所述现实空间中的坐标；根据每一帧的所述特征物体在所述现实空间中的坐标，建立环境地图；并根据当前帧的所述特征物体在所述现实空间中的坐标，更新所述环境地图。4.根据权利要求3所述的医疗辅助视频系统，其特征在于，所述所述空间定位模块还包括位姿估计单元；所述位姿估计单元，用于根据所述当前帧的所述特征物体与所述当前帧的上一帧的所述特征物体，得到所述特征物体在所述环境地图中的位姿变化；根据所述特征物体的位姿变化和所述特征物体的初始位姿，得到所述特征物体在所述当前帧的当前位姿；根据所述特征物体在所述当前帧的当前位姿，通过...
【专利技术属性】
技术研发人员：芮锌，桂海燕，齐海鹏，邹健飞，
申请(专利权)人：黑龙江哈卫生物工程有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。