视频流处理方法、装置、电子设备和存储介质制造方法及图纸

技术编号:41636246 阅读:24 留言:0更新日期:2024-06-13 02:31
本公开提供了一种视频流处理方法、装置、电子设备和存储介质,可以应用于增强现实、深度学习领域。该方法包括:从由相机采集的视频流中提取得到当前视频帧,其中,当前视频帧中包含目标对象和超声探测器;基于相机的相机参数,从当前视频帧中确定超声探测器所处的空间平面;基于超声探测器所处的空间平面,将目标超声图像嵌入当前视频帧,得到目标视频帧,其中,目标超声图像是由超声探测器对目标对象进行扫描而得到的,超声图像的采集时刻与当前视频帧的采集时刻相同;以及利用目标视频帧来替换视频流中的当前视频帧,得到目标视频流。

【技术实现步骤摘要】

本公开涉及增强现实、深度学习领域,更具体地,涉及一种视频流处理方法、装置、电子设备和存储介质


技术介绍

1、手术过程中,为了精准找到病灶,通常使用吲哚菁绿等化学材料对病灶进行荧光染色。而随着计算机视觉技术的发展,通过术前医学影像对器官进行重建也能够辅助进行病灶定位。

2、在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题,使用化学材料对病灶进行染色定位可能会导致过敏反应,并且长时间观察荧光图像会导致视觉疲劳。此外,利用电子计算机断层扫描(computed tomography,ct)等方法对病灶进行重建,存在辐射对病灶造成二次伤害的问题。


技术实现思路

1、有鉴于此,本公开提供了一种视频流处理方法、装置、电子设备、可读存储介质和计算机程序产品。

2、本公开的一个方面提供了一种视频流处理方法,包括:从由相机采集的视频流中提取得到当前视频帧,其中,当前视频帧中包含目标对象和超声探测器;基于相机的相机参数,从当前视频帧中确定超声探测器所处的空间平面;基于超声探测器所处的空间本文档来自技高网...

【技术保护点】

1.一种视频流处理方法,包括:

2.根据权利要求1所述的方法,其中,所述基于所述相机的相机参数,从所述当前视频帧中确定所述超声探测器所处的空间平面,包括:

3.根据权利要求2所述的方法,其中,所述对所述当前视频帧进行语义分割,以从所述当前视频帧中确定与所述超声探测器对应的图像区域,包括:

4.根据权利要求3所述的方法,其中,所述对所述当前视频帧进行语义分割,得到二值化图像,包括:

5.根据权利要求2所述的方法,其中,所述基于所述多个特征点各自的平面位置信息、所述多个特征点各自的深度信息和所述相机的相机参数,确定所述超声探测器所处的空间平面,...

【技术特征摘要】

1.一种视频流处理方法,包括:

2.根据权利要求1所述的方法,其中,所述基于所述相机的相机参数,从所述当前视频帧中确定所述超声探测器所处的空间平面,包括:

3.根据权利要求2所述的方法,其中,所述对所述当前视频帧进行语义分割,以从所述当前视频帧中确定与所述超声探测器对应的图像区域,包括:

4.根据权利要求3所述的方法,其中,所述对所述当前视频帧进行语义分割,得到二值化图像,包括:

5.根据权利要求2所述的方法,其中,所述基于所述多个特征点各自的平面位置信息、所述多个特征点各自的深度信息和所述相机的相机参数,确定所述超声探测器所处的空...

【专利技术属性】
技术研发人员:魏建国窦庆宏王树新关博张浩
申请(专利权)人:天津大学医疗机器人与智能系统研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1