图像处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:29491027 阅读:27 留言:0更新日期:2021-07-30 19:03
本公开提供了一种图像处理方法、装置、电子设备以及存储介质,其中,本公开首先确定目标图像在每个预设尺度上的第一图像特征,以及,所述目标图像之前的一帧图像在每个预设尺度上的第二图像特征;之后,针对每个预设尺度,基于该预设尺度上的第一图像特征与第二图像特征之间的特征点偏移信息,分别对所述第一图像特征和所述第二图像特征进行特征对齐处理,得到所述第一图像特征对应的第一对齐图像特征,以及第二图像特征使对应的第二对齐图像特征;最后,基于每个预设尺度上的第一对齐图像特征和第二对齐图像特征,确定所述目标图像的对象分割结果。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
本公开涉及图像处理
,具体而言,涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
视频实例分割是计算机视觉领域的新兴问题,其目标是对一段视频上的每一个实例进行检测,分割和跟踪。这个任务属于多任务学习范畴,有不少应用领域。比如为自动驾驶和机器人视觉导航提供感知场景的能力,比如对运动类视频进行分析和理解等等。现有的视频实例分割中,对于尺度变化较大的对象分割精度较低,不能很好的应用于相关的应用领域中。
技术实现思路
本公开实施例至少提供一种图像处理方法、装置。第一方面,本公开实施例提供了一种图像处理方法,包括:确定目标图像在每个预设尺度上的第一图像特征,以及,所述目标图像之前的一帧图像在每个预设尺度上的第二图像特征;针对每个预设尺度,基于该预设尺度上的第一图像特征与第二图像特征之间的特征点偏移信息,分别对所述第一图像特征和所述第二图像特征进行特征对齐处理,得到所述第一图像特征对应的第一对齐图像特征,以及第二图像特征使对应的第二对齐图像特征;...

【技术保护点】
1.一种图像处理方法,其特征在于,包括:/n确定目标图像在每个预设尺度上的第一图像特征,以及,所述目标图像之前的一帧图像在每个预设尺度上的第二图像特征;/n针对每个预设尺度,基于该预设尺度上的第一图像特征与第二图像特征之间的特征点偏移信息,分别对所述第一图像特征和所述第二图像特征进行特征对齐处理,得到所述第一图像特征对应的第一对齐图像特征,以及第二图像特征使对应的第二对齐图像特征;/n基于每个预设尺度上的第一对齐图像特征和第二对齐图像特征,确定所述目标图像的对象分割结果。/n

【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:
确定目标图像在每个预设尺度上的第一图像特征,以及,所述目标图像之前的一帧图像在每个预设尺度上的第二图像特征;
针对每个预设尺度,基于该预设尺度上的第一图像特征与第二图像特征之间的特征点偏移信息,分别对所述第一图像特征和所述第二图像特征进行特征对齐处理,得到所述第一图像特征对应的第一对齐图像特征,以及第二图像特征使对应的第二对齐图像特征;
基于每个预设尺度上的第一对齐图像特征和第二对齐图像特征,确定所述目标图像的对象分割结果。


2.根据权利要求1所述图像处理方法,其特征在于,所述基于每个预设尺度上的第一对齐图像特征和第二对齐图像特征,确定所述目标图像的对象分割结果,包括:
针对每个预设尺度,基于该预设尺度上的第一对齐图像特征和第二对齐图像特征,确定该预设尺度上的融合图像特征;
基于每个预设尺度上的融合图像特征,确定所述目标图像的对象分割结果。


3.根据权利要求2所述图像处理方法,其特征在于,所述基于每个预设尺度上的融合图像特征,确定所述目标图像的对象分割结果,包括:
针对每个预设尺度,基于该预设尺度上的融合图像特征和该预设尺度上的第二图像特征,确定该预设尺度上的目标融合特征;
基于每个预设尺度上的目标融合特征,确定所述目标图像的对象分割结果。


4.根据权利要求3所述图像处理方法,其特征在于,所述针对每个预设尺度,基于该预设尺度上的融合图像特征和该预设尺度上的第二图像特征,确定该预设尺度上的目标融合特征,包括:
针对每个预设尺度,确定该预设尺度上的融合图像特征和第二图像特征之间的融合权重信息;
利用所述融合权重信息,对该预设尺度上的融合图像特征和第二图像特征进行融合处理,得到该预设尺度上的目标融合特征。


5.根据权利要求3所述图像处理方法,其特征在于,所述基于每个预设尺度上的目标融合特征,确定所述目标图像的对象分割结果,包括:
获取与每个预设尺度上对应的检测融合深度信息;其中,所述预设尺度与检测融合深度信息的值负相关;所述预设尺度对应于对应的特征图的预设分辨率;
按照获取的所述检测融合深度信息,分别对对应预设尺度上的目标融合特征进行特征融合,得到每个预设尺度上最终的目标融合特征;
基于每个预设尺度上最终的目标融合特征,确定所述目标图像的对象分割结果。


6.根据权利要求2至5任一项所述图像处理方法,其特征在于,所述针对每个预设尺度,基于该预设尺度上的第一对齐图像特征和第二对齐图像特征,确定该预设尺度上的融合图像特征,包括:
针对每个预设尺度,基于该预设尺度上的第一对齐图像特征,确定第一对齐图像特征对应的第一隐态特征,以及,基于该预设尺度上的第二对齐图像特征,确定第二对齐图像特征对应的第二隐态特征;
基于所述第一隐态特征、第二隐态特征、第一对齐图像特征和第二对齐图像特征,确定该预设尺度上的融合图像特征。


7.根据权利要求6所述图像处理方法,其特征在于,所述基于所述第一隐态特征、第二隐...

【专利技术属性】
技术研发人员:李祥泰程光亮
申请(专利权)人:上海商汤临港智能科技有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1