目标区域识别方法、装置、终端和存储介质制造方法及图纸

技术编号:38942276 阅读:33 留言:0更新日期:2023-09-25 09:40
本申请实施例公开了目标区域识别方法、装置、终端和存储介质;本申请实施例可以获取视频流,视频流包括当前帧;对当前帧进行特征提取,得到当前帧的当前特征;获取前一区域,前一区域包括预设区域或前一帧区域;根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,目标区域表征所述目标对象在所述当前帧中所处的区域。在本申请实施例中,当前帧可以是视频流中的任意一帧,如此,本申请在识别视频流中目标对象在视频帧所处的区域时,并不需要对首帧中目标对象所处的区域进行人工标注,并且并不需要耗费大量的计算来追踪目标对象在视频帧中所处的区域。由此,本方案可以提升识别视频帧中目标对象的效率。可以提升识别视频帧中目标对象的效率。可以提升识别视频帧中目标对象的效率。

【技术实现步骤摘要】
目标区域识别方法、装置、终端和存储介质


[0001]本申请涉及计算机领域,具体涉及目标区域识别方法、装置、终端和存储介质。

技术介绍

[0002]近年来,随着计算机技术和网络技术的发展,计算机视觉得到广泛应用。比如,采用计算机视觉中的语义分割可以将视觉输入分为不同的语义可解释类别,语义的可解释性即分类类别在真实世界中是有意义的。目前,语义分割已经广泛应用到自动驾驶、机器人以及图像搜索引擎等许多领域中。
[0003]然而,目前通常采用视频物体分割算法(Video Object Segmentation,VOS),识别视频帧中目标对象所处的区域时,而VOS算法需要对首帧中目标对象所处的区域进行人工标定,使在识别首帧之后的其他帧时,可以追踪到目标对象。此外,由于目标对象在不同帧中有不同的呈现,VOS算法在对其他帧中目标对象所处的区域进行识别时,需要耗费大量的计算来确定其他帧中是否有目标对象所处的区域,导致视频帧中目标对象的识别效率较低。

技术实现思路

[0004]本申请实施例提供目标区域识别方法、装置、终端和存储介质,可以提升识别视频帧中目标对象的效率。
[0005]本申请实施例提供一种目标区域识别方法,包括:
[0006]获取视频流,视频流包括当前帧;
[0007]对当前帧进行特征提取,得到当前帧的当前特征;
[0008]获取前一区域,前一区域包括预设区域或前一帧区域,前一帧区域为目标对象在当前帧的前一帧中所处的区域;
[0009]根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,目标区域表征目标对象在当前帧中所处的区域。
[0010]本申请实施例还提供一种目标区域识别装置,包括:
[0011]第一获取单元,用于获取视频流,视频流包括当前帧;
[0012]特征提取单元,用于对当前帧进行特征提取,得到当前帧的当前特征;
[0013]第二获取单元,用于获取前一区域,前一区域为预设区域或前一帧区域,前一帧区域为目标对象在当前帧的前一帧中所处的区域;
[0014]目标识别单元,用于根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,目标区域表征目标对象在当前帧中所处的区域。
[0015]在一些实施例中,根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,包括:
[0016]对前一区域进行特征提取,得到前一区域的前一区域特征;
[0017]对前一区域特征和当前特征进行特征融合,得到融合特征;
[0018]根据融合特征,对当前帧进行目标识别,得到当前帧的目标区域。
[0019]在一些实施例中,根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,包括:
[0020]若当前帧为视频流的首帧,根据预设区域和当前特征,对首帧进行目标识别,得到首帧的目标区域。
[0021]在一些实施例中,根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,包括:
[0022]若当前帧为视频流的其他帧,根据前一帧区域和当前特征,对其他帧进行目标识别,得到其他帧的目标区域,其他帧为视频流中首帧之后的帧。
[0023]在一些实施例中,目标区域包括第一子区域和第二子区域,第一子区域为当前帧中目标对象所处的区域,第二子区域为当前帧中其他对象所处的区域,其他对象为目标对象以外的对象。
[0024]在一些实施例中,在获取视频流之前,还包括:
[0025]获取多个训练视频流,以及获取目标区域识别网络,目标区域识别网络用于识别目标对象在帧中所处的区域,训练视频流中包括训练帧,训练帧的标注为训练帧的真实目标区域,真实目标区域包括第一真实子区域和第二真实子区域,第一真实子区域为训练帧中目标对象所处的区域,第二真实子区域为训练帧中其他对象所处的区域,其他对象为目标对象以外的对象;
[0026]利用多个训练视频流对目标区域识别网络进行训练,直至目标区域识别网络收敛,得到训练完成的目标区域识别网络;
[0027]采用训练完成的目标区域识别网络对以下方法进行处理:
[0028]获取视频流,视频流包括当前帧;
[0029]对当前帧进行特征提取,得到当前帧对应的当前特征;
[0030]获取前一区域;
[0031]根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域。
[0032]在一些实施例中,利用多个训练视频流对目标区域识别网络进行训练,包括:
[0033]按照预设概率将训练首帧的真实目标区域中的第一真实子区域修改为第二真实子区域,得到新真实目标区域,训练首帧为训练视频流的首帧;
[0034]获取当前训练帧;
[0035]对当前训练帧进行特征提取,得到当前训练帧的当前训练特征;
[0036]获取前一训练区域,前一训练区域包括新真实目标区域或前一训练帧区域,前一训练帧区域为目标对象在当前训练帧的前一训练帧中所处的区域;
[0037]根据前一训练区域和当前特征,对当前训练帧进行目标识别,得到当前帧的预测目标区域,预测目标区域表征目标对象在当前训练帧中所处的区域;
[0038]采用当前训练帧的真实目标区域和当前训练帧的预测目标区域,确定目标区域识别网络的损失参数,并基于损失参数训练目标区域识别网络。
[0039]在一些实施例中,在所述获取多个训练视频流之前,还包括:
[0040]对训练帧的每个像素进行区域分类,得到每个像素的区域类型,区域类型包括第一区域类型和第二区域类型,第一区域类型表征同一类别的目标对象在训练帧中所处的像
素,第二区域类型表征其他对象在训练帧中所处的像素,其他对象为目标对象以外的对象;
[0041]根据每个像素的区域类型,得到每个像素对应的类型区域;
[0042]根据训练帧的所有像素对应的类型区域,得到训练帧的真实目标区域。
[0043]本申请实施例还提供一种终端,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本申请实施例所提供的任一种目标区域识别方法中的步骤。
[0044]本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种目标区域识别方法中的步骤。
[0045]本申请实施例可以获取视频流,视频流包括当前帧;对当前帧进行特征提取,得到当前帧的当前特征;获取前一区域,前一区域包括预设区域或前一帧区域,前一帧区域为目标对象在当前帧的前一帧中所处的区域;根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,目标区域表征所述目标对象在所述当前帧中所处的区域。
[0046]在本申请中,可以根据前一区域和当前特征识别出当前帧中目标对象所处的区域,当前帧可以是视频流中的任意一帧,如此,本申请中视频流的首帧并不需要依靠人工标注来确定目标对象所处的本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种目标区域识别方法,其特征在于,包括:获取视频流,所述视频流包括当前帧;对所述当前帧进行特征提取,得到所述当前帧的当前特征;获取前一区域,所述前一区域包括预设区域或前一帧区域,所述前一帧区域为目标对象在所述当前帧的前一帧中所处的区域;根据所述前一区域和所述当前特征,对所述当前帧进行目标识别,得到所述当前帧的目标区域,所述目标区域表征所述目标对象在所述当前帧中所处的区域。2.如权利要求1所述的方法,其特征在于,所述根据所述前一区域和所述当前特征,对所述当前帧进行目标识别,得到所述当前帧的目标区域,包括:对所述前一区域进行特征提取,得到所述前一区域的前一区域特征;对所述前一区域特征和所述当前特征进行特征融合,得到融合特征;根据所述融合特征,对所述当前帧进行目标识别,得到所述当前帧的目标区域。3.如权利要求1所述的方法,其特征在于,所述根据所述前一区域和所述当前特征,对所述当前帧进行目标识别,得到所述当前帧的目标区域,包括:若所述当前帧为所述视频流的首帧,根据所述预设区域和所述当前特征,对所述首帧进行目标识别,得到所述首帧的目标区域。4.如权利要求1所述的方法,其特征在于,所述根据所述前一区域和所述当前特征,对所述当前帧进行目标识别,得到所述当前帧的目标区域,包括:若所述当前帧为所述视频流的其他帧,根据所述前一帧区域和所述当前特征,对所述其他帧进行目标识别,得到所述其他帧的目标区域,所述其他帧为所述视频流中首帧之后的帧。5.如权利要求1所述的方法,其特征在于,所述目标区域包括第一子区域和第二子区域,所述第一子区域为所述当前帧中所述目标对象所处的区域,所述第二子区域为所述当前帧中其他对象所处的区域,所述其他对象为所述目标对象以外的对象。6.如权利要求1所述的方法,其特征在于,在所述获取视频流之前,还包括:获取多个训练视频流,以及获取目标区域识别网络,所述目标区域识别网络用于识别目标对象在帧中所处的区域,所述训练视频流中包括训练帧,所述训练帧的标注为所述训练帧的真实目标区域,所述真实目标区域包括第一真实子区域和第二真实子区域,所述第一真实子区域为所述训练帧中所述目标对象所处的区域,所述第二真实子区域为所述训练帧中其他对象所处的区域,所述其他对象为所述目标对象以外的对象;利用所述多个训练视频流对所述目标区域识别网络进行训练,直至所述目标区域识别网络收敛,得到训练完成的所述目标区域识别网络;采用训练完成的所述目标区域识别网络对以下方法进行处理:获取视频流,所述视频流包括当前帧;对所述当前帧进行特征提取,得到所述当前帧对应的当前特征;获取前一区...

【专利技术属性】
技术研发人员:林晓帆姜文杰
申请(专利权)人:影石创新科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1