一种目标检测神经网络训练方法和装置制造方法及图纸

技术编号:24709432 阅读:62 留言:0更新日期:2020-07-01 00:11
本申请实施例提供了一种目标检测神经网络训练方法和装置。其中,方法包括:利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述关键视频帧的图像特征,得到预估图像特征,所述参考视频帧为所述样本视频中未经过标定的视频帧,所述样本视频为所述样本视频中经过标定的视频帧;利用所述检测子网络对所述预估图像特征进行处理,得到预测结果;基于所述预测结果与所述关键视频帧的标定结果之间的误差计算损失,对所述目标检测神经网络的网络参数进行调整。可以在不增加因标定带来的工作量的情况下,提高经过训练的目标检测神经网络的准确性。

【技术实现步骤摘要】
一种目标检测神经网络训练方法和装置
本申请涉及计算机视觉
,特别是涉及一种目标检测神经网络训练方法和装置。
技术介绍
目标检测神经网络可以包括特征提取子网络和检测子网络,特征提取子网络可以提取出视频帧的图像特征,检测子网络可以基于图像特征确定视频帧中存在目标物体的区域,以得到检测结果。为了使得目标检测神经网络能够准确识别出视频帧中目标物体所在的区域,即提高目标检测神经网络的检测结果的准确性,需要预先对目标检测神经网络进行训练。现有技术中,可以在样本视频的多个视频帧中标定出目标物体所在区域,作为这多个视频帧的标定结果。将这些经过标定的视频帧作为目标检测神经网络的输入,得到目标检测神经网络输出的检测结果。通过检测结果和标定结果之间的误差计算损失,调整目标检测神经网络的网络参数。但是,如果标定的视频帧较少,则经过训练的目标检测神经网络的准确性可能较差,而如果标定的视频帧较多,则标定带来的工作量较大。
技术实现思路
本申请实施例的目的在于提供一种目标检测神经网络训练方法,以实现在不增加因标定带来的工作量本文档来自技高网...

【技术保护点】
1.一种目标检测神经网络训练方法,所述目标检测神经网络包括特征提取子网络和检测子网络,其特征在于,所述方法包括:/n利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述关键视频帧的图像特征,得到预估图像特征,所述参考视频帧为所述样本视频中未经过标定的视频帧,所述样本视频为所述样本视频中经过标定的视频帧;/n利用所述检测子网络对所述预估图像特征进行处理,得到预测结果;/n基于所述预测结果与所述关键视频帧的标定结果之间的误差计算损失,对所述目标检测神经网络的网络参数进行调整。/n

【技术特征摘要】
1.一种目标检测神经网络训练方法,所述目标检测神经网络包括特征提取子网络和检测子网络,其特征在于,所述方法包括:
利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述关键视频帧的图像特征,得到预估图像特征,所述参考视频帧为所述样本视频中未经过标定的视频帧,所述样本视频为所述样本视频中经过标定的视频帧;
利用所述检测子网络对所述预估图像特征进行处理,得到预测结果;
基于所述预测结果与所述关键视频帧的标定结果之间的误差计算损失,对所述目标检测神经网络的网络参数进行调整。


2.根据权利要求1所述的方法,其特征在于,所述利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述关键视频帧的图像特征,得到预估图像特征,包括:
利用所述特征提取子网络提取样本视频中参考视频帧的图像特征,作为参考图像特征;
基于所述参考视频帧与关键视频帧之间的光流,对所述参考图像特征进行映射,得到所述参考视频的映射图像特征,作为预估图像特征。


3.根据权利要求2所述的方法,其特征在于,所述基于所述参考视频帧与关键视频帧之间的光流,对所述参考图像特征进行映射,得到所述参考视频帧的映射图像特征,作为预估图像特征,所述方法还包括:
基于所述参考视频帧与关键视频帧之间的稠密光流,将所述参考图像特征通过双线性插值进行映射,得到所述参考视频帧的映射图像特征,作为预估图像特征。


4.根据权利要求1所述的方法,其特征在于,所述利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述关键视频帧的图像特征,得到预估图像特征,包括:
基于样本视频中参考视频帧与关键视频帧之间的变换因子,对所述特征提取子网络的卷积核进行变形;
利用卷积核经过变形的所述特征提取子网络提取所述参考视频帧的图像特征,作为预估图像特征。


5.根据权利要求1所述的方法,其特征在于,所述参考视频帧的数目大于一个;
所述利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述关键视频帧的图像特征,得到预估图像特征,包括:
针对每个参考视频帧,分别利用所述特征提取子网络对该参考视频帧进行处理,以基于该参考视频帧与关键视频帧之间的映射关系,计算关键视频帧的图像特征,得到该参考视频帧的计算结果;
对所有参考视频帧的计算结果,按照归一化权重进行加权求和,得到加权求和的结果,作为预估图像特征。


6.根据权利要求5所述的方法,其特征在于,每个计算结果的归一化权重,与该计算结果和...

【专利技术属性】
技术研发人员:石大虎虞抒沁谭文明
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1