视频目标的检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种视频目标的检测方法、装置、电子设备以及存储介质，方法包括：确定待检测视频中的待检测视频帧，并获取与所述待检测视频帧相匹配的视频序列中的辅助视频帧；基于所述待检测视频帧与所述辅助视频帧，通过视频处理模型中的特征提取网络确定帧级别的特征向量；基于所述帧级别的特征向量，通过所述视频处理模型的候选框生成网络，确定实例级别的特征向量；通过所述视频处理模型中的检测头网络，根据所述实例级别的特征向量，对所述待检测视频进行目标检测，确定视频目标在所述待检测视频的不同视频帧中的所在区域，由此，由此实现鲁棒并精确地对视频中的目标进行检测，减少视频目标检测中的失真。

【技术实现步骤摘要】
视频目标的检测方法、装置、电子设备及存储介质
本专利技术涉及视频中图像处理技术，尤其涉及视频目标的检测方法、装置、电子设备及存储介质。
技术介绍
基于深度学习所进行的各类别识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。其中，检测视频目标，是指从待检测视频中识别出特定类别的物体(即目标物体)，并对识别出的目标物体进行跟踪，目标检测包括静态图像的目标检测和视频的目标检测。基于视频的目标检测与静态图像的目标检测的任务一样，都需要对视频帧中目标物体的对应的位置进行准确识别。但是，相关技术中的视频中目标检测的过程，可能会引入噪声信息，也可能由于视频单帧质量差造成的漏检测，影响对于视频中目标检测的精确度。
技术实现思路
有鉴于此，本专利技术实施例提供一种视频目标的检测方法、装置、电子设备及存储介质，能够根据所述实例级别的特征向量，对所述待检测视频进行目标检测，确定视频目本文档来自技高网...

【技术保护点】
1.一种视频目标的检测方法，其特征在于，所述方法包括：/n确定待检测视频中的待检测视频帧，并获取与所述待检测视频帧相匹配的视频序列中的辅助视频帧；/n基于所述待检测视频帧与所述辅助视频帧，通过视频处理模型中的特征提取网络确定帧级别的特征向量；/n基于所述帧级别的特征向量，通过所述视频处理模型的候选框生成网络，确定实例级别的特征向量；/n通过所述视频处理模型中的检测头网络，根据所述实例级别的特征向量，对所述待检测视频进行目标检测，确定视频目标在所述待检测视频的不同视频帧中的所在区域。/n

【技术特征摘要】
1.一种视频目标的检测方法，其特征在于，所述方法包括：
确定待检测视频中的待检测视频帧，并获取与所述待检测视频帧相匹配的视频序列中的辅助视频帧；
基于所述待检测视频帧与所述辅助视频帧，通过视频处理模型中的特征提取网络确定帧级别的特征向量；
基于所述帧级别的特征向量，通过所述视频处理模型的候选框生成网络，确定实例级别的特征向量；
通过所述视频处理模型中的检测头网络，根据所述实例级别的特征向量，对所述待检测视频进行目标检测，确定视频目标在所述待检测视频的不同视频帧中的所在区域。


2.根据权利要求1所述的方法，其特征在于，所述确定待检测视频中的待检测视频帧，并获取与所述待检测视频帧相匹配的视频序列中的辅助视频帧，包括：
对所述待检测视频进行解析，获取所述待检测视频的时序信息；
根据所述待检测视频的时序信息，对所述待检测视频所对应的视频参数进行解析，获取与所述待检测视频对应的播放时长参数与画面区域参数；
基于所述待检测视频对应的播放时长参数与画面区域参数，对所述待检测视频进行抽取以获取所述待检测视频中的待检测视频帧；
响应于所抽取的待检测视频帧，在所述待检测视频帧相匹配的视频序列中随机抽取至少一个辅助视频帧。


3.根据权利要求1所述的方法，其特征在于，所述基于所述待检测视频帧与所述辅助视频帧，通过视频处理模型中的特征提取网络确定帧级别的特征向量，包括：
通过视频处理模型中的特征提取网络，分别在所述待检测视频帧与所述辅助视频帧中提取不同的第一帧级别特征向量；
确定所述不同的第一帧级别特征向量中的每一个第一帧级别特征向量所分别对应的通道数量；
基于所述通道数量，确定对应的第一帧级别特征向量集合，以及与所述第一帧级别特征向量集合相匹配的相似度矩阵；
根据所述第一帧级别特征向量集合和所述相似度矩阵，通过融合处理确定相应的第二帧级别特征向量集合；
通过对所述第二帧级别特征向量集合的线性转换处理，确定所述帧级别的特征向量。


4.根据权利要求3所述的方法，其特征在于，所述通过视频处理模型中的特征提取网络，分别在所述待检测视频帧与所述辅助视频帧中提取不同的第一帧级别特征向量，包括：
通过所述视频处理模型中特征提取网络的卷积层和最大值池化层分别对所述待检测视频帧与所述辅助视频帧交叉进行处理，得到所述待检测视频帧与所述辅助视频帧的降采样结果；
通过所述特征提取网络的全连接层，对所述待检测视频帧与所述辅助视频帧的降采样结果进行归一化处理；
通过视特征提取网络对所述不同图像帧的降采样的归一化结果，进行深度分解处理，确定不同的第一帧级别特征向量。


5.根据权利要求1所述的方法，其特征在于，所述基于所述帧级别的特征向量，通过所述视频处理模型的候选框生成网络，确定实例级别的特征向量，包括：
通过所述视频处理模型的候选框生成网络对所述帧级别的特征向量进行处理，确定候选物体实例的边界框集合；
基于所述候选物体实例的边界框集合，以及所述帧级别的特征向量，通过所述视频处理模型中的感兴趣区域池化层网络，确定与所述候选物体实例相对应的第一实例级别的特征向量集合；
对所述第一实例级别的特征向量集合中的不同实例级别的特征向量进行融合处理，形成第二实例级别的特征向量集合，其中，所述第二实例级别的特征向量集合中的经过融合处理的第二实例级别的特征作为所述检测头网络所输入的实例级别的特征向量。


6.根据权利要求5所述的方法，其特征在于，所述对所述第一实例级别的特征向量集合中的不同实例级别的特征向量进行融合处理，形成第二实例级别的特征向量集合，包括：
确定所述候选物体实例的相对应的物体表观信息和物体几何信息；
基于所述物体表观信息和物体几何信息，确定物体实例级别的相似度；
根据所述物体实例级别的相似度，对所述第一实例级别的特征向量集合中的不同实例级别的特征向量进...

【专利技术属性】
技术研发人员：陈昊升，林丽健，单瀛，张宏伦，梁俊，李昱，王菡子，
申请(专利权)人：腾讯科技深圳有限公司，厦门大学，
类型：发明
国别省市：广东;44