一种视频处理方法、装置、电子设备以及介质制造方法及图纸

本公开实施例提供了一种视频处理方法、装置、电子设备以及介质，涉及计算机技术领域，所述方法包括：提取包含目标的视频中每个视频帧对应的特征图，根据每个特征图的像素点分布，确定每个特征图对应的水平注意力特征向量以及垂直注意力特征向量，将每个特征图对应的水平注意力特征向量和垂直注意力特征向量进行特征拼接，得到每个特征图对应的注意力特征向量，对包含目标的视频中所有视频帧的特征图对应的注意力特征向量进行向量聚合操作，得到包含目标的视频对应的代表特征向量。采用本公开可以使得代表特征向量可以准确地体现包含目标的视频帧中的重要的特征。

A video processing method, device, electronic equipment and medium

【技术实现步骤摘要】
一种视频处理方法、装置、电子设备以及介质
本公开涉及计算机
，特别是涉及一种视频处理方法、装置、电子设备以及介质。
技术介绍
目前，随着人工智能、计算机视觉和硬件技术的发展，视频图像处理技术广泛的存在智能城市系统的应用之中。电子设备可以基于行人重识别技术(PersonRe-Identification)，根据一段包括目标行人的视频，确定一个视频查询库中所有包括该目标行人的视频。
技术实现思路
本公开实施例的目的在于提供一种视频处理方法、装置、电子设备以及介质，以使得代表特征向量可以准确地体现包含目标的视频帧中的重要的特征。第一方面，提供了一种视频处理方法，所述方法应用于电子设备，所述方法包括：提取包含目标的视频中每个视频帧对应的特征图；根据每个特征图的像素点分布，确定每个特征图中每行像素点在所属特征图中的权重，并基于每行像素点在所属特征图中的权重，确定每个特征图对应的水平注意力特征向量；根据每个特征图的像素点分布，确定每个特征图中每列像素点在所属特征图中的权重，并基于每列像素点在所属特征本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，所述方法包括：/n提取包含目标的视频的每个视频帧对应的特征图；/n根据每个特征图的像素点分布，确定每个特征图中每行像素点在所属特征图中的权重，并基于每行像素点在所属特征图中的权重，确定每个特征图对应的水平注意力特征向量；/n根据每个特征图的像素点分布，确定每个特征图中每列像素点在所属特征图中的权重，并基于每列像素点在所属特征图中的权重，确定每个特征图对应的垂直注意力特征向量；/n将每个特征图对应的水平注意力特征向量和垂直注意力特征向量进行特征拼接，得到每个特征图对应的注意力特征向量；/n对所述包含目标的视频中所有视频帧的特征图对应的注意力特征向量进行向量聚合操...

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：
提取包含目标的视频的每个视频帧对应的特征图；
根据每个特征图的像素点分布，确定每个特征图中每行像素点在所属特征图中的权重，并基于每行像素点在所属特征图中的权重，确定每个特征图对应的水平注意力特征向量；
根据每个特征图的像素点分布，确定每个特征图中每列像素点在所属特征图中的权重，并基于每列像素点在所属特征图中的权重，确定每个特征图对应的垂直注意力特征向量；
将每个特征图对应的水平注意力特征向量和垂直注意力特征向量进行特征拼接，得到每个特征图对应的注意力特征向量；
对所述包含目标的视频中所有视频帧的特征图对应的注意力特征向量进行向量聚合操作，得到所述包含目标的视频对应的代表特征向量。


2.根据权利要求1所述的方法，其特征在于，所述根据每个特征图的像素点分布，确定每个特征图中每行像素点在对应特征图中的权重，并基于每行像素点在对应特征图中的权重，确定每个特征图对应的水平注意力特征向量，包括：
针对每个特征图，对所述特征图进行全局平均池化操作，得到所述特征图对应的第一特征向量；
对所述第一特征向量进行压缩操作和解码操作，得到第二特征向量；
分别对所述特征图中的每行像素点进行求和操作，得到所述特征图中每行像素点对应的第三特征向量；
对每个第三特征向量进行逻辑回归操作，得到每个第三特征向量对应的注意力值，将每个第三特征向量对应的注意力值分别作为每个第三特征向量的权重，对所述特征图中每行像素点对应的第三特征向量进行加权求和运算，得到第四特征向量；
将所述第二特征向量与所述第四特征向量的乘积作为所述特征图对应的水平注意力特征向量。


3.根据权利要求1所述的方法，其特征在于，所述根据每个特征图的像素点分布，确定每个特征图中每列像素点在对应特征图中的权重，并基于每列像素点在对应特征图中的权重，确定每个特征图对应的垂直注意力特征向量，包括：
针对每个特征图，对所述特征图进行全局平均池化操作，得到所述特征图对应的第五特征向量；
对所述第五特征向量进行压缩操作和解码操作，得到第六特征向量；
分别对所述特征图中的每列像素点进行求和操作，得到所述特征图中每列像素点对应的第七特征向量；
对每个第七特征向量进行逻辑回归操作，得到每个第七特征向量对应的注意力值，将每个第七特征向量对应的注意力值分别作为每个第七特征向量的权重，对所述特征图中每列像素点对应的第七特征向量进行加权求和运算，得到第八特征向量；
将所述第六特征向量与所述第八特征向量的乘积作为所述特征图对应的垂直注意力特征向量。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述包含目标的视频中所有视频帧的特征图对应的注意力特征向量进行向量聚合操作，得到所述包含目标的视频对应的代表特征向量，包括：
针对每个特征图对应的注意力特征向量，计算所述注意力特征向量与每个特征图对应的注意力特征向量之间的向量距离；
计算所述注意力特征向量对应的各向量距离的平均值，将计算得到的平均值作为所述注意力特征向量的权重；
基于各注意力特征向量的权重，对各注意力特征向量进行加权平均运算，得到所述包含目标的视频对应的代表特征向量。


5.一种视频处理装置...

【专利技术属性】
技术研发人员：王智康，马原，
申请(专利权)人：北京澎思科技有限公司，
类型：发明
国别省市：北京;11