基于旋转角度约束的时-空特征对比学习方法技术

本发明专利技术公开了基于旋转角度约束的时

【技术实现步骤摘要】
基于旋转角度约束的时
‑
空特征对比学习方法


[0001]本专利技术属于电力系统继电保护
，具体涉及基于旋转角度约束的时
‑
空特征对比学习方法。

技术介绍

[0002]随着通信技术的快速发展和视频获取设备的广泛普及，越来越多的视频被产生和共享，如智慧城市中的监控视频、社交媒体中的现场视频和智能家居中的看护视频等。如何理解和分析这些海量涌现的视频数据具有重大的理论和应用价值。而要准确理解这些视频的前提条件是如何有效地对它们进行时
‑
空特征表示。目前，以深度神经网络为基础的各种时
‑
空特征学习方法由于其具有同时捕捉空间和时间表征的强大能力，已经在许多视频理解任务中，如人体动作识别、视频检索等，得到了广泛和成功的应用。为了达到良好的性能，基于深度神经网络的有监督特征学习方法通常需要百万级的标注视频来进行训练。然而，在实际中对于新的视频理解任务来说，收集这样大规模的有标注视频数据集是相当费时耗力的。为此，学术界提出了基于自监督的特征学习技术。
[0003]在过去的几年里本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于旋转角度约束的时
‑
空特征对比学习方法，其特征在于，通过在整个视频级上定义正、负样本对来进行时
‑
空特征对比学习，同时引入视频旋转角度预测任务来作为对比损失的正则化项，进一步增强时
‑
空特征对视频的空间表观信息和时间运动线索及其演化的刻画能力，提高特征的整体描述能力和判别力。2.根据权利要求1所述的基于旋转角度约束的时
‑
空特征对比学习方法，其特征在于，具体操作步骤如下：步骤1：对训练数据集中的每个训练视频样本抽取若干帧图像，对所述图像做旋转变换，生成增强变换视频样本；步骤2：构建时
‑
空特征对比学习模型，所述时
‑
空特征对比学习模型包括时
‑
空特征提取子网络、隐空间嵌入投影变换子网络和旋转角度分类器子网络；将步骤1生成的增强变换视频样本输入到时
‑
空特征提取子网络提取时
‑
空特征向量，并对所述时
‑
空特征提取子网络进行随机初始化；步骤3：将步骤2所述特征向量输入到隐空间嵌入投影变换子网络进行特征降维，生成低维嵌入向量；步骤4：利用隐空间中的低维嵌入向量计算对比损失；步骤5：将步骤2所述特征向量输入到旋转角度分类器子网络中，获得对应的旋转角度预测概率；步骤6：根据步骤5所述旋转角度预测概率与步骤1中施加在图像上的旋转变换角度计算角度预测损失；步骤7：根据步骤4的对比损失和步骤6的角度预测损失训练基于旋转角度约束的时
‑
空特征对比学习模型；步骤8：将上述以自监督方式训练好的时
‑
空特征对比学习模型中的特性提取子网的权值作为初始参数或特征提取器，在下游小规模数据集的视觉识别任务上进行有监督训练的模型参数精调，得到最终的分类结果。3.根据权利要求2所述的基于旋转角度约束的时
‑
空特征对比学习方法，其特征在于，步骤1具体如下：对训练数据集中的每个训练视频样本v
k
按时间顺序等间隔抽取不少于8帧图像，并按112x112的像素对每帧图像进行裁剪，裁剪后图像生成的视频降样本表示为对视频降样本的每帧图像进行两次独立的旋转变换T
σ
(
·
)，生成两个增强变换视频样本和其中T
σ
(
·
)的旋转参数σ为从集合{0
°
,90
°
,180
°
,270
°
}中随机选择的一个旋转角度；N个视频样本共计能生成2N个增强变换视频样本；定义从同一视频生成的两个增强变换视频样本为正样本对，其他情况构成的视频样本对均为负样本对。4.根据权利要求3所述的基于旋转角度约束的时
‑
空特征对比学习方法，其特征在于，步骤2具体过程如下：分别将增强变换视频样本和输入到时
‑
空特征提取子网络E(
·
,θ
E
)中提取512维的时
‑
空特征向量：提取的特征向量分别用和表示，E(
·
,θ
E
)的
网络结构为具有18层深度的3D残差网络R3D
‑
18，θ
E
为网络参数并进行随机初始化。5.根据权利要求4所述的基于旋转角度约束的时
‑
空特征对比...

【专利技术属性】
技术研发人员：陈万军，刘龙，范凤梅，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：