一种基于对比学习的半监督人体行为识别方法技术

本发明专利技术涉及视频处理技术领域，具体涉及一种基于对比学习的半监督人体行为识别方法，包括将视频样本数据划分为有标签数据和无标签数据；基于双路径时间对比学习框架，并依次利用有标签数据和无标签数据对识别模型进行训练，得到二次训练模型；为无标签数据分配伪标签后对二次训练模型进行监督训练，得到最终模型；利用测试数据对模型进行评估，得到模型的识别性能，本发明专利技术通过利用对比学习构建半监督模型来挖掘视频样本数据中更多信息，解决了现有的人体行为识别方法在有限的有标签数据上获得的人体行为信息较少的问题。获得的人体行为信息较少的问题。获得的人体行为信息较少的问题。

【技术实现步骤摘要】
一种基于对比学习的半监督人体行为识别方法


[0001]本专利技术涉及视频处理
，尤其涉及一种基于对比学习的半监督人体行为识别方法。

技术介绍

[0002]视频数据中包含的人体行为信息。
[0003]目前，一般是通过人力对视频数据进行处理和分析，得到视频中的人体行为信息。
[0004]但这种方法需要耗费大量的人力成本和时间成本，达不到人们对视频数据中的人体行为信息进行处理的需求。

技术实现思路

[0005]本专利技术的目的在于提供一种基于对比学习的半监督人体行为识别方法，旨在解决现有的人体行为识别方法在有限的有标签数据上获得的人体行为信息较少的问题。
[0006]为实现上述目的，本专利技术提供了一种基于对比学习的半监督人体行为识别方法，包括以下步骤：
[0007]将视频样本数据划分为有标签数据和无标签数据；
[0008]基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型；
[0009]为所述无标签数据分配伪标签后对所述二次训练模型进行监督训练，得到最终模型；
[0010]利用测试数据对所述最终模型进行评估，得到所述最终模型的识别性能。
[0011]其中，所述双路径时间对比学习框架包括基础路径和辅助路径。
[0012]其中，所述基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型的具体方式为：
[0013]在所述基础路径上利用所述有标签数据对识别模型进行监督训练，得到初步训练模型；
[0014]通过对比学习和监督学习基于所述基础路径和所述辅助路径对所述初步训练模型进行半监督训练，得到二次训练模型。
[0015]其中，所述通过对比学习和监督学习基于所述基础路径和所述辅助路径对所述初步训练模型进行半监督训练，得到二次训练模型的具体方式为：
[0016]利用所述无标签数据的批次数量通过实例对比学习对所述基础路径和所述辅助路径上的所述初步训练模型的模型输出进行约束，并通过相似性对比学习对所述无标签数据的视频样本之间的相似性进行建模，同时利用所述有标签数据对所述初步训练模型进行半监督训练，得到二次训练模型。
[0017]其中，所述为所述无标签数据分配伪标签后对所述二次训练模型进行监督训练，得到最终模型的具体方式为：
[0018]为所述无标签数据分配伪标签，得到拥有伪标签的无标签数据；
[0019]利用所述标签数据和所述拥有伪标签的无标签数据在所述基础路径上对所述二次训练模型进行监督训练，得到最终模型。
[0020]本专利技术的一种基于对比学习的半监督人体行为识别方法，通过将视频样本数据划分为有标签数据和无标签数据；基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型；为所述无标签数据分配伪标签后对所述二次训练模型进行监督训练，得到最终模型；利用测试数据对所述最终模型进行评估，得到所述最终模型的识别性能；本专利技术通过利用对比学习构建所述半监督模型来挖掘视频样本数据中更多与任务相关的、有价值的信息，解决了现有的人体行为识别方法在有限的有标签数据上获得的人体行为信息较少的问题。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术提供的一种基于对比学习的半监督人体行为识别方法的流程图。
[0023]图2是基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型的流程图。
[0024]图3是为所述无标签数据分配伪标签后对所述二次训练模型进行监督训练，得到最终模型的流程图。
具体实施方式
[0025]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0026]请参阅图1至图3，本专利技术提供一种基于对比学习的半监督人体行为识别方法，包括以下步骤：
[0027]S1将视频样本数据划分为有标签数据和无标签数据；
[0028]具体的，将训练集的视频样本数据划分为有标签数据和无标签数据其中N1和N2分别表示有标签数据的样本数量和无标签数据的样本数量。
[0029]S2构建识别模型，基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型；
[0030]具体的，所述双路径时间对比学习框架包括基础路径和辅助路径。
[0031]所述基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型的具体方式为：
[0032]S21在所述基础路径上利用所述有标签数据对识别模型进行监督训练，得到初步
训练模型；
[0033]具体的，训练过程中需要最小化以下的交叉熵损失：
[0034][0035]其中V
i
和y
i
分别表示有标签数据中的第i个视频样本和其对应的类别标签，g(V
i
)表示将V
i
作为模型的输入时得到的模型输出，C表示类别总数。
[0036]S22通过对比学习和监督学习基于所述基础路径和所述辅助路径对所述训练模型进行半监督训练，得到二次训练模型。
[0037]具体的，利用所述无标签数据的批次数量通过实例对比学习对所述基础路径和所述辅助路径上的所述初步训练模型的模型输出进行约束，并通过相似性对比学习对所述无标签数据的视频样本之间的相似性进行建模，同时利用所述有标签数据对所述初步训练模型进行半监督训练，得到二次训练模型；
[0038]利用所述无标签数据的批次数量通过实例对比学习对所述基础路径和所述辅助路径上的所述初步训练模型的模型输出进行约束：
[0039]具体的，在对比学习的过程中主要考虑有B个无标签数据的小批次，对无标签数据中的视频U
i
采样不同数量的视频帧可以得到两种不同形式的视频(可以分别称之为快视频和慢视频)：和其中M和N均表示视频帧的数量，并且M＞N；
[0040]将和分别作为基础路径和辅助路径的输入，其对应的输出分别为和同一视频对应的不同输出称之为正对，不同视频对应的输出称之为负对，通过实例对比学习对基础路径和辅助路径上的模型输出进行约束，为了最大化同一视频样本所对应的两种模型输出和之间的一致性，并最小化不同视频样本所对应的模型输出之间的一致性，在模型训练的过程中需要最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的半监督人体行为识别方法，其特征在于，包括以下步骤：将视频样本数据划分为有标签数据和无标签数据；基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型；为所述无标签数据分配伪标签后对所述二次训练模型进行监督训练，得到最终模型；利用测试数据对所述最终模型进行评估，得到所述最终模型的识别性能。2.如权利要求1所述的基于对比学习的半监督人体行为识别方法，其特征在于，所述双路径时间对比学习框架包括基础路径和辅助路径。3.如权利要求2所述的基于对比学习的半监督人体行为识别方法，其特征在于，所述基于双路径时间对比学习框架，并依次利用所述有标签数据和所述无标签数据对识别模型进行训练，得到二次训练模型的具体方式为：在所述基础路径上利用所述有标签数据对识别模型进行监督训练，得到初步训练模型；通过对比学习和监督学习基于所述基础路径和所述辅助路径对所述初步训练模...

【专利技术属性】
技术研发人员：徐增敏，陈家昆，王会勇，蒙儒省，
申请(专利权)人：桂林安维科技有限公司，
类型：发明
国别省市：