一种基于跨视图一致性挖掘的自监督骨架动作识别方法技术

本发明专利技术涉及视频处理技术领域，具体涉及一种基于跨视图一致性挖掘的自监督骨架动作识别方法，通过采集无标签骨架数据并进行预处理，从骨架序列生成3D骨架的多种视图，结合多种数据增强方法获得多视图数据的扩增序列，通过编码器得到不同视图的编码特征，建立单视图对比学习框架；进一步通过实例判别的对比学习对多个视图分支进行并行自监督训练，产生多个单视图嵌入特征，通过最近邻挖掘正样本方法，构建单视图语义级的对比学习，经过结合跨视图一致性挖掘模块，学习多视图的协同表示，最后在动作识别任务上利用测试数据对模型效果进行评估，得到模型的识别性能。本发明专利技术提高了人体骨架动作识别模型的性能，改善现有的人体骨架动作识别方法的存在问题。架动作识别方法的存在问题。架动作识别方法的存在问题。

【技术实现步骤摘要】
一种基于跨视图一致性挖掘的自监督骨架动作识别方法


[0001]本专利技术涉及视频处理
，具体涉及一种基于跨视图一致性挖掘的自监督骨架动作识别方法。

技术介绍

[0002]随着5G、互联网技术的飞速发展，图像和视频等多媒体信息也呈爆发式增长，这些海量、冗杂的视觉数据仅依靠传统的人工方式处理会消耗极大的人力和财力，为数据分析与理解带来了巨大的挑战。计算机视觉技术可以快速、实时地捕获数据中的有效信息，实现对视频中的目标进行检测、跟踪、行为识别等任务，是人工智能领域落地最广的技术之一。
[0003]人体动作识别是计算机视觉领域中的研究热点，主要是通过分析视频序列中的图像帧的相关性和视觉外观特征来确定人体行为，在智能监控、智能安防、视频检索等多个领域具有广阔的应用前景。基于监督学习的深度神经网络已经成功应用于各种计算机视觉任务，这类方法需要在有标签的数据集上进行训练，因此模型性能在一定程度上依赖于标注数据的数量和质量，这些数据需要耗费大量的资源进行人工方式标注，成本高昂，这促使利用现成的未标注数据的无监督学习受到越来越多研究者的关注。自监督学习作为无监督学习的一种，可以有效利用大数据时代的大量未标记数据，通过对数据本身的关系做自我监督得到泛化的特征，迁移到下游任务中，可以有效提高人体行为识别模型的性能。
[0004]视频数据的多种模态都可以用来表示人体动作特征，许多基于RGB模态的动作识别技术已经取得了显著的成果，但是RGB模态数据易受背景、外观、光照变化等因素影响，导致动作识别模型对环境因素鲁棒性较差，且RGB视频数据量大、计算成本较高。随着深度传感器的发展，骨架数据通过骨骼关节点的3D位置坐标来表示人体结构，这种轻量级的表示可以很容易提取出来，且骨架数据对于视角变换、人物外貌以及环境变化具有较强的鲁棒性，利用骨架数据进行动作识别也是备受关注的方向。
[0005]现有的骨架动作识别相关的专利或多或少地存在不同缺陷，以下从两个方面进行说明：
[0006]有监督骨架动作识别领域：2022年北京理工大学公开专利技术专利《一种基于循环神经网络的人体动作识别方法》，该专利技术使用循环神经网络进行骨架动作识别，在骨架关节点中选取对运动重要的15个关节进行两两结合，组成新的方向向量来增强骨架序列的空间特征；2022年福建工程学院公开专利技术专利《一种融合内外依赖的人体骨架动作识别方法》，该专利技术通过融合骨架图的内在与外在依赖图卷积，并结合时间卷积构成时空图卷积模型，有效提高骨架动作识别的精确度；2023年上海大学公开专利技术专利《一种基于骨架和图像数据融合的动作识别方法》，该专利技术将骨架数据与局部图像数据得到的各类别预测概率进行融合，丰富了模型对动作细节信息的建模；2023年安徽工程大学公开专利技术专利《一种基于骨骼的动作识别的深度集成方法》，该专利技术将卷积神经网络和长短期记忆网络进行集成，来捕获动作识别任务的各种时空动力学，在集成学习的推动下，建模骨架动作序列的时间动态特性。
[0007]自监督骨架动作识别领域：2022年天津大学公开专利技术专利《一种基于片段驱动对比学习的骨骼动作识别方法》，该专利技术以骨架序列中的片段为实例，构建了片段级的正负样本和序列级的正负样本，并利用片段顺序预测来建模序列的时序信息，来挖掘更好的骨架序列特征；2022年北京大学深圳研究生院公开专利技术专利《一种基于时空信息聚合的对比自监督人体行为识别方法及系统》，该专利技术通过将骨架动作序列、运动信息和骨骼信息进行数据流内融合和数据流间投票，从而将视频时空信息有效聚合得到更可靠的表征；2022年合肥工业大学公开专利技术专利《基于图神经网络的人体动作识别方法和系统》，该专利技术利用带有短连接的下采样和对应上采样层来实现数据的2D特征提取和关节点识别，通过将得到的2D关节信息输入图神经网络来提高3D动作识别的效果；2023年上海人工智能创新中心公开专利技术专利《基于部分时空数据的骨架自监督方法和模型》，该专利技术利用空间掩码策略和时序掩码策略对时空节点之间的相关性进行建模，增强了自监督学习表征的鲁棒性和适应性。

技术实现思路

[0008]本专利技术的目的在于提供一种基于跨视图一致性挖掘的自监督骨架动作识别方法，旨在解决现有的人体动作识别方法在无标签骨架数据上获得的人体行为信息较少的技术问题。
[0009]为实现上述目的，本专利技术提供了一种基于跨视图一致性挖掘的自监督骨架动作识别方法，包括下列步骤：
[0010]采集无标签骨架数据，并对数据进行预处理；
[0011]从骨架序列生成3D骨架的多种视图；
[0012]结合多种数据增强方法获得多视图数据的扩增序列；
[0013]通过编码器得到不同视图的编码特征，并投影到低维嵌入空间；
[0014]基于单视图骨架对比学习框架，对多个视图分支进行并行自监督训练，产生多个单视图嵌入特征；
[0015]通过最近邻挖掘正样本方法，构建单视图语义级的对比学习；
[0016]结合跨视图一致性挖掘模块，学习多视图的协同表示；
[0017]在动作识别任务上利用测试数据对模型效果进行评估，得到模型的识别性能。
[0018]优选的，在采集无标签骨架数据，并对数据进行预处理的过程中，使用深度传感器从不同的视角采集无标签人体骨架数据，骨架序列利用骨骼关节点的3D位置坐标来表示人体，对于数据预处理，先去除每个骨架序列的无效帧，然后通过线性插值将所述骨架序列大小调整为50帧。
[0019]优选的，所述3D骨架的多种视图具体为使用骨架数据的三种视图：关节、运动和骨骼视图，给定一个含有T帧的3D人体骨架序列x，x∈R
C
×
T
×
J
，J为骨骼关节点数，每个关节点的位置向量维度C＝3；骨架序列的运动视图表示为相邻帧之间的时间位移：x
:,t+1,:
‑
x
:,t,:
；骨骼视图表示为同一帧中两个相邻关节之间的距离：
[0020]优选的，结合多种数据增强方法获得多视图数据的扩增序列的过程，利用无标签骨架多种视图数据的批次数量作为输入，通过错切变换、时序裁剪和关节点掩码三种策略进行数据增强，获得无标签骨架序列的不同实例，并将所述不同实例作为正样本集。
[0021]优选的，所述编码器为图卷积神经网络ST
‑
GCN，所述单视图对比学习框架包括数
据增强模块、特征编码器模块和投影层模块，将数据增强后的样本数据输入到所述编码器得到特征的可视化表示，再通过MLP层将特征投影到低维嵌入空间。
[0022]优选的，在产生多个单视图嵌入特征的过程中，对于单视图骨架对比学习框架的网络的输出特征，通过实例对比学习对不同实例的相似度进行约束，多个视图分支进行并行自监督训练，得到多个单视图初步模型。
[0023]优选的，所述最近邻挖掘正样本方法是将样本特征和存储库中特征进行相似度比较，选取在嵌入空间中距离最近的实例作为正样本，从而扩大对比学习过程中的正样本集，来促进对比学习过程中高置信度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨视图一致性挖掘的自监督骨架动作识别方法，其特征在于，包括下列步骤：采集无标签骨架数据，并对数据进行预处理；从骨架序列生成3D骨架的多种视图；结合多种数据增强方法获得多视图数据的扩增序列；通过编码器得到不同视图的编码特征，并投影到低维嵌入空间；基于单视图骨架对比学习框架，对多个视图分支进行并行自监督训练，产生多个单视图嵌入特征；通过最近邻挖掘正样本方法，构建单视图语义级的对比学习；结合跨视图一致性挖掘模块，学习多视图的协同表示；在动作识别任务上利用测试数据对模型效果进行评估，得到模型的识别性能。2.如权利要求1所述的基于跨视图一致性挖掘的自监督骨架动作识别方法，其特征在于，在采集无标签骨架数据，并对数据进行预处理的过程中，使用深度传感器从不同的视角采集无标签人体骨架数据，骨架序列利用骨骼关节点的3D位置坐标来表示人体，对于数据预处理，先去除每个骨架序列的无效帧，然后通过线性插值将所述骨架序列大小调整为50帧。3.如权利要求2所述的基于跨视图一致性挖掘的自监督骨架动作识别方法，其特征在于，所述3D骨架的多种视图具体为使用骨架数据的三种视图：关节、运动和骨骼视图，给定一个含有T帧的3D人体骨架序列x，x∈R
C
×
T
×
J
，J为骨骼关节点数，每个关节点的位置向量维度C＝3；骨架序列的运动视图表示为相邻帧之间的时间位移：x
:,t+1,:
‑
x
:,t,:
；骨骼视图表示为同一帧中两个相邻关节之间的距离：4.如权利要求3所述的基于跨视图一致性挖掘的自监督骨架动作识别方法，其特征在于，结合多种数据增强方法获得多视图数据的扩增序列的过程，利用无标签骨架多种视图数据的批次数量作为输入，通过错切变换、时序裁剪和关节点掩码三种策略进...

【专利技术属性】
技术研发人员：徐增敏，王露露，蒙儒省，
申请(专利权)人：桂林安维科技有限公司，
类型：发明
国别省市：