基于生成式自监督学习和对比学习的人体行为识别方法技术

本发明专利技术公开了一种基于生成式自监督学习和对比学习的人体行为识别方法，具体为：基于传感器设备采集人体行为识别数据集，将数据集划分给多个节点；根据数据增强的类别数和生成器的训练次数进行生成对抗网络的训练，得到训练好的生成对抗网络模型；使用训练好的生成对抗网络对边缘节点进行数据扩充，得到生成数据；边缘节点利用扩充后的数据进行模型训练；中心节点对来自各个边缘节点的模型参数进行聚合更新；将待检测的数据输入到训练好的本地模型进行人体行为识别，得到对应的行为类别。本发明专利技术有效提升了模型的精度，能较好适应边缘设备数据规模较小和数据非独立同分布的场景。设备数据规模较小和数据非独立同分布的场景。设备数据规模较小和数据非独立同分布的场景。

【技术实现步骤摘要】
基于生成式自监督学习和对比学习的人体行为识别方法


[0001]本专利技术属于人体行为识别
，尤其涉及一种基于生成式自监督学习和对比学习的人体行为识别方法。

技术介绍

[0002]随着智能生活概念的普及和穿戴式终端设备技术的快速发展，基于可穿戴式智能设备的人体行为识别得到了广泛的关注。为了避免中心化集中式训练模式所带来的数据隐私安全问题，引入了联邦学习机制。联邦学习作为一种新的分布式机器学习范式，不同于传统的大规模机器学习将所有大量训练数据和模型集中化进行处理。为了保证用户数据隐私安全和解决数据孤岛等问题，联邦学习支持大规模数据的本地训练和各数据持有者协同建模。在这种具有隐私保护特性的分布式机器学习框架下，数据交互的对象为模型的梯度参数，避免了数据的直接暴露。在联邦学习的机制下，边缘节点的行为识别模型由于缺乏较大规模的数据集以及数据集的非独立同分布，导致行为识别模型出现模型精度较低、模型过拟合、泛化能力较低等问题。
[0003]在分布式系统下，边缘设备的差异性和数据集分布的差异性会导致模型性能较低等问题。目前已有的解决方案是动态调整不同的边缘节点每一轮迭代次数来解决数据非独立同分布的问题，但这种方式会使得模型的准确率较低。还有的方法是在参数的聚合更新过程中使用加权聚合的方式来解决边缘设备的差异性问题，但这种方式会造成模型难以收敛。
[0004]总的来说，现有的这些方案都无法很好解决边缘设备所拥有的训练数据较少以及数据的非独立同分布所导致的本地模型精度较低等问题。

技术实现思路

[0005]为解决在基于联邦学习的人体行为识别中的本地模型性能上的问题，本专利技术提供一种基于生成式自监督学习和对比学习的人体行为识别方法。
[0006]本专利技术的一种基于生成式自监督学习和对比学习的人体行为识别方法，包括以下步骤：
[0007]步骤1：基于传感器设备采集人体行为识别数据集。
[0008]设设置生成对抗网络和对比学习中的输入参数，包括：边缘节点与中心节点的更新次数T，节点数量N，边缘节点的行为识别模型迭代次数E，温度参数τ，学习率η，样本数据扩充数量χ
τ
，数据增强的类别数K，生成器的训练次数E
K
。
[0009]将数据集划分给N个节点。
[0010]步骤2：根据数据增强的类别数K和生成器的训练次数E
K
进行生成对抗网络的训练，得到训练好的生成对抗网络。
[0011]生成对抗网络模型结构分为生成器和鉴别器两个部分。生成器与真实数据进行连接，生成数据与真实数据共同参与数据增强的过程。得到的增强数据与鉴别器连接，最后将
联合多个鉴别器的结果反馈给生成器进行调整。
[0012]步骤3：使用训练好的生成对抗网络对边缘节点进行数据扩充，扩充量为χ
τ
，得到生成数据。
[0013]通过一个生成器G(Z)得到生成后的样本数据，Z表示随机变量，接着在真实的数据样本加入K种不同类型的数据增强后的数据分别对真实数据样本和生成数据样本进行数据增强并送入对应的K个鉴别器中，最后将联合多个鉴别器的输出结果反馈给生成器进行调整；定义χ
τ
表示经过数据增强的数据集，λ
u
和λ
v
为常数，和表示原始数据和生成数据的数据分布，E表示数学期望，τ＝{T2,
…
,T
k
}表示K种不同的数据增强操作，定义鉴别器集合{D
k
}＝{D2,
…
,D
k
}，鉴别器D
k
用来训练经过数据增强T
k
操作后的数据，此时的鉴别器的目标函数为：
[0014][0015]其中，υ(D
k
,G)的定义为：
[0016][0017]生成器的目标函数为：
[0018][0019]步骤4：边缘节点利用扩充后的数据进行模型训练。
[0020]步骤5：中心节点对来自各个边缘节点的训练梯度参数进行聚合更新。在模型参数更新的时候，使用对比学习的方式进行参数更新，模型结构为：选取一种网络模型作为基础的编码器，编码器连接着映射网络，映射层将编码器层的输出投影到具有固定的维度空间，最后是输出层来输出每种类别的预测值。
[0021]在第t次迭代训练时，利用本地模型的第t
‑
1次迭代训练中的映射层输出以及当前迭代的边缘节点和中心节点的映射层的网络的联合输出进行对比学习的损失函数计算，并将当迭代中的本地模型的输出层作为监督信号计算交叉熵监督损失，最后对比损失与监督损失共同作为模型的损失值；将本地模型的交叉熵损失值记为l
sup
,将本地模型与全局模型的对比损失值定义为l
contra
：边缘节点从中心节点接收全局模型参数w
t
来参与本地模型的第i次的更新定义z表示当前迭代的模型，定义z
prev
表示上一轮迭代的模型，定义Z
global
表示全局模型。
[0022]对比学习的损失函数表示为：
[0023][0024]τ表示温度参数，对于输入值(x,y)的联合损失值定义为τ表示温度参数，对于输入值(x,y)的联合损失值定义为其中μ用来衡量表示对比损失的权重。
[0025]对于本地的目标函数定义为：
[0026][0027]步骤6：将待检测的数据输入到训练好的本地模型进行人体行为识别，得到对应的行为类别。
[0028]进一步的，边缘节点的运行流程具体为：
[0029](1)第i轮迭代的模型参数计算交叉损失值l
supervised
；
[0030](2)根据全局模型Z
global
和上一轮迭代的模型Z
prev
计算对比损失值l
contra
；
[0031](3)计算联合损失值l＝l
supervised
+μl
contra
并更新模型参数并更新模型参数表示梯度和散度；
[0032](4)将更新后的模型参数发送到中心节点。
[0033]进一步的，中心节点的运行流程具体为：
[0034](1)初始化模型参数ω0；
[0035](2)在每轮迭代中将全局模型参数ω
t
发送到边缘节点P
i
；
[0036](3)将边缘节点的第i轮训练模型参数聚合更新为ω
t+1
,得到更新后的全局模型参数ω
t
。
[0037]本专利技术的有益技术效果为：
[0038]本专利技术有效提升了模型的精度，能较好适应边缘设备数据规模较小和数据非独立同分布的场景。
附图说明
[0039]图1为本专利技术基于生成式自监督学习和对比学习的人体行为识别方法流程图。
[0040]图2为生成对抗网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成式自监督学习和对比学习的人体行为识别方法，其特征在于，包括以下步骤：步骤1：基于传感器设备采集人体行为识别数据集；设置生成对抗网络和对比学习中的输入参数，包括：边缘节点与中心节点的更新次数T，节点数量N，边缘节点的训练次数E，温度参数τ，学习率η，样本数据扩充数量χ
τ
，数据增强的类别数K，生成器的训练次数E
K
以及相关的超参数；将数据集划分给N个节点；步骤2：根据数据增强的类别数K和生成器的训练次数E
K
进行生成对抗网络的训练，得到训练好的生成对抗网络；生成对抗网络模型结构分为生成器和鉴别器两个部分，生成器与真实数据进行连接，生成数据与真实数据共同参与数据增强的过程，得到的增强数据与鉴别器连接，最后将联合多个鉴别器的结果反馈给生成器进行调整；步骤3：使用训练好的生成对抗网络对边缘节点进行数据扩充，扩充量为χ
τ
，得到生成数据；通过一个生成器G(Z)得到生成后的样本数据，Z表示随机变量，接着在真实的数据样本加入K种不同类型的数据增强后的数据分别对真实数据样本和生成数据样本进行数据增强并送入对应的K个鉴别器中，最后将联合多个鉴别器的输出结果反馈给生成器进行调整；定义χ
τ
表示经过数据增强的数据集，λ
u
和λ
v
为常数，和表示原始数据和生成数据的数据分布，E表示数学期望，τ＝{T2，...，T
k
}表示K种不同的数据增强操作，定义鉴别器集合{D
k
}＝{D2，...，D
k
}，鉴别器D
k
用来训练经过数据增强T
k
操作后的数据，此时的鉴别器的目标函数为：其中，υ(D
k
，G)的定义为：生成器的目标函数为：步骤4：边缘节点利用扩充后的数据进行模型训练；步骤5：中心节点对来自各个边缘节点的训练梯度参数进行聚合更新；在进行参数聚合更新的时候，使用对比学习的方式进行参数更新，模型结构为：选取一种网络模型作为基础的编码器，编码器连接着映射网络，映射层将编码器层的输出投影到具有固定的维度空间，最后是输出层来输出每种类别...

【专利技术属性】
技术研发人员：邢焕来，刘俊，肖智文，冯力，朱宗海，赵博文，
申请(专利权)人：西南交通大学唐山研究院，
类型：发明
国别省市：