一种行为识别模型的构建方法和用户行为识别方法技术

本发明专利技术提供了一种行为识别模型的构建方法和用户行为识别方法，构建方法用于识别人体行为，包括A1、获取第一训练集，其包括多个第一样本和第一标签，每个第一样本包括多模态的传感数据，第一标签指示行为类别；A2、根据第一标签将第一训练集分为多个批次，以使每个批次内包括多个第一样本且彼此对应的行为类别不同；A3、分批次训练多个模态的特征提取器分别根据输入的数据提取该模态的行为特征，并基于各模态的行为特征进行模态内对比学习和模态间对比学习以更新特征提取器的可训练参数；A4、基于经步骤A3训练的多个模态的特征提取器和分类器构建行为识别模型，利用第二训练集对行为识别模型进行有监督的微调训练，得到经训练的行为识别模型。行为识别模型。行为识别模型。

【技术实现步骤摘要】
一种行为识别模型的构建方法和用户行为识别方法


[0001]本专利技术涉及计算机信息
，具体来说涉及基于神经网络模型的人类行为识别领域，更具体地说，涉及一种行为识别模型的构建方法和用户行为识别方法。

技术介绍

[0002]随着手机和健身追踪器等可穿戴设备的日益普及，人们越来越关注用户行为识别(Human Activity Recognition，HAR)及其相关的医疗保健、辅助生活、健康监测和智能建筑等应用领域。可穿戴用户行为识别是普适计算领域的重要研究方向，旨在通过分析可穿戴传感设备采集的数据，以准确识别人类行为活动。
[0003]在过去十年中，与传统机器学习方法相比，深度学习模型在各种应用中表现出卓越的性能。深度学习的性能提升依赖于大规模标记数据，但获取大量标记的数据面临重大挑战，需耗费大量人力和经济成本。此外，数据标记结果容易受人为主观因素影响，导致标注误差。为降低标注成本，半监督学习、弱监督学习和迁移学习等各种方法现有被提出。通过利用这些技术，研究人员可以提高深度学习模型的准确性和通用性，同时减少与手动标记相关的成本和时间。尽管努力使用各种学习范例最大限度地减少对标签注释的需求，但由于准确注释原始传感器信号的复杂性，基于可穿戴设备的任务仍然面临着持续的挑战。与音频和图像等其他形式的数据不同，原始传感器信号的自我解释性较差，给人工标注带来了困难。
[0004]现有基于有监督学习、半监督学习、弱监督学习、迁移学习等的用户行为识别方法面临严峻挑战，模型效果严重依赖标注数据质量和数据规模，阻碍高精度用户行为识别模型的构建。
[0005]为应对上述挑战，自监督学习最近成为一种很有前途的新方法，可以在不需要人工注释的情况下学习特征表示。这种方法通过设计辅助任务，在不需要数据标签情况下，学习不同类别数据的分布特征。针对可穿戴用户行为识别，已有工作已实现了多种自监督学习方法，并设计了多种辅助任务，包括掩蔽重建和数据转换预测。通过使用前置任务训练模型，可以学习通用的潜在表示，然后可以利用它来提高下游任务的性能。对比学习是一种自监督学习方法，已被证明可以有效地训练深度神经网络，使它们能够从大规模、未标记的数据中学习强大的表示，而无需昂贵的手动注释。此外，对比学习已广泛应用于计算机视觉任务，例如图像分类、异常检测和图形挖掘，以及自然语言处理。它以实例判别作为前置任务实现了最先进的性能，甚至在准确性方面超过了下游分类任务的监督学习对手。
[0006]与其他领域相比，时间序列分析中的对比学习受到的关注相对较少，部分原因是难以识别捕获时间序列数据中关键不变性的合适增强。在时间序列分析中，"不变性"(invariance)指的是数据中存在的一种特性或模式，在不同的时间点或不同的时间序列中保持不变。换句话说，当观察数据的不同部分时，这些不变性能够保持一致。大多数现有对比学习方法只关注基于时间序列整体提取特征向量，并基于特征向量重建时间序列，从而可能降低学习的特征向量在下游任务中的有效性。
[0007]专利技术人在进行用户行为识别研究时，发现现有方法要么直接基于标签对模型进行有监督的行为分类训练，难以取得较高的用户行为识别精度；要么基于对比学习构造辅助任务先进行自监督训练后再进行分类训练，但是辅助任务只关注基于时间序列整体提取特征向量进行对比学习，可能降低学习的特征向量在下游任务中的有效性。因此，如何构建更加有效的对比学习任务，面临重要挑战。

技术实现思路

[0008]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种行为识别模型的构建方法和用户行为识别方法。
[0009]本专利技术的目的是通过以下技术方案实现的：
[0010]根据本专利技术的第一方面，提供一种行为识别模型的构建方法，用于根据可穿戴设备的传感器对人体采集的传感数据识别人体行为的场景，包括步骤：A1、获取第一训练集，其包括多个第一样本和第一标签，每个第一样本包括由加速度计、陀螺仪和磁力计对人体进行相应行为时分别采集的对应模态的传感数据，第一标签指示对应第一样本被采集时人体的行为类别；A2、根据所述第一标签将第一训练集分为多个批次，以使每个批次内包括多个第一样本且同一批次内各第一样本彼此对应的行为类别不同；A3、利用每个批次的多个第一样本，分批次训练多个模态的特征提取器分别根据输入的数据提取该模态的行为特征，并基于各模态的行为特征进行模态内对比学习和模态间对比学习以更新特征提取器的可训练参数；A4、基于经步骤A3训练的多个模态的特征提取器和分类器构建行为识别模型，利用第二训练集对行为识别模型进行有监督的微调训练，得到经训练的行为识别模型。
[0011]可选的，每个模态的特征提取器的输入的数据分别为所述批次的第一样本中该模态的传感数据和该传感数据对应的增强数据，其中，基于模态内的传感数据及其增强数据构建的正样本对和模态内不同行为类别对应的传感数据构建的负样本对所对应的行为特征，进行模态内对比学习，基于同一行为类别下两个不同模态的传感数据构建的正样本对和不同行为类别下两个不同模态的传感数据构建的负样本对所对应的行为特征，进行模态间对比学习。
[0012]可选的，所述模态内对比学习包括：将每个第一样本在一个模态的传感数据及其增强数据作为一个第一正样本对，得到模态内的多个第一正样本对；将每个第一样本在一个模态的数据与该批次内其他第一样本在该模态的数据作为一个第一负样本对，得到模态内的多个第一负样本对；基于模态内的所述多个第一正样本对、所述多个第一负样本对和提取的行为特征，利用第一损失函数计算模态内对比学习的损失，其中，所述第一损失函数的优化目标被配置为：缩小第一正样本对中两个数据对应的行为特征之间的距离，以及，增大第一负样本对中两个数据对应的行为特征之间的距离。
[0013]可选的，所述步骤A3包括：在每个批次内，从预设的增强库中的多个增强方式中随机选择相应的方式对每个传感数据进行增强，得到该传感数据的增强数据，其中，所述多个预设的增强方式包括抖动处理、缩放处理、重排处理和掩码处理。
[0014]可选的，所述模态间对比学习包括：在每个批次内，将每个第一样本的每两个不同模态的传感数据组合为一个模态间的第二正样本对，得到多个第二正样本对；在每个批次内，将每个第一样本的每个模态的传感数据与其负样本集合中每个传感数据组合为一个模
态间的第二负样本对，其中，一个第一样本的相应模态的传感数据的负样本集合为当前批次内其他第一样本的不同模态的传感数据构成的集合；基于模态间的所述多个第二正样本对、所述多个第二负样本对和提取的行为特征，利用第二损失函数计算模态间对比学习的损失，其中，所述第二损失函数的优化目标被配置为：缩小第二正样本对中两个数据对应的行为特征之间的距离，以及，增大第二负样本对中两个数据对应的行为特征之间的距离。
[0015]可选的，所述步骤A3包括：对模态内对比学习的损失和模态间对比学习的损失加权求和，得到总损失；根据所述总损失求梯度并反向传播更新特征提取器的可训练参数。
[0016]可选的，所述步骤A4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别模型的构建方法，用于根据可穿戴设备的传感器对人体采集的传感数据识别人体行为的场景，包括步骤：A1、获取第一训练集，其包括多个第一样本和第一标签，每个第一样本包括由加速度计、陀螺仪和磁力计对人体进行相应行为时分别采集的对应模态的传感数据，第一标签指示对应第一样本被采集时人体的行为类别；A2、根据所述第一标签将第一训练集分为多个批次，以使每个批次内包括多个第一样本且同一批次内各第一样本彼此对应的行为类别不同；A3、利用每个批次的多个第一样本，分批次训练多个模态的特征提取器分别根据输入的数据提取该模态的行为特征，并基于各模态的行为特征进行模态内对比学习和模态间对比学习以更新特征提取器的可训练参数；A4、基于经步骤A3训练的多个模态的特征提取器和分类器构建行为识别模型，利用第二训练集对行为识别模型进行有监督的微调训练，得到经训练的行为识别模型。2.根据权利要求1所述的方法，其特征在于，每个模态的特征提取器的输入的数据分别为所述批次的第一样本中该模态的传感数据和该传感数据对应的增强数据，其中，基于模态内的传感数据及其增强数据构建的正样本对和模态内不同行为类别对应的传感数据构建的负样本对所对应的行为特征，进行模态内对比学习，基于同一行为类别下两个不同模态的传感数据构建的正样本对和不同行为类别下两个不同模态的传感数据构建的负样本对所对应的行为特征，进行模态间对比学习。3.根据权利要求2所述的方法，其特征在于，所述模态内对比学习包括：将每个第一样本在一个模态的传感数据及其增强数据作为一个第一正样本对，得到模态内的多个第一正样本对；将每个第一样本在一个模态的数据与该批次内其他第一样本在该模态的数据作为一个第一负样本对，得到模态内的多个第一负样本对；基于模态内的所述多个第一正样本对、所述多个第一负样本对和提取的行为特征，利用第一损失函数计算模态内对比学习的损失，其中，所述第一损失函数的优化目标被配置为：缩小第一正样本对中两个数据对应的行为特征之间的距离，以及，增大第一负样本对中两个数据对应的行为特征之间的距离。4.根据权利要求3所述的方法，其特征在于，所述模态内对比学习的损失为批次内所有第一正样本对的子损失的均值，每个第一正样本对的子损失按照以下方式计算：其中，m表示模态m，表示第i个第一样本中模态m的传感数据对应行为特征，表示第i个第一样本中模态m的传感数据的增强数据对应的行为特征，表示第i个正样本对中，sim(
·
,
·
)表示余弦相似度函数，τ表示预设的温度参数，1
[k≠i]
是具有指示功能的函数，当k≠i时等于1否则等于0，N表示一个批次内的第一样本的数量，k表示相应第一样本的编号；其中，k≠i时，表示相应第一负样本对的余弦相似度。
5.根据权利要求1所述的方法，其特征在于，所述步骤A3包括：在每个批次内，从预设的增强库中的多个增强方式中随机选择相应的方式对每个传感数据进行增强，得到该传感数据的增强数据，其中，所述多个预设的增强方式包括抖动处理、缩放处理、重排处理和掩码处理。6.根据权利要求2
‑
5之一所述的方法，其特征在于，所述模态间对比学习包括：在每个批次内，将每个第一样本的每两个不同模态的传感数据组合为一个模态间的第二正样本对，得到多个第二正样本对；在每个批次内，将每个第一样本的每个模态的传感数据与其负样本集合中每个传感数据组合为一个模态间的第二负样本对，...

【专利技术属性】
技术研发人员：张迎伟，郭昌如，陈益强，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：