一种行为识别方法、装置、终端设备及介质制造方法及图纸

本申请适用于人体行为识别技术领域，提供了一种行为识别方法、装置、终端设备及介质，通过获取训练数据；构建初始行为识别网络模型，并利用训练数据对其训练，得到中间行为识别网络模型；根据真实标签，对微多普勒数据进行划分，得到多个类簇中心；利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和类簇中心，得到其伪标签；根据类簇中心和伪标签，构建特征分布损失函数；利用待识别行为的互信息，构建冗余损失函数；根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；利用最终行为识别网络模型识别待识别行为。本申请能提高跨环境时行为识别的准确度。本申请能提高跨环境时行为识别的准确度。本申请能提高跨环境时行为识别的准确度。

【技术实现步骤摘要】
一种行为识别方法、装置、终端设备及介质


[0001]本申请属于人体行为识别
，尤其涉及一种行为识别方法、装置、终端设备及介质。

技术介绍

[0002]人体行为识别技术可以通过对人体动作、姿态、表情等特征的分析和识别，来推断人的行为意图和情感状态，在智能家居、智能安防、智能医疗、虚拟现实等领域都有所研究。主流的人体行为识别使用的数据包括采集自摄像头、惯性传感器和雷达设备的数据。其中，毫米波雷达（millimeter
‑
wave radar）是一种毫米波频段（30
‑
300 GHz）的无线电设备，其精度适合于识别人体大小物体的动作识别和定位。相比于摄像头和惯性传感器，毫米波雷达分别具有全天候和全天时工作的优势。在过去的几十年里，研究者们已经在毫米波雷达识别人体行为方面取得了一系列的研究成果。例如，可以利用毫米波雷达技术监测人体的呼吸、心跳、姿态等生理特征，并将其用于健康监测和疾病诊断。同时，毫米波雷达技术还可以用于监测人体的动作，例如跑步、散步、跳跃等，实现对人体行为的实时识别和跟踪。
[0003]在近年来毫米波雷达技术和深度学习技术等领域的迅速发展下，基于雷达技术的人体行为识别成为了一个具有广泛研究和应用价值的课题。然而，由于不同环境下雷达反射情况之间的差异性，导致传统基于毫米波雷达技术的人体行为识别方法的识别准确度较低。

技术实现思路

[0004]本申请提供了一种行为识别方法、装置、终端设备及介质，可以解决传统人体行为识别方法在跨环境时识别准确度较低的问题。
[0005]第一方面，本申请提供了一种行为识别方法，包括：获取训练数据；训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；已识别行为信息包括行为和行为对应的真实标签；构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型；行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据特征表示对行为进行分类的分类器；根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心；利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签；根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数；利用待识别行为的互信息，构建特征表示对应的冗余损失函数；根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；利用最终行为识别网络模型对待识别行为进行识别。
[0006]可选的，第一环境和第二环境之间雷达电磁波的背景噪声不同。
[0007]可选的，利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型，包括：利用初始行为识别网络模型对训练数据进行识别，得到训练数据对应的伪标签；根据训练数据对应的真实标签和伪标签，构建标签平滑损失函数，并利用标签平滑损失函数对初始行为识别网络模型进行反向传播，得到中间行为识别网络模型。
[0008]可选的，根据特征表示和多个类簇中心，得到待识别行为的伪标签，包括：通过计算公式得到待识别行为的伪标签；其中，表示第个待识别行为的伪标签，，表示待识别行为的总数量，表示第个待识别行为的特征表示，表示第个类簇中心，，表示类簇中心的总数量，表示向量的L2范数。
[0009]可选的，特征分布损失函数的表达式如下： ；其中，表示待识别行为对应的特征分布损失值，表示逻辑函数，。
[0010]可选的，冗余损失函数的表达式如下： ；其中，表示待识别行为的特征表示对应的冗余损失值，表示目标域数据集样本数量，表示通过队列结构存储的历史特征输出集合，。
[0011]可选的，根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型，包括：
[0012]通过计算公式 ；得到联合损失值，表示正则项的权重，；利用联合损失值对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型。
[0013]第二方面，本申请提供了一种行为识别装置，包括：数据获取模块，用于获取训练数据；训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；已识别行为信息包括行为和行为对应的真实标签；
模型构建模块，用于构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型；行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据特征表示对行为进行分类的分类器；类簇划分模块，用于根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心；伪标签识别模块，用于利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签；第一损失函数模块，用于根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数；第二损失函数模块，用于利用待识别行为的互信息，构建特征表示对应的冗余损失函数；模型更新模块，用于根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；识别模块，用于利用最终行为识别网络模型对待识别行为进行识别。
[0014]第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的行为识别方法。
[0015]第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的行为识别方法。
[0016]本申请的上述方案有如下的有益效果：本申请提供的行为识别方法，根据第二环境中待识别行为的特征表示和第一环境中训练数据的类簇中心，得到待识别行为的伪标签，利用了类簇中心代替训练数据的特征表示分布，实现了无源自适应，提高了跨环境时行为识别的普适性和准确性；根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数，能够减小待识别行为的特征分布与训练数据的特征分布之间的差距，提升行为识别模型的拟合能力，从而提高行为识别的准确性；利用待识别行为的互信息，构建特征表示对应的冗余损失函数，能够以此消除待识别行为特征表示中的冗余编码，有助于提高行为识别的准确性。
[0017]本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请一实施例提供的行为识别方法的流程图；图2为本申请一实施例提供的行为识别模型的结构示意图；图3为本申请一实施例中行为识别方法的执行流程图；图4为本申请一实施例中对微多普勒数据进行类簇划分的示意图；图5为本申请一实施例提供的行为识别装置的结构示意图；图6为本申请一实施例提供的终端设备的结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：获取训练数据；所述训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；所述已识别行为信息包括行为和所述行为对应的真实标签；构建初始行为识别网络模型，并利用所述训练数据对所述初始行为识别网络模型进行训练，得到中间行为识别网络模型；所述行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据所述特征表示对行为进行分类的分类器；根据所述真实标签，对所述微多普勒数据进行类簇划分，得到多个类簇中心；利用所述特征提取器提取第二环境中待识别行为的特征表示，并根据所述特征表示和所述多个类簇中心，得到所述待识别行为的伪标签；根据所述多个类簇中心和所述伪标签，构建所述待识别行为对应的特征分布损失函数；利用所述待识别行为的互信息，构建所述特征表示对应的冗余损失函数；根据所述特征分布损失函数和所述冗余损失函数，对所述中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；利用所述最终行为识别网络模型对所述待识别行为进行识别。2.根据权利要求1所述的行为识别方法，其特征在于，所述第一环境和所述第二环境之间雷达电磁波的背景噪声不同。3.根据权利要求1所述的行为识别方法，其特征在于，所述利用所述训练数据对所述初始行为识别网络模型进行训练，得到中间行为识别网络模型，包括：利用所述初始行为识别网络模型对所述训练数据进行识别，得到所述训练数据对应的伪标签；根据所述训练数据对应的真实标签和所述伪标签，构建标签平滑损失函数，并利用所述标签平滑损失函数对所述初始行为识别网络模型进行反向传播，得到所述中间行为识别网络模型。4.根据权利要求1所述的行为识别方法，其特征在于，所述根据所述特征表示和所述多个类簇中心，得到所述待识别行为的伪标签，包括：通过计算公式得到所述待识别行为的伪标签；其中，表示第个待识别行为的伪标签，，表示待识别行为的总数量，表示第个待识别行为的特征表示，表示第个类簇中心，，表示类簇中心的总数量，表示向量的L2范数。5.根据权利要求4所述的行为识别方法，其特征在于，所述特征分布损失函数的表达式如下：
其中，表示待识别行为对应的特征分布损失值，表示逻辑函数，。6.根据权利要求5所述的行为识别...

【专利技术属性】
技术研发人员：刘锦，曾德蛟，王建新，
申请(专利权)人：中南大学，
类型：发明
国别省市：