基于数据增强和伪标签的域自适应行为识别系统及方法技术方案

本发明专利技术公开了一种基于数据增强和伪标签的域自适应行为识别系统及方法，包括：数据采集模块，采集用户运动时的传感器原始数据；数据预处理模块，对公开数据集中的源域传感器数据和采集到的目标域传感器数据进行归一化和数据分割，得到源域和目标域样本数据；行为识别模块，选择源域样本数据训练得到域泛化基础模型，对目标域样本数据进行数据增强得到增强后的目标域样本数据，使用迭代计算伪标签算法和增强后的目标域样本数据优化域泛化基础模型，迭代终止时目标域样本数据的分类结果即为行为识别结果。本发明专利技术利用未标记的目标域样本数据优化分类模型，降低对目标域带标记样本的依赖性，在降低标记成本的同时提高了行为识别的准确度和鲁棒性。的准确度和鲁棒性。的准确度和鲁棒性。

【技术实现步骤摘要】
基于数据增强和伪标签的域自适应行为识别系统及方法


[0001]本专利技术属于智能感知技术和人工智能
，具体涉及一种基于数据增强和伪标签的域自适应行为识别系统及方法。

技术介绍

[0002]目前，移动智能设备和可穿戴智能设备已经成为人们日常生活的重要组成部分，人们通过这些设备检测并记录自己的行为状态。与移动设备和可穿戴设备相适配的传感器将用户活动产生的数据保存并记录，这些数据被广泛应用于行为识别任务，比如运动检测、人机交互等应用中。
[0003]针对基于可穿戴设备的行为识别任务，传统的解决方法是通过有监督的方式训练行为识别模型，即通过大量带标记的样本数据训练分类模型，然后在实际应用中使用该模型对用户行为对应的感知数据进行分类，达到行为识别的目标。但是传统的方法通常要求训练过程中的样本数据与实际应用时的数据服从相同的数据分布。在实际应用场景下，由于用户、设备、环境等差异，模型在训练和实际部署阶段往往面临分布存在差异的数据域，从而导致识别性能的下降。
[0004]针对上述情况，一个直观的解决方法是针对实际应用中的每个数据域采用标记样本通过有监督的方式分别训练一个分类模型，但是对未标记样本进行标记的代价往往成本较高，因此这一方法难以应用在实际情况中。这些问题往往给基于可穿戴设备的行为识别任务以及基于行为识别的人机交互服务带来局限性。

技术实现思路

[0005]针对于上述现有技术的不足，本专利技术的目的在于提供一种基于数据增强和伪标签的域自适应行为识别系统及方法，以解决现有的行为识别模型在没有标记数据的新数据域(即目标域)上进行行为识别任务时性能低下的问题；本专利技术能够使模型利用目标域上的未标记数据进行调整优化，降低对目标域带标记样本的依赖性，在降低标记成本的同时提高行为识别的准确性和鲁棒性。
[0006]为达到上述目的，本专利技术采用的技术方案如下：
[0007]本专利技术的一种基于数据增强和伪标签的域自适应行为识别系统，包括：数据采集模块，数据预处理模块及行为识别模块；其中，
[0008]数据采集模块，用于采集用户运动时移动设备或可穿戴设备的传感器数据；
[0009]数据预处理模块，用于处理得到源域样本数据和目标域样本数据，包括：数据归一化模块及数据分割模块；
[0010]所述数据归一化模块，用于将公开数据集中的源域传感器数据和所采集到的目标域传感器数据(即移动设备或可穿戴设备的传感器数据)的每一维归一化到(0,1)区间范围；
[0011]所述数据分割模块，用于将归一化后的源域传感器数据和目标域传感器数据分割
为统一固定长度的数据片段，得到源域样本数据和目标域样本数据；
[0012]行为识别模块，包括：域泛化基础模型训练模块，多重数据增强模块，迭代计算伪标签模块；
[0013]所述域泛化基础模型训练模块，使用源域样本数据训练得到域泛化基础模型；
[0014]所述多重数据增强模块，用于对目标域样本数据进行多重不同程度的数据增强；
[0015]所述迭代计算伪标签模块，用于迭代计算伪标签并优化域泛化基础模型，迭代终止时的分类结果作为行为识别结果输出。
[0016]进一步地，所述传感器数据包括：加速度计数据、磁力计数据、陀螺仪数据。
[0017]进一步地，所述数据归一化模块分别求出源域和目标域的传感器数据每一维度的最大值max(X
nomal
)和最小值min(X
nomal
)，使用如下公式将传感器每一维的数据归一化到(0，1)区间：
[0018][0019]式中，Y
nomal
是数据归一化模块输出的归一化后数据，X
nomal
是原始传感器数据。
[0020]进一步地，所述数据分割模块使用滑动窗口算法将所有归一化后的传感器数据分割为固定窗口长度的数据片段，窗口重叠长度为窗口长度的一半。
[0021]进一步地，所述滑动窗口算法中的滑动窗口长度为256，窗口重叠长度为128，步长为128。
[0022]进一步地，所述域泛化基础模型训练模块通过在一维卷积神经网络中加入自适应超参数和数据增强层，将一个样本数据提取为256维的特征向量，具体为：将带有4层一维卷积层的卷积神经网络作为基本架构，在部分卷积层之后加入采用自适应超参数的数据增强层；
[0023]域泛化基础模型包含：一维卷积层、池化层、全连接层、分类层以及仿射变换层；其中：
[0024]一维卷积层：提取样本数据中的特征信息，对于输入数据X
cv
，输出特征表示为Y
cv
的一维卷积公式表达如下：
[0025][0026]其中，y
cout，i
代表输出特征表示Y
cv
，中第cout个通道中位置为i的数据；C，H分别代表输入数据X
cv
的通道数量(即所有传感器坐标轴的总个数)和一维卷积核长度；step代表一维卷积操作的步长；x
c，(i
‑
1)
×
step+h
代表输入数据X
cv
第c个通道中位置为(i
‑
1)
×
step+h的数据；k
cout，h
为第cout个一维卷积核中位置为h的数据；
[0027]池化层：对数据以固定长度的池化窗口进行池化计算，计算池化窗口内元素最大值的操作被称为最大池化(Max
‑
Pooling)；对于池化操作，其对应的输入为X
pool
，输出为Y
pool
，最大池化的计算公式如下所示：
[0028][0029]其中，y
c，i
代表输出数据Y
pool
的第c个通道中位置为i的数据；M代表池化窗口的长
度；x
c，M
×
(i
‑
1)+k
代表输入数据X
pool
第c个通道中位置为M
×
(i
‑
1)+k的数据；
[0030]全连接层：用于将输入的向量X
fc
输出为目标维数的向量Y
fc
，其计算公式如下所示：
[0031]Y
fc
＝F
c
(X
fc
)＝W
c
X
fc
+b
c
[0032]其中，W
c
为权重矩阵，b
c
为偏置向量；
[0033]分类层：用于将提取的向量表示X
classifier
，映射到样本标记空间，包含一层全连接层和一个归一化指数函数(Softmax)；对于输入的向量X
classifier
，输出向量Y
classifier
，的长度为标记空间中样本类别数目，其公式表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据增强和伪标签的域自适应行为识别系统，其特征在于，包括：数据采集模块，数据预处理模块及行为识别模块；数据采集模块，用于采集用户运动时移动设备或可穿戴设备的传感器数据；数据预处理模块，用于处理得到源域样本数据和目标域样本数据，包括：数据归一化模块及数据分割模块；所述数据归一化模块，用于将公开数据集中的源域传感器数据和采集到的目标域传感器数据的每一维归一化到(0,1)区间范围；所述数据分割模块，用于将归一化后的源域传感器数据和目标域传感器数据分割为统一固定长度的数据片段，得到源域样本数据和目标域样本数据；行为识别模块，包括：域泛化基础模型训练模块，多重数据增强模块，迭代计算伪标签模块；所述域泛化基础模型训练模块，使用源域样本数据训练得到域泛化基础模型；所述多重数据增强模块，用于对目标域样本数据进行多重不同程度的数据增强；所述迭代计算伪标签模块，用于迭代计算伪标签并优化域泛化基础模型，迭代终止时的分类结果作为行为识别结果输出。2.根据权利要求1所述的基于数据增强和伪标签的域自适应行为识别系统，其特征在于，所述域泛化基础模型训练模块通过在一维卷积神经网络中加入自适应超参数和数据增强层，将一个样本数据提取为256维的特征向量，具体为：将带有4层一维卷积层的卷积神经网络作为基本架构，在部分卷积层之后加入采用自适应超参数的数据增强层。3.根据权利要求2所述的基于数据增强和伪标签的域自适应行为识别系统，其特征在于，域泛化基础模型包含：一维卷积层、池化层、全连接层、分类层以及仿射变换层；一维卷积层：提取样本数据中的特征信息，对于输入数据X
cv
，输出特征表示为Y
cv
的一维卷积公式表达如下：其中，y
cout，i
代表输出特征表示Y
cv
中第cout个通道中位置为i的数据；C，H分别代表输入数据X
cv
的通道数量和一维卷积核长度；step代表一维卷积操作的步长；x
c，(i
‑
1)
×
step+h
代表输入数据X
cv
第c个通道中位置为(i
‑
1)
×
step+h的数据；k
cout，h
为第cout个一维卷积核中位置为h的数据；池化层：对数据以固定长度的池化窗口进行池化计算，计算池化窗口内元素最大值的操作被称为最大池化；对于池化操作，其对应的输入为X
pool
，输出为Y
pool
，最大池化的计算公式如下所示：其中，M代表池化窗口的长度；x
c，M
×
(i
‑
1)+k
代表输入数据X
pool
第c个通道中位置为M
×
(i
‑
1)+k的数据；全连接层：用于将输入的向量X
fc
输出为目标维数的向量Y
fc
，其计算公式如下所示：Y
fc
＝F
c
(X
fc
)＝W
c
X
fc
+b
c
其中，W
c
为权重矩阵，b
c
为偏置向量；分类层：用于将提取的向量表示X
classifier
映射到样本标记空间，包含一层全连接层和一个归一化指数函数；对于输入的向量X
classifier
，输出向量Y
classifier
的长度为标记空间中样本类别数目，其公式表达如下：其中，e为自然常数，W
m
为第m个类别对应的权重向量，S为特征空间中样本类别数目；仿射变换层：用于在训练过程中对源域样本数据通过仿射变换进行数据增强，使用增强数据模拟真实环境中的域偏移，从而使模型在训练过程中能够学习到更多的数据分布，进而对未知数据分布的目标域拥有泛化能力；具体实现为：对来自不同通道的数据使用不同的参数进行仿射变换，仿射变换所使用的权重系数和偏置值采样自超参数所确定的正态分布，仿射变换模块的公式表达如下：γ～N(1，softplus(θ
γ
))θ
γ
∈R
C
×1β～N(0，softplus(θ
β
))，θ
β
∈R
C
×1y
c
＝γ
c
×
x
c
+β
c
其中，N(，)为正态分布，θ
γ
和θ
β
为超参数，softplus为激活函数，γ和β分别为采样自θ
γ
和θ
β
所确定的正态分布的参数，分别作为进行仿射变换的权重系数和偏置值，C为输入数据的通...

【专利技术属性】
技术研发人员：殷亚凤，尤明辉，谢磊，陆桑璐，
申请(专利权)人：南京大学，
类型：发明
国别省市：