一种用于识别人体行为的神经网络分类模型的训练方法技术

本发明专利技术提供一种神经网络分类模型的训练方法，模型包括提取样本特征的特征提取器和根据样本特征对样本分类的分类器，该方法包括按以下方式对基于源域的样本及标签训练得到的初始的模型进行一轮或多轮训练：S1、获取训练集，包括源域的样本对和目标域的样本对，任意样本对包括两个样本，每个样本为对人员采集的传感器数据，两个样本所对应的人员和被采集时该人员的行为类别相同；S2、利用训练集对当前的模型进行一次或多次训练，每次训练时基于预定的损失函数更新模型的参数，该损失函数被配置为：惩罚源域的样本的分类偏差、惩罚源域和目标域的样本的样本特征间的边缘分布差异和条件分布差异以及惩罚每个样本对中两个样本对应的时序分布差异。对应的时序分布差异。对应的时序分布差异。

【技术实现步骤摘要】
一种用于识别人体行为的神经网络分类模型的训练方法


[0001]本专利技术涉及健康大数据、迁移学习领域，具体来说，涉及一种用于识别人体行为的神经网络分类模型的训练方法。

技术介绍

[0002]由于传感器体积小、功耗低、携带方便、数据所需存储空间小等优点，其被广泛应用于行为识别领域中。以帕金森震颤识别为例，被试者可以使用生活中常见的智能手机或手环(或者任何带有加速计和陀螺仪的电子设备)收集自身的姿势性震颤和静止性震颤数据，随后根据震颤幅度来诊断被试者的患病程度，这将极大的节省被试者和医生的时间成本。
[0003]然而，传感器数据集普遍面临着标定数据少且数据集质量不高的问题。与图片、音频、文字等可以很方便在采集数据后再进行标注的数据形式不同，对于人类来说，传感器数据往往是难以直接理解的，这使得传感器数据在数据采集后存在标定困难，大量的数据是无标记的。自迁移学习进入大众视野以来，因其可以将从一个领域学习到的知识应用到另一个新的领域而广泛应用于数据标注缺乏的人体行为识别领域之中。具体来说，它将来自专业人士标注过的数据视作源域，而将未标注过的数据视作目标域，通过实例变换、特征提取、寻找子空间等方法来找到源域和目标域的相似性，从而将源域学习到的模型应用于目标域。在迁移学习中，相似性可以通过度量源域和目标域中联合概率分布差异来计算。随着深度学习的兴起，主流的迁移学习算法通过深度神经网络提取源域和目标域的特征，并通过域判别器计算源域和目标域之间的边缘分布差异，以及类判别器来计算不同类别之间的条件分布差异，进而使得联合概率分布差异尽量小从而提高目标域的模型识别精度。
[0004]与此同时，传感器数据的采集时间一般持续较长，在数据采集期间容易受到干扰。这种干扰可能由传感器佩戴位置发生移位产生，也可能传感器采集对象自身的状态发生了变化，进而使得一条初始数据在不同时间段的数据分布不同，产生了时序分布差异的现象。与随机分布且仅影响少数数据点的噪声不同，时序分布差异遵循某种随着时间变化的分布，其会影响一个时间段内大量的数据点。同时，由于时序分布差异产生的原因具有不可预知性，拟合其分布是不可行的，这使得时序分布差异普遍存在于传感器数据集中且难以消除。因此，在对传感器时序数据进行迁移学习时，基于现有的迁移学习方法均难以取得像在对图像数据集上进行迁移学习一样良好的效果。

技术实现思路

[0005]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种用于识别人体行为的神经网络分类模型的训练方法。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]根据本专利技术的第一方面，提供一种用于识别人体行为的神经网络分类模型的训练方法，所述模型包括用于从样本提取样本特征的特征提取器和根据样本特征对样本进行分
类的分类器，所述方法包括利用源域中的样本以及标签对模型进行训练以得到初始的模型，并在初始的模型的基础上按照以下方式进行一轮或者多轮迭代训练：S1、获取训练集，包括基于源域的样本生成的源域的样本对以及目标域的样本生成的目标域的样本对，其中任意样本对包括两个样本，每个样本为对人员采集的传感器数据，两个样本所对应的人员以及被采集时该人员的行为类别相同，但两个样本被采集的时间不同，该训练集中为源域的每个样本设有指示其被采集时对应人员的行为类别的标签；S2、利用训练集对当前的模型进行一次或者多次训练，每次训练时基于预定的损失函数更新该模型的参数，所述损失函数被配置为：惩罚源域的样本的分类偏差、惩罚源域和目标域的样本对应的样本特征间的边缘分布差异和条件分布差异以及惩罚源域和目标域的样本对中两个样本对应的时序分布差异，时序分布差异与分类器对样本对中两个样本分类的置信概率向量的相似度相关。
[0008]在本专利技术的一些实施例中，时序分布差异按照以下方式确定：利用分类器根据样本的样本特征获取该样本在每种类别的置信概率并拼接成该样本对应的置信概率向量；根据样本对中两个样本对应的置信概率向量计算相似度，并根据一次训练时采用的所有样本对中两个样本对应的相似度确定时序分布差异。
[0009]在本专利技术的一些实施例中，在一次训练时，时序分布差异计算方式如下：
[0010][0011]其中，m
s
表示进行一次训练时采用的源域的样本对总数，x
si
表示源域的第i个样本对，表示源域的第i个样本对x
si
中一个样本，表示源域的第i个样本对x
si
中另一个样本，sim(
·
)表示余弦相似度，C(
·
)表示分类器输出的针对每种类别的置信概率，F(
·
)表示特征提取器的输出，m
t
表示进行一次训练时采用的目标域的样本对总数，x
ti
表示目标域的第i个样本对，表示目标域的第i个样本对x
ti
中一个样本，表示目标域中第i个样本对x
ti
中另一个样本。
[0012]在本专利技术的一些实施例中，所述惩罚源域和目标域的样本对应的样本特征间的条件分布差异，包括：根据每次训练时采用的源域和目标域的所有样本的样本特征、源域中所有样本的标签和目标域中所有样本的伪标签，确定源域和目标域的所有样本之间的条件分布差异，其中，所述伪标签为利用当前的模型对目标域中的样本进行分类得到的分类结果。
[0013]在本专利技术的一些实施例中，在一次训练时，条件分布差异的计算方式如下：
[0014][0015]其中，G
c
表示进行一次训练时采用的源域和目标域的所有样本间的条件分布差异，K表示类别的总数量，k表示第k个类别，表示在希尔伯特空间下距离的平方，n
s
表
示进行一次训练时源域的样本总数，示进行一次训练时源域的样本总数，示进行一次训练时源域的样本总数，表示源域中第k个类别的权重，表示源域中属于第k个类别的样本总数，φ(
·
)表示一种特征映射方法，F(
·
)表示特征提取器的输出，表示源域的第i个样本，n
t
表示进行一次训练时目标域的样本总数，表示进行一次训练时目标域的样本总数，表示进行一次训练时目标域的样本总数，表示目标域中第k个类别的权重，表示目标域中属于第k个类别的样本总数，表示目标域的第i个样本的伪标签，表示目标域的第i个样本。
[0016]在本专利技术的一些实施例中，所述基于预定的损失函数更新该模型的参数包括：基于预定的损失函数计算得到的总损失更新该模型的参数，其中，在一次训练时，总损失的计算方式如下：
[0017][0018]其中，J(
·
)表示进行一次训练时源域的样本的分类偏差，C(
·
)表示分类器输出的针对每种类别的置信概率，F(
·
)表示特征提取器的输出，x
s
表示源域中的样本，y
s
表示源域的样本的标签，α表示边缘分布差异对应的权重数值，G
m
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于识别人体行为的神经网络分类模型的训练方法，其特征在于，所述模型包括用于从样本提取样本特征的特征提取器和根据样本特征对样本进行分类的分类器，所述方法包括利用源域中的样本以及标签对模型进行训练以得到初始的模型，并在初始的模型的基础上按照以下方式进行一轮或者多轮迭代训练：S1、获取训练集，包括基于源域的样本生成的源域的样本对以及目标域的样本生成的目标域的样本对，其中任意样本对包括两个样本，每个样本为对人员采集的传感器数据，两个样本所对应的人员以及被采集时该人员的行为类别相同，但两个样本被采集的时间不同，该训练集中为源域的每个样本设有指示其被采集时对应人员的行为类别的标签；S2、利用训练集对当前的模型进行一次或者多次训练，每次训练时基于预定的损失函数更新该模型的参数，所述损失函数被配置为：惩罚源域的样本的分类偏差、惩罚源域和目标域的样本对应的样本特征间的边缘分布差异和条件分布差异以及惩罚源域和目标域的样本对中两个样本对应的时序分布差异，时序分布差异与分类器对样本对中两个样本分类的置信概率向量的相似度相关。2.根据权利要求1所述的训练方法，其特征在于，时序分布差异按照以下方式确定：利用分类器根据样本的样本特征获取该样本在每种类别的置信概率并拼接成该样本对应的置信概率向量；根据样本对中两个样本对应的置信概率向量计算相似度，并根据一次训练时采用的所有样本对中两个样本对应的相似度确定时序分布差异。3.根据权利要求1或2所述的训练方法，其特征在于，在一次训练时，时序分布差异计算方式如下：其中，m
s
表示进行一次训练时采用的源域的样本对总数，x
si
表示源域的第i个样本对，表示源域的第i个样本对x
si
中一个样本，表示源域的第i个样本对x
si
中另一个样本，sim(
·
)表示余弦相似度，C(
·
)表示分类器输出的针对每种类别的置信概率，F(
·
)表示特征提取器的输出，m
t
表示进行一次训练时采用的目标域的样本对总数，x
ti
表示目标域的第i个样本对，表示目标域的第i个样本对x
ti
中一个样本，表示目标域中第i个样本对x
ti
中另一个样本。4.根据权利要求1所述的训练方法，其特征在于，所述惩罚源域和目标域的样本对应的样本特征间的条件分布差异，包括：根据每次训练时采用的源域和目标域的所有样本的样本特征、源域中所有样本的标签和目标域中所有样本的伪标签，确定源域和目标域的所有样本之间的条件分布差异，其中，所述伪标签为利用当前的模型对目标域中的样本进行分类得到的分类结果。5.根据权利要求4所述的训练方法，其特征在于，在一次训练时，条件分布差异的计算方式如下：
其中，G
c
表示进行一次训练时采用的源域和目标域的所有样本间的条件分布差异，K表示类别的总数量，k表示第k个类别，表示在希尔伯特空间下距离的平方，n
s
表示进行一次训练时源域的样本总数，次训练时源域的样本总数，次训练时源域的样本总数，表示源域中第k个类别的权重，表示源域中属于第k个类别的样本总数，φ(
·
)表示一种特征映射方法，F(
·
)表示特征提取器的输出，表示源域的第i个样本，n
t
表示进行一次训练时目标域的样本总数，表示进行一次训练时目标域的样本总数，表示进行一次训练时目标域的样本总数，表示目标域中第k个类别的权重，表示目标域中属于第k个类别的样本总数，表示目标域的第i个样本的伪标签，表示目...

【专利技术属性】
技术研发人员：陈益强，文世杰，谷洋，马媛，郭帅，秦欣，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：