一种用于半监督学习的神经网络模型以及半监督学习方法技术

本发明专利技术提供了一种半监督学习方法，该方法包括：利用有标签数据对神经网络模型进行初始训练；获得待标定的无标签数据的增强数据；利用初始训练好的神经网络模型标定待标定的无标签数据及其增强数据的伪标签；利用有标签数据以及待标定的伪标签数据重新训练神经网络模型；其中，用于半监督学习的神经网络模型包括：输入层，用于接收输入数据；第一隐藏层，用于提取输入数据的低层语义信息；语义层，用于基于低层语义信息确定输入数据的低层语义标签；第二隐藏层，用于基于输入数据及其低层语义标签提取输入数据的高层语义信息；以及输出层，用于基于输入数据的高层语义信息确定其高层语义标签，并作为最终标签输出。并作为最终标签输出。并作为最终标签输出。

【技术实现步骤摘要】
一种用于半监督学习的神经网络模型以及半监督学习方法


[0001]本专利技术涉及人工智能及深度学习领域，尤其涉及用于半监督学习的神经网络模型以及半监督学习方法。

技术介绍

[0002]随着可穿戴智能设备的广泛应用，对用户健康状况的监测更加方便快捷。通过运动传感器、生理传感器、位置传感器等感知装置可以准确获得与人体有关的各种感知数据。这些感知数据能够有效反映人们的例如物理行为、生理状态、睡眠、情绪等外在特征，也与其健康状况紧密相关。然而，现有的用于识别用户感知数据的神经网络模型往往需要大量的标定数据来进行监督学习，且模型的精度和可解释性均欠佳。
[0003]因此，亟需一种更高精度的用于半监督学习的神经网络模型以及相应的半监督学习方法。

技术实现思路

[0004]因此，本专利技术实施例的目的在于克服上述现有技术的缺陷，提供一种用于半监督学习的神经网络模型，包括：输入层，用于接收输入数据；第一隐藏层，用于提取所述输入数据的低层语义信息；语义层，用于基于所述低层语义信息确定所述输入数据的低层语义标签；第二隐藏层，用于基于所述输入数据及其低层语义标签提取所述输入数据的高层语义信息；以及输出层，用于基于所述输入数据的高层语义信息确定其高层语义标签，并作为最终标签输出。
[0005]在一个实施例中，所述语义层和所述输出层采用softmax激活函数，所述第一隐藏层和所述第二隐藏层采用sigmoid激活函数。
[0006]本专利技术另一方面提供了一种半监督学习方法，包括：利用有标签数据对权利要求1所述的神经网络模型进行初始训练；获得所述待标定的无标签数据的增强数据；利用初始训练好的所述神经网络模型标定所述待标定的无标签数据及其增强数据的伪标签；利用有标签数据以及待标定的伪标签数据重新训练所述神经网络模型。
[0007]在一个实施例中，上述方法还包括：计算所述待标定的无标签数据及其增强数据的伪标签的置信度；以及筛选置信度高于指定阈值的待标定的伪标签数据重新训练所述神经网络模型。
[0008]在一个实施例中，通过在所述待标定的无标签数据中加入高斯随机噪声获得所述待标定的无标签数据的增强数据
[0009]本专利技术另一方面提供了一种基于半监督学习标定无标签数据的方法，包括：获取有标签数据和待标定的无标签数据；通过上述学习方法训练权神经网络模型；以及利用训练好的神经网络模型标定所述待标定的无标签数据。
[0010]本专利技术另一方面提供了一种基于半监督学习标定无标签数据的系统，包括：接口模块，用于获取有标签书和待标定的无标签数据；训练模块，用于利用上述学习方法训练神
经网络模型；以及预测模块，用于利用训练好的所述神经网络模型标定所述待标定的无标签数据。
[0011]本专利技术另一方面提供了一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一项所述的方法。
[0012]本专利技术另一方面提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一项所述的方法。
[0013]本专利技术实施例的技术方案包括以下有益效果：
[0014]利用双层标签数据网络模型进行半监督学习，可以有效地利用感知数据的多层次信息，降低训练过程中造成的信息损失，并能够增强模型的可解释性；结合数据增强方法和一致性选择方法筛选出高可用性的未标定数据，可以使得模型可以充分利用数据的标签信息，在利用较少的标定数据和大量的未标定数据的情况下仍能够获得较好的识别精度。
[0015]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]在附图中：
[0018]图1示出了本专利技术一个实施例的一种半监督学习方法的流程图。
[0019]图2示出了本专利技术一个实施例的双层标签神经网络模型结构的示意图。
[0020]图3示出了本专利技术一个实施例的基于半监督学习标定无标签数据的方法的流程图。
[0021]图4示出了本专利技术一个实施例的基于半监督学习标定无标签数据的系统的结构示意图。
具体实施方式
[0022]为了使本专利技术的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动下获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。
[0024]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现
这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0025]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0026]在现实生活中，无标签的数据易于获取，而有标签的数据收集起来通常很困难。由于标注大量的无标签数据需要耗费巨大的人力物力，因此严重限制了有监督学习的应用和发展。半监督学习(Semi
‑
Supervised Learning)是有监督学习与无监督学习相结合的一种学习方法，它能够同时使用未标定的无标签数据和有标签数据来进行模式识别工作。由于半监督学习更适用于现实世界中的应用，近来已成为深度学习领域热门的新方向。然而，现有的半监督学习大多是从单一维度分析数据，无法有效利用数据的多层语义信息，因此学习模型的精度和可解释性均欠佳。
[0027]为此，本专利技术一个实施例提供了一种半监督学习方法，该方法采用了双层标签神经网络模型以学习数据多层语义信息，通过该模型并结合数据增强方法和一致性确定待标定的无标签数据(又称待标定数据或未标定数据，在本文中三者可以互换)的伪标签，并将待标定的伪标签数据(以下简称伪标签数据)与有标签数据(又称标定数据，在本文中两者可以互换)作为输入数据，共同训练双层标签神经网络模型，使得模型可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于半监督学习的神经网络模型，包括：输入层，用于接收输入数据；第一隐藏层，用于提取所述输入数据的低层语义信息；语义层，用于基于所述低层语义信息确定所述输入数据的低层语义标签；第二隐藏层，用于基于所述输入数据及其低层语义标签提取所述输入数据的高层语义信息；以及输出层，用于基于所述输入数据的高层语义信息确定其高层语义标签，并作为最终标签输出。2.根据权利要求1所述的神经网络模型，其中，所述语义层和所述输出层采用softmax激活函数，所述第一隐藏层和所述第二隐藏层采用sigmoid激活函数。3.一种半监督学习方法，包括：利用有标签数据对权利要求1所述的神经网络模型进行初始训练；获得所述待标定的无标签数据的增强数据；利用初始训练好的所述神经网络模型标定所述待标定的无标签数据及其增强数据的伪标签；利用有标签数据以及待标定的伪标签数据重新训练所述神经网络模型。4.根据权利要求3所述的学习方法，还包括：计算所述待标定的无标签数据及其增强数据的伪标签的置信度；以及筛选置信度高于指定阈值的待标定的伪标签数据...

【专利技术属性】
技术研发人员：谷洋，张胡喆晨，陈益强，王记伟，王永斌，张忠平，肖益珊，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：