词嵌入方法、装置与电子设备制造方法及图纸

本公开提供一种词嵌入方法，包括：通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。本公开提供的词嵌入方法可以有效减少模型的可调整参数数量，增加模型深度，提高模型泛化能力。

【技术实现步骤摘要】
词嵌入方法、装置与电子设备
本公开涉及机器学习
，具体而言，涉及一种基于生成器-判决器模型的词嵌入方法。
技术介绍
随着互联网技术的飞速发展，以互联网为载体的电商业务出现了爆发式的增长，产生了海量实时数据。这些数据中包含极具价值的用户信息，例如用户日志记录的用户行为数据，有助于分析获取用户行为偏好。大规模互联网系统产生的原始数据具有结构和非结构混合、高维稀疏、数据量大等特点，为了更好地分析用户的行为偏好进而预测用户行为，业内使用词嵌入(W2V，WordtoVec)技术构建文本数据中词与词之间相互关系、提取数据的通用特征，学习这些通用特征的低阶、高阶相互作用，完成对用户行为的分析或预测。FNN(FactorizationMachinesupportedNeuralNetwork，因子分解机神经网络)模型是一种常用的词嵌入模型。FNN模型可以将异构数据分为不同的域，并用FM(FactorizationMachine，因子分解机)算法将域内数据映射到一个共同的低维实向量空间，再使用多层感知机模型进行分析预测。但是，多层感知机模型的第一层参数对模型最终分析预测能力的影响较小，极大降低了预训练对FNN模型性能提升的影响；此外，多层感知机模型为全连接神经网络，模型可调整参数数量巨大，训练过程复杂，训练时容易出现过拟合问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种基于生成器-判决器模型的词嵌入方法，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的词嵌入模型参数量大、容易产生过拟合等问题。根据本公开实施例的第一方面，提供一种词嵌入方法，包括：通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。在本公开的一种示例性实施例中，所述分类结果为对预设目标变量的预测结果。在本公开的一种示例性实施例中，所述生成器包括串联的多个生成器子模块，每个所述生成器子模块包括N1个反卷积层和N2个上采样层，所述多个生成器子模块的特征通道数相同。在本公开的一种示例性实施例中，所述生成器子模块将前一个生成器子模块输出的特征张量通道数减半并进行空间放大。在本公开的一种示例性实施例中，所述判决器包括串联的多个判决器子模块和多个全连接层，每个所述判决器子模块包括N3个卷积层和N4个下采样层，所述多个判决器子模块的特征通道数相同。在本公开的一种示例性实施例中，所述判决器子模块的将前一个判决器子模块输出的特征张量通道数加倍并进行空间缩小，所述全连接层接收最后一个所述判决器子模块输出的展平为向量的特征张量。在本公开的一种示例性实施例中，所述生成器和所述判决器的激活函数均为线性整流函数，所述预设神经网络的最后一层网络的激活函数为双曲函数。在本公开的一种示例性实施例中，所述预设神经网络的损失函数为二分类交叉熵损失函数。在本公开的一种示例性实施例中，所述预设神经网络通过误差反向传播算法训练。根据本公开实施例的第二方面，提供一种词嵌入装置，包括：数据接收模块，设置为通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；特征提取模块，设置为通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；分类输出模块，设置为通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。根据本公开的第三方面，提供一种词嵌入装置，包括：存储器；以及耦合到所属存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的词嵌入方法。本公开实施例提供的词嵌入方法通过使用基于反卷积网络-卷积网络的生成器-判决器模型对词向量进行特征提取、分类预测，可以有效减少词嵌入模型的可调参数，进而减少模型的过拟合现象。应当理解的是，以上的一般描述和后文细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本公开示例性实施例中词嵌入方法的流程图。图2是本公开示例性实施例中神经网络的示意图。图3是本公开示例性实施例中生成器的示意图。图4是本公开示例性实施例中判决器的示意图。图5是本公开一个示例性实施例中一种词嵌入装置的方框图。图6是本公开一个示例性实施例中一种电子设备的方框图。图7是本公开一个示例性实施例中一种计算机可读存储介质的示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。下面结合附图对本公开示例实施方式进行详细说明。图1是本公开示例性实施例中词嵌入方法的流程图。参考图1，词嵌入方法100可以包括：步骤S102，通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；步骤S104，通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；步骤S106，通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。针对FNN模型处理高维稀疏异构数据的缺陷，本公开提出了一种基于生成器-判决器网络结构的词嵌入方法，通过基于反卷积神经网络形成的生成器将高维稀疏特征转化为稠密实张量，并通过基于卷积神本文档来自技高网...

【技术保护点】
1.一种词嵌入方法，其特征在于，包括：/n通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；/n通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；/n通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。/n

【技术特征摘要】
1.一种词嵌入方法，其特征在于，包括：
通过预设神经网络接收词向量数据，所述预设神经网络包括生成器和判决器；
通过所述生成器对所述词向量数据提取特征张量，所述生成器基于反卷积网络形成；
通过所述判决器对所述特征张量进行分类以输出分类结果，所述判决器基于卷积网络形成。


2.如权利要求1所述的词嵌入方法，其特征在于，所述分类结果为对预设目标变量的预测结果。


3.如权利要求1所述的词嵌入方法，其特征在于，所述生成器包括串联的多个生成器子模块，每个所述生成器子模块包括N1个反卷积层和N2个上采样层，所述多个生成器子模块的特征通道数相同。


4.如权利要求3所述的词嵌入方法，其特征在于，所述生成器子模块将前一个生成器子模块输出的特征张量通道数减半并进行空间放大。


5.如权利要求1所述的词嵌入方法，其特征在于，所述判决器包括串联的多个判决器子模块和多个全连接层，每个所述判决器子模块包括N3个卷积层和N4个下采样层，所述多个判决器子模块的特征通道数相同。


6.如权利要求5所述的词嵌入方法，其特征在于，所述判决器子模块的将前一个判决器子模块输出的特征张量通道数加倍并进行空间缩小，所述全连接层接收最后一个所述判决器子模块...

【专利技术属性】
技术研发人员：吕乐，程建波，彭南博，史英迪，范敏，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：北京;11