本公开提供了一种语义表示模型的训练方法、装置、设备和存储介质，涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能领域。语义表示模型的训练方法包括：基于句子获得锚样本，以及，基于所述句子的句法信息，获得正样本和负样本；采用语义表示模型分别对所述锚样本、所述正样本和所述负样本进行处理，以获得锚样本语义表示、正样本语义表示和负样本语义表示；基于所述锚样本语义表示、所述正样本语义表示和所述负样本语义表示，构建对比损失函数；基于所述对比损失函数，训练所述语义表示模型。本公开可以在不修改模型结构的基础上，使得句子的语义表示包含句法信息。使得句子的语义表示包含句法信息。使得句子的语义表示包含句法信息。
【技术实现步骤摘要】
语义表示模型的训练方法、装置、设备和存储介质
[0001]本公开涉及计算机
，具体涉及自然语言处理、深度学习等人工智能领域，尤其涉及一种语义表示模型的训练方法、装置、设备和存储介质。
技术介绍
[0002]自然语言处理时，可以采用语义表示模型将句子转换为对应的语义表示，以便后续处理。句子的句法结构不同，会引起语义的很大不同。
[0003]相关技术中，可以修改语义表示模型的结构，引入句法信息，对语义表示模型进行训练。
技术实现思路
[0004]本公开提供了一种语义表示模型的训练方法、装置、设备和存储介质。
[0005]根据本公开的一方面，提供了一种语义表示模型的训练方法，包括：基于句子获得锚样本，以及，基于所述句子的句法信息，获得正样本和负样本；采用语义表示模型分别对所述锚样本、所述正样本和所述负样本进行处理，以获得锚样本语义表示、正样本语义表示和负样本语义表示；基于所述锚样本语义表示、所述正样本语义表示和所述负样本语义表示，构建对比损失函数；基于所述对比损失函数，训练所述语义表示模型。
[0006]根据本公开的另一方面，提供了一种语义表示模型的训练装置，包括：获取模块，用于基于句子获得锚样本，以及，基于所述句子的句法信息，获得正样本和负样本；编码模块，用于采用语义表示模型分别对所述锚样本、所述正样本和所述负样本进行处理，以获得锚样本语义表示、正样本语义表示和负样本语义表示；构建模块，用于基于所述锚样本语义表示、所述正样本语义表示和所述负样本语义表示，构建对比损失函数；训练模块，用于基于所述对比损失函数，训练所述语义表示模型。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
[0010]根据本公开的技术方案，可以在不修改模型结构的基础上，使得句子的语义表示包含句法信息。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开第一实施例的示意图；
[0014]图2是根据本公开第二实施例的示意图；
[0015]图3是根据本公开第三实施例的示意图；
[0016]图4是根据本公开第四实施例的示意图；
[0017]图5是根据本公开第五实施例的示意图；
[0018]图6是用来实现本公开实施例的语义表示模型的训练方法中任一方法的电子设备的示意图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]句子的句法信息不同时，可以对应不同的语义。比如，“Q1：奶奶去世孙子有继承权么”，“Q2:孙子去世奶奶有继承权么”，上面两个句子虽然字面相近，但表达的语义却完全不同。
[0021]相关技术中，可以通过修改语义表示模型的结构使得语义表示包含句法信息，但是，这种修改模型结构的方式，不利于下游任务的使用，并且准确度方面也存在问题。
[0022]图1是根据本公开第一实施例的示意图，本实施例提供一种语义表示模型的训练方法，包括：
[0023]101、基于句子获得锚样本，以及，基于所述句子的句法信息，获得正样本和负样本。
[0024]102、采用语义表示模型分别对所述锚样本、所述正样本和所述负样本进行处理，以获得锚样本语义表示、正样本语义表示和负样本语义表示。
[0025]103、基于所述锚样本语义表示、所述正样本语义表示和所述负样本语义表示，构建对比损失函数。
[0026]104、基于所述对比损失函数，训练所述语义表示模型。
[0027]其中，可以预先收集句子作为样本，之后基于句子训练语义表示模型。
[0028]获取句子后，可以对句子进行依存句法分析，以获得所述句子的句法信息。
[0029]依存句法分析是自然语言处理核心技术之一，旨在通过分析句子中词语之间的依存关系来确定句子的句法信息。
[0030]以句子“百度是一家高科技公司”为例，对该句子进行依存句法分析后，获得的句法信息如图2所示。句法信息中可以包括句子中各词语之间的关系，不同的关系可以用不同的符号进行标注，图2中各词语之间的关系标注含义为：
[0031]HED：核心关系，指整个句子的核心；
[0032]SBV：主谓关系，指主语与谓词之间的关系；
[0033]VOB：动宾关系，指宾语与谓词之间的关系；
[0034]ATT：定中关系，指定语与中心词之间的关系。
[0035]通过对句子进行依存句法分析，可以方便快捷地获取句子的句法信息。
[0036]获得句子的句法信息后，可以基于句法信息，构建句法树，基于图2所示的示例，构建的句法树可以如图3所示。
[0037]获得句法树后，可以将所述句法树包含的子树对应的文本作为正样本，基于所述子树中的词语获取另一文本，该另一文本包含所述词语，且所述另一文本不对应所述句法树中的子树，将所述另一文本作为负样本。为了区分，作为正样本的文本可以称为第一文本，作为负样本的文本可以称为第二文本。
[0038]比如，如图3所示，“一家”“高科技”“公司”这三个词语(token)可以组成句法树中的一个子树，则可以将该子树对应的文本“一家高科技公司”作为一个正样本。
[0039]通过基于句法树的子树获得正样本和负样本，可以提高正负样本的准确度。
[0040]获得正样本对应的子树后，可以基于所述子树中的词语获取负样本。
[0041]为了提高语义表示模型的训练效果，一般来讲，正样本和负样本可以包含相同个数的词语。即，可以基于所述子树中的词语，在所述句子中选择词语连续，且词语个数与所述正样本包括的词语的个数相同的文本，作为第二文本。
[0042]以“一家”“高科技”“公司”这三个词语组成的子树为例，可以基于其中的词语“高科技”获取负样本，比如，文本“是一家高科本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种语义表示模型的训练方法，包括：基于句子获得锚样本，以及，基于所述句子的句法信息，获得正样本和负样本；采用语义表示模型分别对所述锚样本、所述正样本和所述负样本进行处理，以获得锚样本语义表示、正样本语义表示和负样本语义表示；基于所述锚样本语义表示、所述正样本语义表示和所述负样本语义表示，构建对比损失函数；基于所述对比损失函数，训练所述语义表示模型。2.根据权利要求1所述的方法，其中，还包括：对所述句子进行依存句法分析，以获得所述句子的句法信息。3.根据权利要求1所述的方法，其中，所述基于所述句子的句法信息，获得正样本和负样本，包括：基于所述句子的句法信息，构造句法树；获取所述句法树包含的子树对应的第一文本，将所述第一文本作为正样本；基于所述子树中的词语，获取第二文本，所述第二文本包含所述词语且与所述子树对应的文本不同，将所述第二文本作为负样本。4.根据权利要求3所述的方法，其中，所述基于所述子树中的词语，获取第二文本，包括：基于所述子树中的词语，在所述句子中选择词语连续，且词语个数与所述正样本包括的词语的个数相同的文本，作为第二文本。5.根据权利要求1
‑
4任一项所述的方法，其中，所述基于句子获得锚样本，包括：将所述句子作为锚样本；或者，将所述句子对应的句法树包含的子树中的词语，作为锚样本。6.一种语义表示模型的训练装置，包括：获取模块，用于基于句子获得锚样本，以及，基于所述句子的句法信息，获得正样本和负样本；编码模块，用于采用语义表示模型分别对所述锚样本、所述正样本和所述负样本进行处理，以获得锚样本语义表示、正样本语义表示和负样本语义表示；构建模块，用于基于所述锚样本语义表示、所述正样本...
【专利技术属性】
技术研发人员：张帅，王丽杰，肖欣延，常月，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。