一种电商实体识别模型的构建方法、构建装置、设备和介质制造方法及图纸

本发明专利技术公开了一种电商实体识别模型的构建方法、构建装置、设备和介质，所述方法包括：获取电商实体的标注样本集；其中，所述标注样本集中的标注样本，是将文本中电商实体所对应的字符进行标注得到的；针对每一标注样本，将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征；以及，将该标注样本输入至训练好的语言模型，得到该标注样本对应的第二样本特征；将所述第一样本特征和所述第二样本特征的合并结果输入至待训练的实体识别模型，以所述第一样本特征对应的标注样本中标注的电商实体作为所述待训练的实体识别模型的输出，对所述待训练的实体识别模型进行训练，得到训练好的实体识别模型。

An e-commerce entity identification model construction method, construction device, equipment and media

The invention discloses a construction method, construction device, equipment and medium of e-commerce entity recognition model, the method includes: obtaining the annotation sample set of e-commerce entity; wherein, the annotation sample in the annotation sample set is obtained by labeling the characters corresponding to the e-commerce entity in the text; for each annotation sample, transforming the characters and words in the annotation sample As a vector, the first sample feature corresponding to the annotation sample is obtained; and, the annotation sample is input to the trained language model, and the second sample feature corresponding to the annotation sample is obtained; the combination result of the first sample feature and the second sample feature is input to the entity recognition model to be trained, and the first sample feature is labeled in the annotation sample corresponding to the first sample feature As the output of the entity recognition model to be trained, the e-commerce entity trains the entity recognition model to be trained and gets the trained entity recognition model.

【技术实现步骤摘要】
一种电商实体识别模型的构建方法、构建装置、设备和介质
本申请涉及自然语言处理领域，尤其涉及一种电商实体识别模型的构建方法、构建装置、设备和介质。
技术介绍
自然语言处理领域是人工智能以及语言学领域的分支学科，主要是探讨计算机对于自然语言的理解和运用。自然语言处理技术已经逐步深入到生活和生产各个方面，并带了非常大的工作效率上的提升，因此，许多商家通过自然语言处理的方法在大量的互联网数据中获取电商实体，进而根据获取到的电商实体推送广告。在获取电商实体的过程中需通过标注样本对实体识别模型进行训练。但是，上述这种训练方式中，标注样本是通过人工的方式进行标注的，由于被标注的样本比较复杂，且在标注样本时投入的人工成本和时间成本较高，得到的标注样本较少，进而通过标注样本训练好的实体识别模型在测试时得到的结果并不足够准确。
技术实现思路
有鉴于此，本申请的目的在于提供了一种电商实体识别模型的构建方法、构建装置、设备和介质，以解决现有技术中如何提高从待测试文本中获取电商实体的准确度问题。第一方面，本申请实施例提供了一种电商实体识别模型的构建方法，包括：获取电商实体的标注样本集；其中，所述标注样本集中的标注样本，是将文本中电商实体所对应的字符进行标注得到的；针对每一标注样本，将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征；以及，将该标注样本输入至训练好的语言模型，得到该标注样本对应的第二样本特征；将所述第一样本特征和所述第二样本特征的合并结果输入至待训练的实体识别模型，以所述第一样本特征对应的标注样本中标注的电商实体作为所述待训练的实体识别模型的输出，对所述待训练的实体识别模型进行训练，得到训练好的实体识别模型。可选的，所述将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征，包括：将所述标注样本输入至训练好的字符级模型，得到所述标注样本的字符特征；以及，将所述标注样本输入至训练好的词级模型，得到所述标注样本的词特征；将所述标注样本的字符特征和词特征进行合并，得到所述第一样本特征。可选的，构建训练好的语言模型包括如下步骤：获取网络语料训练样本集；其中，所述网络语料训练样本集中包含有多个训练样本；针对每一个训练样本，将仅添加有开始标识的训练样本输入至待训练的语言模型，将仅添加有结束标识的训练样本作为所述待训练样本的输出，对所述语言模型进行训练，以得到所述训练好的语言模型。可选的，所述网络语料训练样本集包括：网络中向用户展示的文章；网络社交平台中用户所发布的内容。可选的，所述构建方法还包括：获取待测试样本；将所述待测试样本中的字符和词转化为向量，得到所述待测样本对应的第一样本特征；以及，将所述待测试样本输入至所述训练好的语言模型，得到所述待测样本对应的第二样本特征；将所述待测试样本对应的第一样本特征和第二样本特征的合并结果输入至所述训练好的实体识别模型，得到所述待测样本中的电商实体。第二方面，本申请实施例提供了一种电商实体识别模型的构建装置，包括：获取模块，用于获取电商实体的标注样本集；其中，所述标注样本集中的标注样本，是将文本中电商实体所对应的字符进行标注得到的；特征提取模块，用于针对每一标注样本，将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征；以及，将该标注样本输入至训练好的语言模型，得到该标注样本对应的第二样本特征；训练模块，用于将所述第一样本特征和所述第二样本特征的合并结果输入至待训练的实体识别模型，以所述第一样本特征对应的标注样本中标注的电商实体作为所述待训练的实体识别模型的输出，对所述待训练的实体识别模型进行训练，得到训练好的实体识别模型。可选的，所述特征提取模块，在将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征时，包括：将所述标注样本输入至训练好的字符级模型，得到所述标注样本的字符特征；以及，将所述标注样本输入至训练好的词级模型，得到所述标注样本的词特征；将所述标注样本的字符特征和词特征进行合并，得到所述第一样本特征。可选的，所述构建装置还包括：语言模型训练模块；所述语言模型训练模块，用于获取网络语料训练样本集；其中，所述网络语料训练样本集中包含有多个训练样本；针对每一个训练样本，将仅添加有开始标识的训练样本输入至待训练的语言模型，将仅添加有结束标识的训练样本作为所述待训练样本的输出，对所述语言模型进行训练，以得到所述训练好的语言模型。第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。本申请实施例提供的一种电商实体识别模型的构建方法，首先，获取电商实体的标注样本集；其中，所述标注样本集中的标注样本，是将文本中电商实体所对应的字符进行标注得到的；然后，针对每一标注样本，将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征；以及，将该标注样本输入至训练好的语言模型，得到该标注样本对应的第二样本特征；最后，将所述第一样本特征和所述第二样本特征的合并结果输入至待训练的实体识别模型，以所述第一样本特征对应的标注样本中标注的电商实体作为所述待训练的实体识别模型的输出，对所述待训练的实体识别模型进行训练，得到训练好的实体识别模型。在上述方法中，在构建实体识别模型的过程中，通过训练好的语言模型对每个标注样本获取第二样本特征，提取了标注样本中每个字符与上下文字符之间的关系，在增加了第二样本特征后，通过第一样本特征和第二样本特征对待训练的实体识别模型进行训练，得到的训练好的实体识别模型可以识别出上下文关系较近的字符，进而，可以将通过第一样本特征识别不出来的电商实体识别出来，减少了电商实体被漏识别的情况。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的一种电商实体识别模型的构建方法的流程示意图；图2为本申请实施例提供的一种语言模型的构建方法的流程示意图；图3为本申请实施例提供的一种获取电商实体的方法的流程示意图；图4为本申请实施例提供的一种电商实体识别模型的构建装置的结构示意图；图5为本申请实施例提供的一种计算机设备500的结构示意图。...

【技术保护点】
1.一种电商实体识别模型的构建方法，其特征在于，包括：/n获取电商实体的标注样本集；其中，所述标注样本集中的标注样本，是将文本中电商实体所对应的字符进行标注得到的；/n针对每一标注样本，将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征；以及，将该标注样本输入至训练好的语言模型，得到该标注样本对应的第二样本特征；/n将所述第一样本特征和所述第二样本特征的合并结果输入至待训练的实体识别模型，以所述第一样本特征对应的标注样本中标注的电商实体作为所述待训练的实体识别模型的输出，对所述待训练的实体识别模型进行训练，得到训练好的实体识别模型。/n

【技术特征摘要】
1.一种电商实体识别模型的构建方法，其特征在于，包括：
获取电商实体的标注样本集；其中，所述标注样本集中的标注样本，是将文本中电商实体所对应的字符进行标注得到的；
针对每一标注样本，将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征；以及，将该标注样本输入至训练好的语言模型，得到该标注样本对应的第二样本特征；
将所述第一样本特征和所述第二样本特征的合并结果输入至待训练的实体识别模型，以所述第一样本特征对应的标注样本中标注的电商实体作为所述待训练的实体识别模型的输出，对所述待训练的实体识别模型进行训练，得到训练好的实体识别模型。


2.如权利要求1所述的构建方法，其特征在于，所述将该标注样本中的字符和词转化为向量，得到该标注样本对应的第一样本特征，包括：
将所述标注样本输入至训练好的字符级模型，得到所述标注样本的字符特征；以及，
将所述标注样本输入至训练好的词级模型，得到所述标注样本的词特征；
将所述标注样本的字符特征和词特征进行合并，得到所述第一样本特征。


3.如权利要求1所述的构建方法，其特征在于，构建训练好的语言模型包括如下步骤：
获取网络语料训练样本集；其中，所述网络语料训练样本集中包含有多个训练样本；
针对每一个训练样本，将仅添加有开始标识的训练样本输入至待训练的语言模型，将仅添加有结束标识的训练样本作为所述待训练语言模型的输出，对所述语言模型进行训练，以得到所述训练好的语言模型。


4.如权利要求3所述的构建方法，其特征在于，所述网络语料训练样本集包括：
网络中向用户展示的文章；
网络社交平台中用户所发布的内容。


5.如权利要求1所述的构建方法，其特征在于，所述构建方法还包括：
获取待测试样本；
将所述待测试样本中的字符和词转化为向量，得到所述待测试样本对应的第一样本特征；以及，将所述待测试样本输入至所述训练好的语言模型，得到所述待测样本对应的第二样本特征；
将所述待测试样本对应的第一样本特征和第二样本特征的合并结果输入至所述训练好的实...

【专利技术属性】
技术研发人员：王千，梁新敏，陈曦，
申请(专利权)人：秒针信息技术有限公司，
类型：发明
国别省市：北京;11