模型训练方法、品牌词识别方法、装置及电子设备制造方法及图纸

本公开提供了一种模型训练方法、品牌词识别方法、装置及电子设备，涉及人工智能技术领域，尤其涉及自然语言处理技术领域。该方法包括：采用第一内容样本对第一知识增强语义表示模型进行训练得到第一品牌词识别模型；将第一品牌词识别模型作为知识蒸馏中的教师模型，将第二知识增强语义表示模型作为知识蒸馏中的学生模型，采用知识蒸馏的方法对第二知识增强语义表示模型进行训练，得到第二品牌词识别模型，第二品牌词识别模型的输出和第一品牌词识别模型的输出一致，第二知识增强语义表示模型的模型参数少于第一知识增强语义表示模型的模型参数。提高了品牌词识别的准确率。提高了品牌词识别的准确率。提高了品牌词识别的准确率。

【技术实现步骤摘要】
模型训练方法、品牌词识别方法、装置及电子设备


[0001]本公开涉及人工智能
中的自然语言处理技术，尤其涉及一种模型训练方法、品牌词识别方法、装置及电子设备。

技术介绍

[0002]内容投放者在互联网平台上投放内容时，往往会在内容中增加一些品牌词来达到引流的目的，然而有些情况下，内容投放者会在内容中增加未经授权的品牌词，这种行为是需要限制的侵权行为。为了降低侵权风险，平台需要在内容投放之前对其中的品牌词进行识别，以便于进一步审核是否侵权。
[0003]目前，相关技术中的品牌词识别方法通常是预先人工收集并整理品牌词，将收集的品牌词添加到品牌词库中,内容投放者提供待投放内容时，将待投放内容与品牌词库进行匹配，从而识别待投放内容中的品牌词。
[0004]然而，这种方法依赖于预先收集的品牌词库，准确率较低。

技术实现思路

[0005]本公开提供了一种提高了识别准确率的模型训练方法、品牌词识别方法、装置及电子设备。
[0006]根据本公开的一方面，提供了一种模型训练方法，所述方法包括：
[0007]采用第一内容样本对第一知识增强语义表示模型进行训练得到第一品牌词识别模型，所述第一品牌词识别模型的输出为所述第一内容样本中每个字的品牌词属性，所述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词；
[0008]将所述第一品牌词识别模型作为知识蒸馏中的教师模型，将第二知识增强语义表示模型作为知识蒸馏中的学生模型，采用知识蒸馏的方法对所述第二知识增强语义表示模型进行训练，得到第二品牌词识别模型，所述第二品牌词识别模型的输出和所述第一品牌词识别模型的输出一致，所述第二知识增强语义表示模型的模型参数少于所述第一知识增强语义表示模型的模型参数。
[0009]根据本公开的另一方面，提供了一种品牌词识别方法，所述方法包括：
[0010]将待识别内容输入品牌词识别模型，得到所述待识别内容中每个字的品牌词属性，所述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词，所述品牌词识别模型为采用权利要求1
‑
5中任一项所述的方法训练得到的品牌词识别模型；
[0011]根据所述待识别内容中每个字的品牌词属性确定所述待识别内容中的品牌词。
[0012]根据本公开的再一方面，提供了一种模型训练装置，所述装置包括：
[0013]第一训练模块，用于采用第一内容样本对第一知识增强语义表示模型进行训练得到第一品牌词识别模型，所述第一品牌词识别模型的输出为所述第一内容样本中每个字的品牌词属性，所述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词；
[0014]第二训练模块，用于将所述第一品牌词识别模型作为知识蒸馏中的教师模型，将
第二知识增强语义表示模型作为知识蒸馏中的学生模型，采用知识蒸馏的方法对所述第二知识增强语义表示模型进行训练，得到第二品牌词识别模型，所述第二品牌词识别模型的输出和所述第一品牌词识别模型的输出一致，所述第二知识增强语义表示模型的模型参数少于所述第一知识增强语义表示模型的模型参数。
[0015]根据本公开的再一方面，提供了一种品牌词识别装置，所述装置包括：
[0016]输入模块，用于将待识别内容输入品牌词识别模型，得到所述待识别内容中每个字的品牌词属性，所述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词，所述品牌词识别模型为采用第一方面中所述的方法训练得到的品牌词识别模型；
[0017]输出模块，用于根据所述待识别内容中每个字的品牌词属性确定所述待识别内容中的品牌词。
[0018]根据本公开的再一方面，提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与所述至少一个处理器通信连接的存储器；其中，
[0021]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面或第二方面所述的方法。
[0022]根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面或第二方面所述的方法。
[0023]根据本公开的又一方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
[0024]根据本公开的技术方案，提高了品牌词识别的准确率。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0027]图1是根据本公开实施例提供的模型训练方法的流程示意图；
[0028]图2是根据本公开实施例提供的知识蒸馏示意图；
[0029]图3是根据本公开实施例提供的第一损失函数示意图；
[0030]图4是根据本公开实施例提供的第二损失函数示意图；
[0031]图5是根据本公开实施例提供的品牌词识别方法的流程示意图；
[0032]图6是根据本公开实施例提供的品牌词识别模型的应用示意图；
[0033]图7是根据本公开实施例提供的模型训练装置的结构示意图；
[0034]图8是根据本公开实施例提供的品牌词识别装置的结构示意图；
[0035]图9是用来实现本公开实施例的模型训练方法的电子设备的示意性框图；
[0036]图10是用来实现本公开实施例的品牌词识别方法的电子设备的示意性框图。
具体实施方式
[0037]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0038]本公开提供一种模型训练方法、品牌词识别方法、装置及电子设备，应用于人工智能
的自然语言处理
，以达到提高品牌词的识别准确率的目的。
[0039]在互联网平台投放内容时，许多场景下需要对内容中的品牌词进行精准识别，例如在投放广告时，需要对广告中的品牌词进行识别，以避免广告存在侵权行为。目前，相关技术中的品牌词识别方法通常是预先人工收集并整理品牌词，将收集的品牌词添加到品牌词库中,内容投放者提供待投放内容时，将待投放内容与品牌词库进行匹配，从而识别待投放内容中的品牌词。然而，这种方法依赖于预先收集的品牌词库，准确率较低，对于新出现的品牌词无法进行识别，并且对于一些存在歧义的内容语句，也容易识别错误。...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，所述方法包括：采用第一内容样本对第一知识增强语义表示模型进行训练得到第一品牌词识别模型，所述第一品牌词识别模型的输出为所述第一内容样本中每个字的品牌词属性，所述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词；将所述第一品牌词识别模型作为知识蒸馏中的教师模型，将第二知识增强语义表示模型作为知识蒸馏中的学生模型，采用知识蒸馏的方法对所述第二知识增强语义表示模型进行训练，得到第二品牌词识别模型，所述第二品牌词识别模型的输出和所述第一品牌词识别模型的输出一致，所述第二知识增强语义表示模型的模型参数少于所述第一知识增强语义表示模型的模型参数。2.根据权利要求1所述的方法，其中，所述采用知识蒸馏的方法对所述第二知识增强语义表示模型进行训练，得到第二品牌词识别模型，包括：将内容样本分别输入至所述第一品牌词识别模型和所述第二知识增强语义表示模型，并根据所述第一品牌词识别模型和所述第二知识增强语义表示模型之间的损失函数，对所述第二知识增强语义表示模型的模型参数进行更新，得到所述第二品牌词识别模型。3.根据权利要求2所述的方法，其中，所述内容样本包括第二内容样本和第三内容样本，所述损失函数包括第一损失函数和第二损失函数；所述将内容样本分别输入至所述第一品牌词识别模型和所述第二知识增强语义表示模型，并根据所述第一品牌词识别模型和所述第二知识增强语义表示模型之间的损失函数，对所述第二知识增强语义表示模型的模型参数进行更新，得到所述第二品牌词识别模型，包括：将所述第二内容样本分别输入至所述第一品牌词识别模型和所述第二知识增强语义表示模型，根据所述第二知识增强语义表示模型的中间层的输出与所述第一品牌词识别模型的中间层的输出之间的所述第一损失函数，对所述第二知识增强语义表示模型的模型参数进行更新，得到初始品牌词识别模型；将所述第三内容样本分别输入至所述第一品牌词识别模型和所述初始品牌词识别模型，根据所述第一品牌词识别模型的输出、所述初始品牌词识别模型的输出以及第三内容样本的真实品牌标签的所述第二损失函数，对所述初始品牌词识别模型的模型参数进行更新，得到所述第二品牌词识别模型。4.根据权利要求3所述的方法，其中，所述第二知识增强语义表示模型的中间层的层数为M，所述第一品牌词识别模型的中间层的层数是n*M，M为大于或等于1的整数，n为大于1的整数；所述第一损失函数为所述第二知识增强语义表示模型的第m层中间层的输出，与所述第一品牌词识别模型的第n*m层中间层的输出之间的均方误差损失在m的取值遍历1至M之间的整数时的和。5.根据权利要求3所述的方法，其中，所述第二损失函数为所述第一品牌词识别模型的输出与所述初始品牌词识别模型的输出之间的交叉熵损失，以及所述初始品牌词识别模型的输出与所述第三内容样本的真实品牌标签之间的交叉熵损失的和。6.一种品牌词识别方法，所述方法包括：将待识别内容输入品牌词识别模型，得到所述待识别内容中每个字的品牌词属性，所
述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词，所述品牌词识别模型为采用权利要求1
‑
5中任一项所述的方法训练得到的品牌词识别模型；根据所述待识别内容中每个字的品牌词属性确定所述待识别内容中的品牌词。7.根据权利要求6所述的方法，其中，所述根据所述待识别内容中每个字的品牌词属性确定所述待识别内容中的品牌词，包括：按照所述待识别内容中每个字的顺序，将品牌词属性为品牌词起始字的字以及品牌词属性为品牌词中间或结尾字的字依次组合为所述待识别内容中的品牌词。8.一种模型训练装置，所述装置包括：第一训练模块，用于采用第一内容样本对第一知识增强语义表示模型进行训练得到第一品牌词识别模型，所述第一品牌词识别模型的输出为所述第一内容样本中每个字的品牌词属性，所述品牌词属性为品牌词起...

【专利技术属性】
技术研发人员：常晓静，徐明，叶敏，党金明，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：