变形词识别方法及装置制造方法及图纸

本发明专利技术提供一种变形词识别方法及装置，该方法包括：获取新增的语料库；从所述新增的语料库中识别至少一个新词；分别确定用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度；根据用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度，分别确定所述新词是否为所述实体词的变形词。本发明专利技术实现了自动发现可能的新的变形词，从而提升变形词识别的效率。

【技术实现步骤摘要】
变形词识别方法及装置
本专利技术涉及计算机技术，尤其涉及一种变形词识别方法及装置。
技术介绍
随着网络的发展，出现了越来越多的变形词。网络平台需要对输入的信息进行变形词识别，以防止由于部分用户使用恶意的变形词而造成的严重后果。现有技术中，首先可以通过统计和规则的方法识别出实体词的变形词，进而，再通过分类或者标注的方法识别出变形词所对应的实体词，以用于后续的变形词识别。但是，现有技术在识别变形词时，需要使用人工标注的语料，因此进行变形词识别的效率较低。
技术实现思路
本专利技术提供一种变形词识别方法及装置，用于解决现有技术中进行变形词识别效率较低的问题。本专利技术第一方面提供一种变形词识别方法，包括：获取新增的语料库；从所述新增的语料库中识别至少一个新词；分别确定用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度；根据用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度，分别确定所述新词是否为所述实体词的变形词。进一步地，所述根据用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度，分别确定所述新词是否为所述实体词的变形词，包括：对所述至少一个新词按照所述新本文档来自技高网...

【技术保护点】
一种变形词识别方法，其特征在于，包括：获取新增的语料库；从所述新增的语料库中识别至少一个新词；分别确定用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度；根据用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度，分别确定所述新词是否为所述实体词的变形词。

【技术特征摘要】
1.一种变形词识别方法，其特征在于，包括：获取新增的语料库；从所述新增的语料库中识别至少一个新词；分别确定用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度；根据用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度，分别确定所述新词是否为所述实体词的变形词。2.根据权利要求1所述的方法，其特征在于，所述根据用户输入的实体词与从所述新增的语料库中识别出的每个新词的相似度，分别确定所述新词是否为所述实体词的变形词，包括：对所述至少一个新词按照所述新词与所述实体词的相似度进行排序；根据所述至少一个新词的排序结果，确定所述新词是否为所述实体词的变形词。3.根据权利要求1或2所述的方法，其特征在于，还包括：将所述至少一个新词加入分词字典。4.根据权利要求3所述的方法，其特征在于，所述从新增的语料库中识别至少一个新词，包括：使用所述分词字典对所述新增的语料库进行分词；根据分词结果从所述新增的语料库中识别至少一个新词。5.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个新词的排序结果，确定所述新词是否为所述实体词的变形词，包括：若第一新词的排序与从所述新增的语料库中识别出的新词数量的比值小于预设阈值，则确定所述第一新词为所述实体词的变形词；其中，所述第一新词为从所述新增的语料库中识别出的至少一...

【专利技术属性】
技术研发人员：刘燕辉，
申请(专利权)人：北京五八信息技术有限公司，
类型：发明
国别省市：北京,11