【技术实现步骤摘要】
本公开的实施例总体涉及文本处理领域,具体涉及用于生成词语的方法、装置、设备、介质和程序产品。
技术介绍
1、目前,机器学习行业的发展变得越来越快速。越来越多的不同类型的机器学习模型也应运而生,并被广泛应用于不同的行业、不同的领域当中。例如,视觉相关的模型可以被应用于视觉检测领域、智能驾驶领域等,语言相关的模型可以被应用于文本处理领域、知识问答领域等,还有将各类不同侧重点的模型进行综合整合而形成的多模态机器学习模型,可以被用于更为复杂的、串联多个不同领域的作业当中。
2、随着机器学习产业的加速发展,与机器学习相关的新技术层出不穷,机器学习模型的应用场景也变得越来越多。尤其在文本处理领域,机器学习模型的应用也变得越来越广泛。在处理数据时,如何更加高效地应用机器学习模型也有越来越多的讨论。对于大量的数据,在处理的时候应用机器学习模型也会遇到不小的挑战。因此,在面对海量的数据时,如何灵活地、高效地使用机器学习模型来处理相关的文本处理任务成为了当下热门的研究话题。
技术实现思路
1、本公
...【技术保护点】
1.一种用于生成词语的方法,包括:
2.根据权利要求1所述的方法,其中确定要加入词库的候选词语包括:
3. 根据权利要求2所述的方法,其中获取针对所述实体的相关上下文包括:
4. 根据权利要求3所述的方法,其中获取针对所述实体的相关上下文还包括
5.根据权利要求2所述的方法,其中基于所述多个文档和所述相关上下文,确定要加入词库的候选词语包括:
6.根据权利要求1所述的方法,其中确定针对所述候选词语的多个候选文本包括:
7.根据权利要求1所述的方法,其中确定针对所述候选词语的左信息熵和右信息熵包括:
8.根...
【技术特征摘要】
1.一种用于生成词语的方法,包括:
2.根据权利要求1所述的方法,其中确定要加入词库的候选词语包括:
3. 根据权利要求2所述的方法,其中获取针对所述实体的相关上下文包括:
4. 根据权利要求3所述的方法,其中获取针对所述实体的相关上下文还包括
5.根据权利要求2所述的方法,其中基于所述多个文档和所述相关上下文,确定要加入词库的候选词语包括:
6.根据权利要求1所述的方法,其中确定针对所述候选词语的多个候选文本包括:
7.根据权利要求1所述的方法,其中确定针对所述候选词语的左信息熵和右信息熵包括:
8.根据权利要求1所述的方法...
【专利技术属性】
技术研发人员:王浩,
申请(专利权)人:北京火山引擎科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。