一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，该方法包括在本地词库中获取待处理的第一实体词，本地词库中包括第一实体词和第一实体词对应的上下文信息，在第三方词库中，确定出与第一实体词的词向量距离满足设定条件的第一泛化词，将第一实体词对应的上下文信息，确定为第一泛化词对应的上下文信息。通过在第三方词库中，根据词向量距离，寻找与已泛化好的第一实体词近似的需要问答泛化的词，将该已泛化好的第一实体词的上下文信息作为该需要问答泛化的词的上下文信息，就可以完成对该需要问答泛化的词的泛化。由于没有人工干涉，极大的提高了问答泛化的效率，从而提高的语言模型识别的准确率。

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术实施例涉及机器学习
，尤其涉及一种数据处理方法及装置。
技术介绍
语音交互在逐渐成为新的交互方式，智能语音技术包括语音识别、自然语言理解等环节。基于深度学习的自然语音理解模型的基础是大规模的高质量语料数据。智能设备和人交互的过程中，要理解用户的意图，首先要对用户问答能够识别，其次才能对问答进行理解。而对问答进行理解的前提是需要对大规模的高质量语料数据进行学习。目前主要是通过人工和机器结合生产的手段来获取大量优质文本数据作为语料，但是这是一种耗时耗力成本极高的过程，效率比较低。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，用以提高对用户问答泛化的效率。本专利技术实施例提供的一种数据处理方法，包括：在本地词库中获取待处理的第一实体词，所述本地词库中包括所述第一实体词和所述第一实体词对应的上下文信息；在第三方词库中，确定出与所述第一实体词的词向量距离满足设定条件的第一泛化词；将所述第一实体词对应的上下文信息，确定为所述第一泛化词对应的上下文信息。上述技术方案中，通过在第三方词库中，根据词向量距离，寻找与已泛化好的第一实体词近似的需要问答泛化本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，该方法包括：在本地词库中获取待处理的第一实体词，所述本地词库中包括所述第一实体词和所述第一实体词对应的上下文信息；在第三方词库中，确定出与所述第一实体词的词向量距离满足设定条件的第一泛化词；将所述第一实体词对应的上下文信息，确定为所述第一泛化词对应的上下文信息。

【技术特征摘要】
1.一种数据处理方法，其特征在于，该方法包括：在本地词库中获取待处理的第一实体词，所述本地词库中包括所述第一实体词和所述第一实体词对应的上下文信息；在第三方词库中，确定出与所述第一实体词的词向量距离满足设定条件的第一泛化词；将所述第一实体词对应的上下文信息，确定为所述第一泛化词对应的上下文信息。2.如权利要求1所述的方法，其特征在于，在第三方词库中，确定出与所述第一实体词的词向量距离满足设定条件的第一泛化词，包括：在所述第三方词库中，选择与所述第一实体词的词向量距离最近的词，确定为满足所述设定条件的第一泛化词；或者在所述第三方词库中，选择与所述第一实体词的词向量距离满足设定阈值的词，确定为满足所述设定条件的第一泛化词。3.如权利要求1所述的方法，其特征在于，在将所述第一实体词对应的上下文信息，确定为所述第一泛化词对应的上下文信息之后，还包括：将所述第一泛化词以及所述第一泛化词对应的上下文信息存储至所述本地词库。4.根据权利要求1所述的方法，其特征在于，在将所述第一实体词对应的上下文信息，确定为所述第一泛化词对应的上下文信息之后，还包括：将所述第一实体词和所述第一泛化词建立映射关系。5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：将包括所述第一泛化词以及所述第一泛化词对应的上下文信息的数据，确定为训练数据；基于所述训练数据，对自动语音识别ASR模型和/或自然语言理解NLU模型进行训练。6.一种数...

【专利技术属性】
技术研发人员：李宝祥，钟贵平，李家魁，
申请(专利权)人：北京猎户星空科技有限公司，
类型：发明
国别省市：北京,11