【技术实现步骤摘要】
一种构造ASR/NLU引擎交叉优化数据闭环的方法及装置
本专利技术涉及数据闭环
，特别涉及一种构造ASR/NLU引擎交叉优化数据闭环的方法及装置。
技术介绍
在语音交互场景下，用户使用体验是否良好不容易感知。一般采用以下两种方法确定用户体验是否良好：一是客户端反馈，包括：ASR引擎语音识别不准确、服务响应慢或服务不可用，NLU引擎语义理解意图不准确、服务响应慢、服务不可用等；二是一般测试人员会定时提交固定测试集测试，尝试发现引擎问题，但是在采用以上两种方法进行确定的过程中，因为引擎异常问题发现的主动性能差，需要在用户反馈后才能启动问题排查，从而导致用户的体验效果差。
技术实现思路
本专利技术提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，用以通过对异常日志进行复原、及引擎交叉验证，自动进行引擎问题分类、异常测试集构建，形成ASR/NLU引擎优化的数据闭环，提高发现引擎异常问题的主动性，优化用户的体验效果。本专利技术实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，包括：
【技术保护点】
1.一种构造ASR/NLU引擎交叉优化数据闭环的方法，其特征在于，包括：/n步骤S1：基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；/n步骤S2：发送所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；/n步骤S3：将所述步骤S2中所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所述步骤S2中所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类...
【技术特征摘要】 【专利技术属性】
1.一种构造ASR/NLU引擎交叉优化数据闭环的方法，其特征在于，包括：
步骤S1：基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；
步骤S2：发送所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；
步骤S3：将所述步骤S2中所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所述步骤S2中所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；
步骤S4：根据所述步骤S3所获得的引擎问题分类结果，推送相关的异常用户交互类别到对应的设备终端进行显示，同时根据所述异常用户交互类别构建相应的异常测试集。
2.如权利要求1所述的方法，其特征在于，所述步骤S1中，所述预先存储的日志数据库中的日志数据的获取步骤包括：
步骤S11：实时采集所述用户语音交互中所产生的语音日志、文本日志和意图日志；
步骤S12：构建所采集的所述语音日志、文本日志和意图日志之间的关联性；
步骤S13：将所述步骤S11中所采集的语音日志、文本日志和意图日志、及所述步骤S12中所构建的关联性存储到所述日志数据库中，实现对日志数据的获取；
其中，所述日志数据包括：用户语音交互中所产生的语音日志、文本日志、意图日志、及所构建的所述语音日志、文本日志和意图日志之间的关联性。
3.如权利要求2所述的方法，其特征在于，所述步骤S1中，复原与所述异常日志相关的用户交互流程，形成交叉验证日志，是基于所述日志数据库中所存储的所构建的所述语音日志、文本日志和意图日志之间的关联性实现的。
4.如权利要求1所述的方法，其特征在于，所述异常日志包括：
ASR引擎请求中非正常响应的日志，和/或
NLU无法理解用户意图的日志。
5.如权利要求1所述的方法，其特征在于，所述引擎问题分类结果包括：
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志一致时，为第一引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志不一致时，为第二引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志一致时，为第三引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志不一致时，为第四引擎问题分类结果；
根据不同的引擎问题分类结果，执行不同的报警操作。
技术研发人员：滕义伟，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。