一种软件操作实景语义理解的语音互动方法、系统及平台技术方案

本发明专利技术公开了一种软件操作实景语义理解的语音互动方法、系统及平台，提取可互动操作软件的操作按钮的按钮信息，生成使用问题与帮助信息，生成互动帮助系统训练数据，预先构建基于软件操作实景语义理解的互动帮助模型；生成实景自然语言提问信息；将用户用自然语言提出的使用问题，生成基于实景的自然语言提问信息，采用深度学习的基于软件操作实景语义理解的互动帮助模型，输出各语义解析结果的排序得分；选取一个或多个语义解析结果作为用户问题理解结果，基于互动帮助模型为用户提供互动操作帮助。本发明专利技术提高了软件操作实景语义理解的可靠性和准确性，解决了用户使用一般帮助说明书不直观的问题，大大增强了用户使用产品良好的体验感。

【技术实现步骤摘要】
一种软件操作实景语义理解的语音互动方法、系统及平台
本专利技术涉及一种关于各类计算机、移动终端和各类电器的面向操作系统的基于语义理解的语音互动方法、系统及平台。
技术介绍
目前的电子设备软硬件中软件是否方便使用决定了电子设备使用的方便性，用户在使用电子设备的软件时主要有三个问题：一是“不知道”某一软件是否有自己需要的功能，或是不知道有没有软件开发出了自己需要的功能；二是在软件中“找不到”所需功能按钮在哪里；三是知道某软件有自己需要的功能，也知道在哪里，但就是“不会用”或用不好。虽然软件都有帮助说明书，但理解说明书并查找功能等仍然与一个专业人士在身边指导操作的体验相距甚远，这三个问题极大影响了软件的使用效率，同时制约着软件的广泛普及。自然语言作为人类表达自己思想最为方便、自然的方式，近年来，随着深度学习及谷歌自然语言处理模型bert的出现，自然语言已逐渐成为人机交互中最主流的方式，由于自然语言对话的多样性、复杂性、省略多以及与对话场景密切相关等特点，准确地理解对话内容一直是人工智能领域中研究的热点和难点；另外，在深度学习中，算力、算法和数本文档来自技高网...

【技术保护点】
1.一种基于软件操作实景语义理解的互动帮助方法，其特征在于，包括以下步骤：/n步骤1，提取可互动操作软件的操作按钮的按钮信息，生成使用问题与帮助信息，生成基于软件操作实景语义理解的互动帮助系统的训练数据；/n步骤2，预先构建采用深度学习的基于软件操作实景语义理解的互动帮助模型；/n步骤3，生成实景自然语言提问信息；/n步骤4，将基于实景的自然语言提问信息输入采用深度学习的基于软件操作实景语义理解的互动帮助模型，输出各语义解析结果的排序得分；/n步骤5，根据排序得分选取的一个或多个语义解析结果作为用户问题的理解结果，然后基于互动帮助模型为用户提供互动操作帮助。/n

【技术特征摘要】
1.一种基于软件操作实景语义理解的互动帮助方法，其特征在于，包括以下步骤：
步骤1，提取可互动操作软件的操作按钮的按钮信息，生成使用问题与帮助信息，生成基于软件操作实景语义理解的互动帮助系统的训练数据；
步骤2，预先构建采用深度学习的基于软件操作实景语义理解的互动帮助模型；
步骤3，生成实景自然语言提问信息；
步骤4，将基于实景的自然语言提问信息输入采用深度学习的基于软件操作实景语义理解的互动帮助模型，输出各语义解析结果的排序得分；
步骤5，根据排序得分选取的一个或多个语义解析结果作为用户问题的理解结果，然后基于互动帮助模型为用户提供互动操作帮助。


2.根据权利要求1所述的方法，其特征在于，按钮信息包括：
按钮名字、按钮范围信息、按钮间的关系信息和按钮功能信息；
按钮范围信息是指根据按钮边框或顶点信息所包含的范围及按钮范围在不同屏幕尺寸及不同分辨率之间的变换关系信息；
按钮关系是指当前按钮及点击当前按钮出现的子按钮之间的关系；
按钮功能信息是指按钮功能的描述信息。


3.根据权利要求1所述的方法，其特征在于，步骤1具体为：
步骤1-1，根据基于软件操作实景语义理解的互动帮助系统开发平台提取可互动操作软件操作按钮的按钮信息；
步骤1-2，基于按钮使用问题的知识，采用基于规则的方法或基于if-then的形式生成结合了实景信息的使用问题、用户意图与帮助信息的训练数据，生成软件按钮关系树；
所述按钮关系树是指所述可互动操作软件的按钮由父子按钮之间关系所形成的树状层次关系；
步骤1-3，根据近义词库和所述结合了实景信息的使用问题、用户意图与帮助信息进一步生成训练数据；
步骤1-4，搜集所述可互动操作软件的其它用户使用问题及帮助信息，并进行标注，将其作为训练数据；
步骤1-5，将上述训练数据作为训练样本；
所述结合了实景信息的使用问题和实景自然语言提问信息、用户意图与帮助信息,所述结合方法将实景信息以自然语言省略恢复的形式作为所述提问信息的一部分，或以注意力机制的方式将实景信息作为所述提问信息的一部分。


4.根据权利要求3所述的方法，其特征在于，步骤2具体为：
利用所述训练样本及所述帮助信息训练得到基于软件操作实景语义理解的互动帮助模型，模型采用任务型对话的形式，并在训练中将用户提问问题时的软件实景信息通过加权方式加入到训练模型中。


5.根据权利要求1所述的方法，其特征在于，步骤3具体为：
步骤3-1，提取用户在使用可互动操作软件的自然语言提问信息；
提取软件当前实景信息表示的是：用户在使用软件中，包括软件名称、菜单栏所处的实际状态、屏幕尺寸及分辨率的信息；实景信息的获取使用操作系统、软件接口提供的“按钮信息”，或采用钩子方法、系统监听的方法或轮询调度的方法获得的按钮操作信息；
步骤3-2，将实景信息与自然语言提问信息组合生成实景自然语言提问信息，组合方法包...

【专利技术属性】
技术研发人员：赵克，仇彦男，周一帆，高健壮，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61