语音交互方法以及装置制造方法及图纸

本发明专利技术是关于一种语音交互方法、装置、电子设备以及存储介质。该方法包括：查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。本发明专利技术可以提高语音交互的适用范围。

【技术实现步骤摘要】
语音交互方法以及装置
本专利技术涉及语音识别
，具体而言，涉及一种语音交互方法、装置、电子设备以及计算机可读存储介质。
技术介绍
语音是人类惯于使用的交流方式，与其他交流手段相比不仅更加自然，而且具有认知负荷小，资源占用少和交互效率高等优点。语音作为一种强大随意的控制入口，目前已经在个人电脑、移动通讯终端等各种电子设备中得到了广泛应用，用户通过录入语音，就可以在电子设备上执行所需的查询、搜索、拨打电话等操作，方便用户的使用。现有的语音交互方式，通常需要对电子设备中支持语音操作的应用程序进行定制，语音交互过程包括以下处理环节：经过定制的应用程序显示支持语音操作的窗口后，会向操作系统提供的语音服务注册该窗口所支持的语音指令集合；当语音服务接收用户输入的语音信息后，若检测出语音信息与该应用程序已注册的语音指令集中的某语音指令相符，则将语音信息转换成相应的控制指令发送给该应用程序的相应窗口，应用程序通过预先定制的代码进行响应。但一方面，如果针对每个应用程序的各窗口均进行定制开发语音交互功能，将极大的增加开发人员的工作量；另一方面，对于很多没有定制开发语音交互功能的应用程序，将无法具有语音交互功能，阻碍了语音交互方式在电子设备上的推广应用。围绕语音交互这个主题，现有技术中已经有一些专利申请进行了有益的尝试，比如：申请号为CN201410634017.2的专利申请公开了一种基于语音交互的软件运行方法及系统，所述软件与所述语音助手独立运行，所述语音助手获取所述软件运行的执行项目信息，所述语音助手将语音识别转换结果与获取的执行项目信息进行匹配，然后对于匹配的执行项目信息，根据执行项目元素信息和执行项目状态信息和语音信息，由软件进行操作执行。所述基于语音交互的软件运行方法及系统，根据软件的实时执行项目信息进行对其进行操作和使用，使语音软件真正迈向智能化，同时，与软件分开独立运行，可以一个语音助手与多个软件配合使用，大大节约系统资源。但每个应用程序均包括大量的不同操作指令，而且不同的应用程序包括的操作指令更是差异极大。这样，对于语音助手的智能化要求则非常的高。申请号为CN201110081146.X的专利申请公开了一种能广泛应用在PC、手机、家用电器等各种终端设备上的语音识别与交互系统。整个系统包括：交互设计器、交互执行器、平台抽象库、交互插件、平台API核心库五个部分：交互设计器中提出了一种全新的交互设计方法，通过直观的操作就可以完成整个交互的设计；交互执行器用来解释执行交互脚本；交互插件用于扩展已有交互平台抽象库的功能和增加一些特殊应用；平台抽象库用于实现多平台的可移植性和与具体平台的独立性；平台API核心库通过封装具体平台操作系统的API，方便可被平台抽象库调用。但该方案可以实现的操作指令较少，难以应用于需要操作较多的应用程序。申请号为CN201610736268.0的专利申请公开了一种基于语音交互的控制方法及系统。该方法通过唤醒信号启动语音交互系统，语音交互系统实时侦听语音信息，将侦听的语音信息转换成文字信息，对转换的文字信息进行分析，通过与系统预先存储的功能参数判断语音信息对应的文字信息的功能参数是否完整，若完整，则执行相应的操作；若不完整，根据缺少的功能参数提示用户回复要执行的操作，从而实现实时通过语音调用系统操作。采用该控制方法及系统，可随时选择不同功能操作，或者选择同一功能的不同执行参数，满足用户的不同需求。但该方案存在与CN201410634017.2类似的问题。因此，需要提供一种适应性更高、识别更加快速准确的语音交互方法，以至少能够解决上述一个或多个技术问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的目的在于提供一种语音交互方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术的一个方面，提供一种语音交互方法，所述方法包括：查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。在本专利技术的一种示例性实施例中，所述基于所述控件信息获取可进行预设操作的控件为目标控件，包括：对于当前应用程序窗口中的每一控件，获取该控件的所述控件信息中包括的触发操作类型并判断所述触发操作类型和所述预设操作是否一致；如果所述触发操作类型和所述预设操作一致，则将对应的所述控件作为目标控件。在本专利技术的一种示例性实施例中，所述预设操作为触控点击操作和/或鼠标单击操作。在本专利技术的一种示例性实施例中，所述根据预设规则为各所述目标控件分别分配一短标识，包括：按照预设顺序，为所述各所述目标控件依次分配数字标识、字母标识或者自定义标识。在本专利技术的一种示例性实施例中，所述对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识，包括：对所述语音信息进行语音识别，以将所述语音信息转换为文本信息；对所述文本信息进行匹配操作，获取包含的待响应的所述短标识。在本专利技术的一种示例性实施例中，所述对语音信息进行语音识别，包括：通过深度神经网络模型、隐马尔科夫模型、高斯混合模型中的一种或多种模型，对所述语音信息进行语音识别。在本专利技术的一种示例性实施例中，所述在所述目标位置模拟执行所述预设操作，包括：通过模拟手动输入设备的动作，在所述目标位置执行所述预设操作；所述手动输入设备包括触摸屏和/或鼠标。根据本专利技术的一个方面，提供一种语音交互装置，所述装置包括：目标控件检测模块，用于查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；短标识分配模块，用于根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；短标识识别模块，用于接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；操作模拟模块，用于确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。在本专利技术的一个方面，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。在本专利技术的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。本专利技术的示例性实施例中的语音交互方法，首先为目标控件分别分配短标识；其次，识别接收到的语音信息中包括的待响应的短标识；最后，以确定待响应的短标识在当前应用程序窗口中的位置为目标位置，并在目标位置模拟执行预设操作，从而触发对应的目标控件。一方面，不是针对某一应用程序或者应用程序的某一窗口提供语音支持，而是从系统层面提供语音支本文档来自技高网...

【技术保护点】
1.一种语音交互方法，其特征在于，所述方法包括：查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

【技术特征摘要】
1.一种语音交互方法，其特征在于，所述方法包括：查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。2.根据权利要求1所述的语音交互方法，其特征在于，所述基于所述控件信息获取可进行预设操作的控件为目标控件，包括：对于当前应用程序窗口中的每一控件，获取该控件的所述控件信息中包括的触发操作类型并判断所述触发操作类型和所述预设操作是否一致；如果所述触发操作类型和所述预设操作一致，则将对应的所述控件作为目标控件。3.根据权利要求2所述的语音交互方法，其特征在于，所述预设操作为触控点击操作和/或鼠标单击操作。4.根据权利要求1所述的语音交互方法，其特征在于，所述根据预设规则为各所述目标控件分别分配一短标识，包括：按照预设顺序，为所述各所述目标控件依次分配数字标识、字母标识或者自定义标识。5.根据权利要求1所述的语音交互方法，其特征在于，所述对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识，包括：对所述语音信息进行语音识别，以将所述语音信息转换为文本信息；对所述文本信息...

【专利技术属性】
技术研发人员：李庆湧，
申请(专利权)人：李庆湧，
类型：发明
国别省市：广东,44