基于语音的交互方法、装置、电子设备及操作系统制造方法及图纸

本申请公开了一种基于语音的交互方法，一种基于语音的交互装置，一种电子设备，以及一种操作系统。其中，所述基于语音的交互方法，包括：将接收到的语音信息转换成操作指令；通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。上述方法由于采用了发送触控事件的方式，开发人员无需对程序代码作任何语音方面的适配工作，就可以支持语音操作，一方面大大减少了开发人员的工作量，另一方面，也实现了应用窗口以及系统窗口对语音交互方式的支持，促进语音交互方式在电子设备上的推广应用。

Speech based interaction method, device, electronic device and operation system

The application discloses a voice based interaction method, a voice based interactive device, an electronic device, and an operation system. The speech based interaction method includes: converting the received voice information into an operation instruction, determining an interface element that responds to the operational instructions described by the query display window, and triggering the identified interface elements to respond to the operating instructions by sending a touch event. Order. Because of the method of transmitting touch events, the developer can support voice operation without any voice matching work on the program code. On the one hand, it greatly reduces the workload of the developer. On the other hand, it also supports the application window and the system window to support the voice interaction. To promote the popularization and application of voice interaction in electronic devices.

【技术实现步骤摘要】
基于语音的交互方法、装置、电子设备及操作系统
本申请涉及交互方法，具体涉及一种基于语音的交互方法。本申请同时涉及一种基于语音的交互装置，一种电子设备，以及一种操作系统。
技术介绍
语音是人类惯于使用的交流方式，与其他交流手段相比不仅更加自然，而且具有认知负荷小，资源占用少和交互效率高等优点。随着HMM模型和人工神经元网络等技术在语音识别中的成功应用，语音作为一种强大随意的控制入口，目前已经在个人电脑、移动通讯终端等各种电子设备中得到了广泛应用，用户通过录入语音，就可以在电子设备上执行所需的查询、搜索、拨打电话等操作，方便用户的使用。现有的语音交互方式，通常需要对电子设备中支持语音操作的应用程序进行定制，语音交互过程包括以下处理环节：经过定制的应用程序显示支持语音操作的窗口后，会向操作系统提供的语音服务注册该窗口所支持的语音指令集合；当语音服务接收用户输入的语音信息后，若检测出语音信息与该应用程序已注册的语音指令集中的某语音指令相符，则将语音信息转换成相应的控制指令发送给该应用程序的相应窗口，应用程序通过预先定制的代码进行响应；当应用程序退出支持语音操作的窗口时，则向语音服务注销相应的语音指令集合。由此可见，现有的语音交互实现方式，若需要应用程序的某窗口支持语音交互，那么需要添加至少以下三方面的操作逻辑：注册语音指令集合、注销语音指令集合、根据接收到的控制指令进行相应的处理。如果应用程序中的两个或者两个以上窗口都有支持语音操作的需求，那么开发人员则需要针对各窗口执行上述定制操作，工作量通常很大，导致了现在的应用程序难以对语音操作提供完善的语音操作支持，阻碍语音交互方式在电子设备上的推广应用。
技术实现思路
本申请实施例提供一种基于语音的交互方法和装置，以解决现有技术需要对支持语音的应用窗口逐一进行定制导致的、开发人员工作量大以及应用程序难以提供完善的语音支持的问题。本申请实施例还提供一种基于语音的交互装置，一种电子设备，以及一种操作系统。本申请提供一种基于语音的交互方法，包括：将接收到的语音信息转换成操作指令；通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。可选的，所述界面元素包括：可供操作的控件；所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息。可选的，所述采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令，包括：根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，以触发所述界面元素所属窗口执行相应的处理操作。可选的，所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息；所述标识界面元素的信息包括：界面元素的布局信息；所述根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，包括针对每个已确定的界面元素执行下述操作：至少根据所述界面元素的布局信息，确定对应于所述界面元素的触控位置；模拟手动输入设备向操作系统上报针对所述触控位置的触控事件；窗口管理服务将接收到的针对所述触控位置的触控事件，转换成针对所述界面元素的触控事件，并向所述界面元素所属窗口发送所述触控事件。可选的，所述界面元素的布局信息包括：界面元素在显示屏幕中的位置和界面元素的尺寸信息。可选的，所述手动输入设备包括：触摸屏，或者鼠标。可选的，在所述将接收到的语音信息转换成操作指令之前，包括：通过监控窗口管理服务在显示窗口发生变更时的处理过程，记录显示窗口包含的界面元素信息；所述查询显示窗口包含的界面元素信息，包括：查询基于上述监控方式记录的显示窗口包含的界面元素信息。可选的，所述将接收到的语音信息转换成操作指令，包括：通过语音识别将接收到的语音信息转换成文字形式的指令；通过语义分析和基于模板的匹配操作，将所述文字形式的指令转换成操作指令。可选的，所述操作指令的内容包括：被操作界面元素的类型、和操作描述信息。可选的，所述显示窗口包括：预设类型的显示窗口；所述预设类型的显示窗口包括：应用窗口、和/或系统窗口。可选的，所述预设类型的显示窗口包括：预设类型的顶层显示窗口。可选的，所述预设类型的顶层显示窗口包括：顶层应用窗口；所述顶层应用窗口的数量为1；所述通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素，包括：通过查询顶层应用窗口包含的界面元素信息，确定所述顶层应用窗口中、可响应所述操作指令的界面元素。可选的，所述显示窗口的数量大于等于1；所述通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素，包括：遍历各显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素。可选的，若确定的可响应所述操作指令的界面元素的数目大于或者等于2，所述方法还包括：按照预设方式，从所述确定的界面元素中选择一个界面元素；所述触发已确定的界面元素响应所述操作指令，包括：触发所选界面元素响应所述操作指令。可选的，所述方法在具有语音输入装置及显示屏幕的电子设备上实施，所述电子设备包括：移动通讯设备、个人电脑、平板电脑、或应用于互联网汽车的车载电子设备。相应的，本申请还提供一种基于语音的交互装置，包括：操作指令生成单元，用于将接收到的语音信息转换成操作指令；界面元素确定单元，用于通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；触发响应单元，用于采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。可选的，所述触发响应单元，具体用于根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，以触发所述界面元素所属窗口执行相应的处理操作。可选的，所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息；所述标识界面元素的信息包括：界面元素的布局信息；所述触发响应单元，包括针对每个已确定的界面元素触发的下列子单元：触控位置确定子单元，用于至少根据所述界面元素的布局信息，确定对应于所述界面元素的触控位置；模拟触控事件上报子单元，用于模拟手动输入设备向操作系统上报针对所述触控位置的触控事件；触控事件发送子单元，用于由窗口管理服务将接收到的针对所述触控位置的触控事件，转换成针对所述界面元素的触控事件，并向所述界面元素所属窗口发送所述触控事件。可选的，所述装置还包括：监控记录单元，用于在将接收到的语音信息转换成操作指令之前，通过监控窗口管理服务在显示窗口发生变更时的处理过程，记录显示窗口包含的界面元素信息；所述界面元素确定单元，具体用于查询所述监控记录单元记录的显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素。此外，本申请还提供一种电子设备，包括：语音输入装置，用于接收输入的语音信息；显示器；处理器；存储器，用于存储指令；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的指令，并执行如下操作：将接收到的语音信息转换成操作指令；通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。可选的，所述采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令，包括：根据本文档来自技高网...

【技术保护点】
1.一种基于语音的交互方法，其特征在于，包括：将接收到的语音信息转换成操作指令；通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。

【技术特征摘要】
1.一种基于语音的交互方法，其特征在于，包括：将接收到的语音信息转换成操作指令；通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。2.根据权利要求1所述的方法，其特征在于，所述界面元素包括：可供操作的控件；所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息。3.根据权利要求1所述的方法，其特征在于，所述采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令，包括：根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，以触发所述界面元素所属窗口执行相应的处理操作。4.根据权利要求3所述的方法，其特征在于，所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息；所述标识界面元素的信息包括：界面元素的布局信息；所述根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，包括针对每个已确定的界面元素执行下述操作：至少根据所述界面元素的布局信息，确定对应于所述界面元素的触控位置；模拟手动输入设备向操作系统上报针对所述触控位置的触控事件；窗口管理服务将接收到的针对所述触控位置的触控事件，转换成针对所述界面元素的触控事件，并向所述界面元素所属窗口发送所述触控事件。5.根据权利要求4所述的方法，其特征在于，所述界面元素的布局信息包括：界面元素在显示屏幕中的位置和界面元素的尺寸信息。6.根据权利要求4所述的方法，其特征在于，所述手动输入设备包括：触摸屏，或者鼠标。7.根据权利要求1所述的方法，其特征在于，在所述将接收到的语音信息转换成操作指令之前，包括：通过监控窗口管理服务在显示窗口发生变更时的处理过程，记录显示窗口包含的界面元素信息；所述查询显示窗口包含的界面元素信息，包括：查询基于上述监控方式记录的显示窗口包含的界面元素信息。8.根据权利要求1所述的方法，其特征在于，所述将接收到的语音信息转换成操作指令，包括：通过语音识别将接收到的语音信息转换成文字形式的指令；通过语义分析和基于模板的匹配操作，将所述文字形式的指令转换成操作指令。9.根据权利要求1所述的方法，其特征在于，所述操作指令的内容包括：被操作界面元素的类型、和操作描述信息。10.根据权利要求1所述的方法，其特征在于，所述显示窗口包括：预设类型的显示窗口；所述预设类型的显示窗口包括：应用窗口、和/或系统窗口。11.根据权利要求10所述的方法，其特征在于，所述预设类型的显示窗口包括：预设类型的顶层显示窗口。12.根据权利要求11所述的方法，其特征在于，所述预设类型的顶层显示窗口包括：顶层应用窗口；所述顶层应用窗口的数量为1；所述通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素，包括：通过查询顶层应用窗口包含的界面元素信息，确定所述顶层应用窗口中、可响应所述操作指令的界面元素。13.根据权利要求1所述的方法，其特征在于，所述显示窗口的数量大于等于1；所述通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素，包括：遍历各显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素。14.根据权利要求1所述的方法，其特征在于，若确定的可响应所述操作指令的界面元素的数目大于或者等于2，所述方法还包括：按照预设方式，从所述确定的界面元素中选择一个界面元素；所述触发已确定的界面元素响应所述操作指令，包括：触发所选界面元素响应所述操作指令。15.根据权利要求1-14任一项所述的方法，其特征在于，所述方法在具有语音输入装置及显示屏幕的电子设备上实施，所述电子设备包括：移动通讯设备、个人电脑、平板电脑、或应用于互联网汽车的车载电子设备。16.一种基于语音的交互装置，其特征在于，包括：操作指令生成单元，用于将接收到的语音信息转换成操作指令；界面元素确定单元，用于通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；触发响应单元，用于采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。17.根据权利要求16所述的装置，其特征在于，所述触发响应单元，具体用于根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，以触发所述界面元素所属窗口执行相应的处理操作。18.根据权利要求17所述的装置，其特征在于，...

【专利技术属性】
技术研发人员：石善文，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY