【技术实现步骤摘要】
本专利技术涉及人机交互，尤其涉及一种人机交互方法、系统、电子设备以及存储介质。
技术介绍
1、通过语音指令控制电子设备已逐渐成为用户传达意图以及控制电子设备的一种常用手段。而可见即可说(vui)是一种通过语音与电子设备进行交互的用户界面技术，通过可见即可说为用户提供更便捷、智能和自然的交互方式。
2、目前，在可见即可说的实现过程中，通常通过电子设备中操作系统所提供的无障碍模式从用户界面中确定需要控制的控件，并根据用户的语音输入对需要控制的控件进行控制。由于无障碍模式是根据控件的属性信息来确定需要控制的控件的，所以在某些控件的属性信息缺失的情况下，无法锁定唯一的控件，也就无法正确响应用户的语音输入，不能实现电子设备的有效控制。
3、另外，虽然也可以在控件的属性信息缺失的情况下，通过控件对应的应用端添加相关描述来补充控件的属性信息，但是这需要应用端的第三方进行适配，同时需要耗费大量人力以及精力。
技术实现思路
1、本专利技术提供了一种人机交互方法、系统、电子设备以及存储介质，旨在有效解决上述技术问题。
2、根据本专利技术的第一方面，本专利技术提供一种人机交互方法，所述方法应用于电子设备，所述方法包括：
3、在所述电子设备中的人机交互应用运行的过程中，获取当前界面上的至少一个第一控件，并获取所述至少一个第一控件对应的标识信息以及与所述标识信息对应的泛化信息，所述标识信息基于第一标识或第二标识生成，所述第一标识根据第一控件的属性信息确定，所述
4、获取用户的语音指令；
5、根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件；
6、响应于所述语音指令，执行对所述目标控件的控制。
7、进一步地，所述第二标识根据所述第一控件的资源id以及所述第一控件在所述视图布局信息中的根元素信息、子元素信息和位置索引信息所确定。
8、进一步地，所述第一标识包括控件的标题信息、描述信息或资源id中的一种或多种属性信息。
9、进一步地，所述标识信息通过如下方式生成：
10、获取应用程序在不同状态下的运行界面以及所述运行界面上的多个第一控件；
11、在所述多个第一控件的第一标识存在重复或者缺失的情况下，将所述第二标识作为标识信息；
12、在所述多个第一控件的第一标识不存在重复且缺失的情况下，将所述第一标识作为标识信息；
13、将所述标识信息与所述第一控件对应存储。
14、进一步地，所述第一标识存在重复是指所有所述属性信息均重复；
15、所述在所述多个第一控件的第一标识不存在重复且缺失的情况下，将所述第一标识作为标识信息的步骤，包括：
16、根据所述属性信息的优先级依次判断所述属性信息是否重复，并在当前属性信息不重复的情况下，将所述当前属性信息作为标识信息。
17、进一步地，在获取应用程序在不同状态下的运行界面以及所述运行界面上的多个第一控件之后，所述方法还包括：
18、为所述第一控件配置泛化信息，并将配置后的泛化信息与所述第一控件的标识信息对应存储。
19、进一步地，所述为所述第一控件配置泛化信息的步骤，包括：
20、按照第一控件的类型为所述第一控件配置泛化信息，其中，所述第一控件的类型包括按钮类型、文本类型、开关类型、选项卡类型、进度条类型以及滚动类型。
21、进一步地，在所述按照第一控件的类型为所述第一控件配置泛化信息的步骤之后，方法还包括：
22、按照所述第一控件的类型为所述第一控件配置反馈信息以及对应的交互信息；
23、在所述响应于所述语音指令，执行对所述目标控件的控制的步骤之后，方法还包括：
24、获取目标控件的反馈信息以及对应的交互信息，并以对应的交互信息响应所述语音指令。
25、进一步地，在所述目标控件的类型为滚动类型时，所述执行对所述目标控件的控制的步骤，包括：
26、根据所述目标控件的显示高度与预设的滑动百分比之间的乘积确定目标控件的第一滑动距离，并根据所述第一滑动距离控制所述目标控件滑动。
27、进一步地，在所述目标控件的类型为进度条类型时，所述执行对所述目标控件的控制的步骤，包括：
28、根据所述目标控件的最大进度、最小进度以及预设的滑动百分比计算获得第二滑动距离，并根据所述第二滑动距离控制所述目标控件滑动。
29、进一步地，所述获取当前界面上的至少一个第一控件的步骤，包括：
30、通过焦点窗口扫描当前界面，获取所述当前界面的全量控件信息；
31、在所述目标控件执行操作后，通过焦点窗口扫描当前界面获取目标控件对应的增量控件信息。
32、进一步地，所述响应于所述语音指令，执行对所述目标控件的控制的步骤，包括：
33、在所述目标控件监听点击事件时，响应于所述语音指令，通过点击事件方式点击所述目标控件；
34、在所述目标控件未监听点击事件时，通过触摸事件方式触摸所述目标控件。
35、进一步地，所述方法还包括：
36、在第一电子设备或第二电子设备中的人机交互应用运行的过程中，所述人机交互应用获取所述第一电子设备中当前界面上的至少一个第一控件、对应的标识信息以及泛化信息，并获取第二电子设备中当前界面上的至少一个第一控件、对应的标识信息以及泛化信息，所述第一电子设备与所述第二电子设备通信连接；
37、所述根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件的步骤，包括：
38、所述人机交互应用根据所述语音指令从第一电子设备的泛化信息与第二电子设备的泛化信息中确定目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标电子设备以及目标控件；
39、所述响应于所述语音指令，执行对所述目标控件的控制的步骤，包括：
40、响应于所述语音指令，在所述目标电子设备上执行对所述目标控件的控制。
41、进一步地，方法还包括：
42、通过预设的软件开发工具包获取当前界面上的至少一个第二控件、第二控件对应的身份信息以及泛化信息；
43、所述根据所述语音指令从所述泛化信息中匹配得到目标泛化信息，基于所述目标泛化信息所对应的标识信息确定目标控件的步骤，包括：
44、根据所述语音指令从所述第一控件对应的泛化信息与所述第二控件对应的泛化信息中匹配得到目标泛化信息，并基于所述目标泛化信息、身份信息与标识信息确定目标控件。
45、进一步地，所述通过焦点窗口扫描当前界面的步骤，包括：
46、从电子设备的多个应用程序中确定焦点窗口，并获取焦点窗口上的第一控件的控件信息。
47、本文档来自技高网...
【技术保护点】
1.一种人机交互方法，其特征在于，所述方法应用于电子设备，所述方法包括：
2.如权利要求1所述的人机交互方法，其特征在于，所述第二标识根据所述第一控件的资源ID以及所述第一控件在所述视图布局信息中的根元素信息、子元素信息和位置索引信息所确定。
3.如权利要求1所述的人机交互方法，其特征在于，所述第一标识包括控件的标题信息、描述信息或资源ID中的一种或多种属性信息。
4.如权利要求2所述的人机交互方法，其特征在于，所述标识信息通过如下方式生成：
5.如权利要求4所述的人机交互方法，其特征在于，所述第一标识存在重复是指所有所述属性信息均重复；
6.如权利要求4所述的人机交互方法，其特征在于，在获取应用程序在不同状态下的运行界面以及所述运行界面上的多个第一控件之后，所述方法还包括：
7.如权利要求6所述的人机交互方法，其特征在于，所述为所述第一控件配置泛化信息的步骤，包括：
8.如权利要求7所述的人机交互方法，其特征在于，在所述按照第一控件的类型为所述第一控件配置泛化信息的步骤之后，方法还包括：
...【技术特征摘要】
1.一种人机交互方法，其特征在于，所述方法应用于电子设备，所述方法包括：
2.如权利要求1所述的人机交互方法，其特征在于，所述第二标识根据所述第一控件的资源id以及所述第一控件在所述视图布局信息中的根元素信息、子元素信息和位置索引信息所确定。
3.如权利要求1所述的人机交互方法，其特征在于，所述第一标识包括控件的标题信息、描述信息或资源id中的一种或多种属性信息。
4.如权利要求2所述的人机交互方法，其特征在于，所述标识信息通过如下方式生成：
5.如权利要求4所述的人机交互方法，其特征在于，所述第一标识存在重复是指所有所述属性信息均重复；
6.如权利要求4所述的人机交互方法，其特征在于，在获取应用程序在不同状态下的运行界面以及所述运行界面上的多个第一控件之后，所述方法还包括：
7.如权利要求6所述的人机交互方法，其特征在于，所述为所述第一控件配置泛化信息的步骤，包括：
8.如权利要求7所述的人机交互方法，其特征在于，在所述按照第一控件的类型为所述第一控件配置泛化信息的步骤之后，方法还包括：
9.如权利要求7所述的人机交互方法，其...
【专利技术属性】
技术研发人员：刘杰钦，胡海，张然，
申请(专利权)人：蔚来汽车科技安徽有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。