语音信息的处理方法、装置、电子设备和存储介质制造方法及图纸

技术编号:38528873 阅读:11 留言:0更新日期:2023-08-19 17:03
本公开提供了一种语音信息的处理方法、装置、电子设备和存储介质,涉及人工智能领域,尤其涉及语音技术、自然语言处理等领域。具体实现方案为:显示目标界面,并接收语音信息,所述目标界面设置有自动隐藏功能区;在语音信息指示对目标控件进行操作的情况下,执行预定处理,预定处理用于切换自动隐藏功能区的显示状态;获取目标界面在切换自动隐藏功能区的显示状态后的第一控件树;判断所述第一控件树是否包含所述目标控件的相关信息,并基于判断结果,对目标控件进行操作。根据本公开,可以避免在自动隐藏功能区隐藏的情况下无法操作目标控件的问题,确保能够准确操作目标控件,提升所见即可说功能的稳定性。所见即可说功能的稳定性。所见即可说功能的稳定性。

【技术实现步骤摘要】
语音信息的处理方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
,尤其涉及语音技术、自然语言处理等领域。

技术介绍

[0002]随着操作系统的发展,用户的输入方式从最早的命令行式操作逐渐发展为鼠标可视化操作,再到触摸屏操作。但是在一些场景下,用户不方便进行触摸屏幕、键盘输入、鼠标输入等操作,比如驾车中、烹饪中等等。所以,所见即可说功能逐渐有了雏形。
[0003]所见即可说功能是指用户在屏幕上看到文字后,可以直接以自然语言的方式说出对应的语音,所见即可说模块基于语音识别技术、自然语言处理技术确定用户的意图,并找到最匹配的界面控件进行操作。目前,所见即可说功能的稳定性有待提升。

技术实现思路

[0004]本公开提供了一种语音信息的处理方法、装置、电子设备和存储介质。
[0005]根据本公开的一方面,提供了一种语音信息的处理方法,包括:
[0006]显示目标界面,并接收语音信息;其中,目标界面设置有自动隐藏功能区;
[0007]在语音信息指示对自动隐藏功能区中的目标控件进行操作的情况下,执行预定处理;其中,该预定处理用于切换自动隐藏功能区的显示状态;
[0008]获取目标界面在切换所述自动隐藏功能区的显示状态后的第一控件树;第一控件树包含所述目标界面上显示的各个控件的相关信息;
[0009]判断第一控件树是否包含目标控件的相关信息,并基于判断结果,对目标控件进行操作。
[0010]根据本公开的另一方面,提供了一种语音信息的处理装置,包括:
[0011]交互模块,用于显示目标界面,并接收语音信息;其中,目标界面设置有自动隐藏功能区;
[0012]预定处理模块,用于在语音信息指示对自动隐藏功能区中的目标控件进行操作的情况下,执行预定处理;其中,预定处理用于切换自动隐藏功能区的显示状态;
[0013]第一获取模块,用于获取目标界面在切换所述自动隐藏功能区的显示状态后的第一控件树;第一控件树包含所述目标界面上显示的各个控件的相关信息;
[0014]操作模块,用于判断第一控件树是否包含目标控件的相关信息,并基于判断结果,对目标控件进行操作。
[0015]根据本公开的另一方面,提供了一种电子设备,包括:
[0016]至少一个处理器;以及
[0017]与该至少一个处理器通信连接的存储器;其中,
[0018]该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0019]根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储
介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0020]根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0021]根据本公开实施例的技术方案,可以避免在自动隐藏功能区隐藏的情况下无法操作目标控件的问题,确保能够准确操作目标控件,提升所见即可说功能的稳定性。
[0022]应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]附图用于更好地理解本方案,不构成对本公开的限定。其中:
[0024]图1是本公开实施例的一个示例性应用场景的示意图;
[0025]图2是本公开一实施例提供的语音信息的处理方法的流程示意图;
[0026]图3是本公开实施例中语音信息的处理方法的一个应用示例的示意图;
[0027]图4是本公开一实施例提供的语音信息的处理装置的示意性框图;
[0028]图5是本公开另一实施例提供的语音信息的处理装置的示意性框图;
[0029]图6是用来实现本公开实施例的语音信息的处理方法的电子设备的示意性框图。
具体实施方式
[0030]以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0031]为了便于理解本公开实施例的技术方案,下面先对本公开实施例中语音信息的处理方法的应用场景以及相关技术进行介绍。图1示出了一个示例性应用场景的示意图。在一些应用中,会设置自动隐藏功能区。自动隐藏功能区是指在显示的情况下持续一段时间没有检测到用户操作,则会自动隐藏的功能区。例如,如图1所示,在视频播放器中,用于清晰度设置以及选集的播放器设置区域,会在用户没有任何操作的前提下等待一段时间(例如3秒)。若该时间内没有用户的再次操作,则该播放器设置区域会隐藏,使得视频画面区域更完整地在屏幕上展示给用户。
[0032]在设置自动隐藏功能区的该场景下,使用语音交互系统的所见即可说功能时,存在以下情况:用户看见自动隐藏功能区中的控件,说出对应的语音,此时自动隐藏功能区可能已经隐藏了,则会导致所见即可说模块无法操作自动隐藏功能区中的控件。
[0033]相关技术中,一般通过以下两种方式解决上述问题:
[0034]方式一、调用应用开发者提供的自动隐藏功能区的展示接口,通过该接口实现准确操作到控件。但该方式需要应用开发者提供相应的接口权限,因此,仅能针对特定的应用实现,兼容性较差。
[0035]方式二、在对控件进行操作之前,获取应用的当前界面的控件树。对控件树进行分析,若控件树中包含用户语音对应的控件的相关信息,则操作控件。若控件树中不包含用户语音对应的控件,则先执行预定处理,使自动隐藏功能区重新显示在界面上,再操作控件。
该方式虽然能够在一定程度上缓解上述问题,但仍无法完全解决上述问题。具体而言,电子设备需要一定的时间对控件树进行分析,例如需要50毫秒~300毫秒,具体时间视电子设备的性能而定。若在获取控件树到完成控件树的检索分析期间,自动隐藏功能区开始隐藏,则仍无法操作自动隐藏功能区中的控件。
[0036]图2示出了本公开一实施例提供的语音信息的处理方法的流程示意图。该方法可以应用于语音信息的处理装置,该装置可以部署于电子设备中。电子设备例如是单机或多机的终端、服务器或其他处理设备。其中,终端可以为移动设备、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等用户设备(User Equipment,UE)。可选地,该电子设备可以是车机系统。
[0037]在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示,该方法可以包括:
[0038]S210、显示目标界面,并接收语音信息本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种语音信息的处理方法,包括:显示目标界面,并接收语音信息;其中,所述目标界面设置有自动隐藏功能区;在所述语音信息指示对自动隐藏功能区中的目标控件进行操作的情况下,执行预定处理;其中,所述预定处理用于切换所述自动隐藏功能区的显示状态;获取所述目标界面在切换所述自动隐藏功能区的显示状态后的第一控件树;所述第一控件树包含所述目标界面上显示的各个控件的相关信息;判断所述第一控件树是否包含所述目标控件的相关信息,并基于判断结果,对所述目标控件进行操作。2.根据权利要求1所述的方法,其中,所述基于判断结果,对所述目标控件进行操作,包括:响应于所述第一控件树包含所述目标控件的位置信息,基于所述位置信息,对所述目标控件进行操作。3.根据权利要求1或2所述的方法,其中,所述基于判断结果,对所述目标控件进行操作,包括:响应于所述第一控件树不包含所述目标控件的位置信息,执行所述预定处理,以再次切换所述自动隐藏功能区的显示状态;获取所述目标界面在再次切换所述自动隐藏功能区的显示状态后的第二控件树;基于所述第二控件树包含的所述目标控件的位置信息,对所述目标控件进行操作。4.根据权利要求1

3中任一项所述的方法,还包括:在所述自动隐藏功能区的显示状态从隐藏切换到显示时,启动对所述自动隐藏功能区的自动隐藏计时。5.根据权利要求1

4中任一项所述的方法,其中,所述自动隐藏功能区的自动隐藏计时的最大时长大于对所述第一控件树的处理用时。6.根据权利要求1

5中任一项所述的方法,其中,对所述目标控件进行操作,包括:对所述目标控件进行模拟点击。7.根据权利要求1

6中任一项所述的方法,其中,所述预定处理包括对所述目标界面中的主体内容区域进行模拟点击。8.一种语音信息的处理装置,包括:交互模块,用于显示目标界面,并接收语音信息;其中,所述目标界面设置有自动隐藏功能区;预定处理模块,用于在所述语音信息指示对自动隐藏功能区中的目标控件进行操作的情况下,执行预定处理;其中,所述预定处理用于切换所述自动隐藏功能区的显示状态;第一获取模块,用于获取所述目标界面在切换...

【专利技术属性】
技术研发人员:华鲸州欧阳能钧刘嵘
申请(专利权)人:阿波罗智联北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1