语音控制方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种语音控制方法、装置、电子设备及存储介质，所述方法应用于终端设备，包括：获取语音控制命令的第一语义信息，其中，所述第一语义信息用于指示所述语音控制命令针对的控制对象；判断所述终端设备的当前显示界面的布局信息是否稳定，当所述显示界面的布局信息稳定时，获得对所述显示界面进行分割所得到的多个界面元素；确定至少一个所述界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；根据所述第一语义信息和所述至少一个界面元素的目标信息，在所述至少一个界面元素中确定控制对象，并对所述控制对象执行所述语音控制命令对应的操作。

【技术实现步骤摘要】
语音控制方法、装置、电子设备及存储介质
本专利技术涉及语音控制
，尤其涉及一种语音控制方法、装置、电子设备及存储介质。
技术介绍
随着科学技术的不断进步，用户和终端设备等机器的交互方式也在发生变化，出现了越来越多的语音助手，用于识别用户的语音控制命令并给出对应的回复及执行对应的操作，实现了用户对终端设备的语音控制。但是语音控制方式的信息获取效率和准确率均较低，导致终端设备对用户语音控制命令的响应效率低，响应准确率低。
技术实现思路
本专利技术提供一种语音控制方法、装置、电子设备及存储介质，以解决相关技术中的不足。根据本专利技术实施例的第一方面，提供一种语音控制方法，应用于终端设备，所述控制方法包括：获取语音控制命令的第一语义信息，其中，所述第一语义信息用于指示所述语音控制命令针对的控制对象；判断所述终端设备的当前显示界面的布局信息是否稳定，当所述显示界面的布局信息稳定时，获得对所述显示界面进行分割所得到的多个界面元素；确定至少一个所述界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；根据所述第一语义信息和所述至少一个界面元素的目标信息，在所述至少一个界面元素中确定控制对象，并对所述控制对象执行所述语音控制命令对应的操作。在一个实施例中，所述显示界面包括至少一个控件元素；所述获得对所述显示界面进行分割所得到的多个界面元素，包括：以相邻的所述控件元素的界限为分割线对所述显示界面进行分割，以得到至少一个控件元素；<br>将每个所述控件元素作为一个界面元素。在一个实施例中，所述判断所述终端设备的当前显示界面的布局信息是否稳定，包括：在预设时间内多次获取所述显示界面的控件信息；比较多次获取的所述控件信息，其中，所述控件信息至少包括以下任意一种：显示界面内的每个所述控件元素的编号、位置、属性；比较多次获取的所述控件信息，若多次获取的所述控件信息均相同，确定所述显示界面的布局信息稳定。在一个实施例中，所述确定至少一个所述界面元素的目标信息，包括：识别所述界面元素内包含的文本内容，并根据所述文本内容确定所述界面元素的第二语义信息。在一个实施例中，所述确定至少一个所述界面元素的目标信息，包括：对所述界面元素进行图像识别，以得到所述界面元素对应的文字描述信息，并将所述文字描述信息作为所述界面元素对应的第二语义信息。在一个实施例中，所述目标信息还包括所述界面元素的位置信息；所述根据所述第一语义信息和所述至少一个界面元素的目标信息，在所述至少一个界面元素中确定控制对象，包括：获取与所述第一语义信息匹配的第二语义信息对应的界面元素；根据获取的所述界面元素的位置信息，确定在所述显示界面的对应位置的所述界面元素为控制对象。在一个实施例中，所述对所述控制对象执行所述语音控制命令对应的操作，包括：获取所述语音控制指令的第三语义信息，其中，所述第三语义信息用于确定所述语音控制命令的控制内容；对所述控制对象执行所述第三语义信息对应的操作。根据本专利技术实施例的第二方面，提供一种语音控制装置，应用于终端设备，所述控制装置包括：第一语义模块，用于获取语音控制命令的第一语义信息，其中，所述第一语义信息用于指示所述语音控制命令针对的控制对象；分割模块，用于判断所述终端设备的当前显示界面的布局信息是否稳定，当所述显示界面的布局信息稳定时，获得对所述显示界面进行分割所得到的多个界面元素；第二语义模块，用于确定至少一个所述界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；确定模块，用于根据所述第一语义信息和所述至少一个界面元素的目标信息，在所述至少一个界面元素中确定控制对象，并对所述控制对象执行所述语音控制命令对应的操作。在一个实施例中，所述显示界面包括至少一个控件元素；所述分割模块具体用于：以相邻的所述控件元素的界限为分割线对所述显示界面进行分割，以得到至少一个控件元素；将每个所述控件元素作为一个界面元素。在一个实施例中，所述分割模块具体用于：在预设时间内多次获取所述显示界面的控件信息，其中，所述控件信息至少包括以下任意一种：每个控件元素的编号、位置、属性；比较多次获取的所述控件信息，若多次获取的所述控件信息均相同，确定所述显示界面的布局信息稳定。在一个实施例中，所述第二语义模块具体用于：识别所述界面元素内包含的文本内容，并根据所述文本内容确定所述界面元素的第二语义信息。在一个实施例中，所述第二语义模块具体用于：对所述界面元素进行图像识别，以得到所述界面元素对应的文字描述信息，并将所述文字描述信息作为所述界面元素对应的第二语义信息。在一个实施例中，所述目标信息还包括所述界面元素的位置信息；所述确定模块具体用于：获取与所述第一语义信息匹配的第二语义信息对应的界面元素；根据获取的所述界面元素的位置信息，确定在所述显示界面的对应位置的所述界面元素为控制对象。在一个实施例中，所述确定模块具体用于：获取所述语音控制指令的第三语义信息，其中，所述第三语义信息用于确定所述语音控制指令的控制内容；对所述控制对象执行所述第三语义信息对应的操作。根据本专利技术实施例的第三方面，提供一种电子设备，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面任一项所述的方法进行语音控制。根据本专利技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面任一项所述的方法。本公开的实施例提供的技术方案可以包括以下有益效果：本公开通过获取用于确定语音控制命令针对的控制对象的第一语义信息以及在显示界面稳定时对显示界面进行分割所得到的多个界面元素，并确定至少一个界面元素的包含第二语义信息的目标信息，最后根据第一语义信息和上述至少一个界面元素的第二语义信息，在上述至少一个界面元素中确定控制对象，并对控制对象执行对应的操作。通过语义信息的对比确定控制对象，不仅使语音命令更加直接和自然，还能够更加准确和高效的识别语音控制命令及确定控制对象，进而提高终端设备对语音控制命令的响应效率和响应准确率，提高了语音控制的效率和准确率，增强了用户体验。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是本专利技术一示例性实施例示出的屏幕分割结果的示意图；图2是本专利技术另一示例性实施例示出的屏幕分割结果的示意图；图3是本专利技术一示例性实施例示出的语音控制方法的流程图；图4是本公开一示例性实施例示本文档来自技高网...

【技术保护点】
1.一种语音控制方法，其特征在于，应用于终端设备，所述控制方法包括：/n获取语音控制命令的第一语义信息，其中，所述第一语义信息用于指示所述语音控制命令针对的控制对象；/n判断所述终端设备的当前显示界面的布局信息是否稳定，当所述显示界面的布局信息稳定时，获得对所述显示界面进行分割所得到的多个界面元素；/n确定至少一个所述界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；/n根据所述第一语义信息和所述至少一个界面元素的目标信息，在所述至少一个界面元素中确定控制对象，并对所述控制对象执行所述语音控制命令对应的操作。/n

【技术特征摘要】
1.一种语音控制方法，其特征在于，应用于终端设备，所述控制方法包括：
获取语音控制命令的第一语义信息，其中，所述第一语义信息用于指示所述语音控制命令针对的控制对象；
判断所述终端设备的当前显示界面的布局信息是否稳定，当所述显示界面的布局信息稳定时，获得对所述显示界面进行分割所得到的多个界面元素；
确定至少一个所述界面元素的目标信息，其中，所述目标信息包括所述界面元素的第二语义信息；
根据所述第一语义信息和所述至少一个界面元素的目标信息，在所述至少一个界面元素中确定控制对象，并对所述控制对象执行所述语音控制命令对应的操作。


2.根据权利要求1所述的语音控制方法，其特征在于，所述显示界面包括至少一个控件元素；
所述获得对所述显示界面进行分割所得到的多个界面元素，包括：
以相邻的所述控件元素的界限为分割线对所述显示界面进行分割，以得到至少一个控件元素；
将每个所述控件元素作为一个界面元素。


3.根据权利要求1或2所述的语音控制方法，其特征在于，所述判断所述终端设备的当前显示界面的布局信息是否稳定，包括：
在预设时间内多次获取所述显示界面的控件信息，其中，所述控件信息至少包括以下任意一种：显示界面内的每个所述控件元素的编号、位置、属性；
比较多次获取的所述控件信息，若多次获取的所述控件信息均相同，确定所述显示界面的布局信息稳定。


4.根据权利要求1所述的语音控制方法，其特征在于，所述确定至少一个所述界面元素的目标信息，包括：
识别所述界面元素内包含的文本内容，并根据所述文本内容确定所述界面元素的第二语义信息。


5.根据权利要求1或4所述的语音控制方法，其特征在于，所述确定至少一个所述界面元素的目标信息，包括：
对所述界面元素进行图像识别，以得到所述界面元素对应的文字描述信息，并将所述文字描述信息作为所述界面元素对应的第二语义信息。


6.根据权利要求1所述的语音控制方法，其特征在于，所述目标信息还包括所述界面元素的位置信息；
所述根据所述第一语义信息和所述至少一个界面元素的目标信息，在所述至少一个界面元素中确定控制对象，包括：
获取与所述第一语义信息匹配的第二语义信息对应的界面元素；
根据获取的所述界面元素的位置信息，确定在所述显示界面的对应位置的所述界面元素为控制对象。


7.根据权利要求1所述的语音控制方法，其特征在于，所述对所述控制对象执行所述语音控制命令对应的操作，包括：
获取所述语音控制指令的第三语义信息，其中，所述第三语义信息用于确定所述语音控制命令的控制内容；
对所述控制对象执行所述第三语义信息对应的操作。


8.一种语音控制装置，其特征在于，应用于终端设备，所述控制装置包括：
第一语义模...

【专利技术属性】
技术研发人员：赖永永，方彦彬，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11