语音控制智能设备终端操作的方法和装置制造方法及图纸

本发明专利技术公开了一种语音控制智能设备终端操作的方法，包括步骤一、获取智能设备显示的所有界面信息，步骤二、搜索界面显示的文字信息，步骤三、保存界面布局信息并对UI元素进行标记处理，步骤四、接收用户语音信息，步骤五、识别步骤四中接收到的用户语音的语音意图，步骤六、根据步骤五识别的语音意图进行意图匹配，步骤七、如果匹配到语音意图，根据意图进行终端控制，如果匹配不到语音意图，提示重新输入指令并重复步骤四到六。本发明专利技术还公开了一种语音控制智能设备终端操作的装置，包括语音识别模块、界面元素识别模块、语音匹配模块和界面控制模块。本发明专利技术的语音控制智能设备终端操作的方法和装置能快速识别语音意图，提高用户体验。

The Method and Device of Terminal Operation of Intelligent Equipment for Speech Control

The invention discloses a method for terminal operation of voice control intelligent device, which includes steps 1, acquiring all interface information displayed by intelligent device, step 2, searching text information displayed by interface, step 3, saving interface layout information and marking UI elements, step 4, receiving user voice information. Step 5. Recognize the voice intention of the user's voice received in step 4. Step 6. Identify the voice intention according to step 5. Step 7. If the voice intention is matched, control the terminal according to the intention. If the voice intention is not matched, prompt to re-enter the instruction and repeat steps 4 to 6. The invention also discloses a device for terminal operation of speech control intelligent equipment, including speech recognition module, interface element recognition module, speech matching module and interface control module. The method and device of the voice control intelligent device terminal operation of the invention can quickly recognize voice intent and improve user experience.

【技术实现步骤摘要】
语音控制智能设备终端操作的方法和装置
本专利技术涉及智能家居
，具体是语音控制智能设备终端操作的方法和装置。
技术介绍
在智能家居含有显示终端设备的时候，现有技术中大多需要使用遥控器进行控制，但是这种控制方式存在控制复杂，输入困难以及用户在可选择列表比较多的时候很难准确的控制。现有技术CN106653014A提供了一种智能家居的语音控制方法和智能家居的语音控制装置，其中，智能家居的语音控制方法包括：在获取到声纹信息时，触发智能家居采集实时图像信息；检测实时图像信息中是否具有人体特征信息；在检测到具有人体特征信息时，触发开启语音控制功能；在开启语音控制功能后，解析声纹信息中的语音信息；检测语音信息是否与预存语音控制指令匹配；在检测到语音信息与预存语音控制指令匹配时，控制智能家居执行预存语音控制指令。该技术优点在于采用非接触式控制智能设备，实现了智能设备控制方式的多样性和先进性。但是该技术采用的语音控制方式是根据声纹的语音信息进行语义解析并与预存控制指令进行匹配，匹配方式对声纹中的语音信息要求高，需要与预存指令一致才能进行操控，无法解决语音控制难的问题。专利技术内容本专利技术的目的本文档来自技高网...

【技术保护点】
1.一种语音控制智能设备终端操作的方法，其特征在于，该方法包括以下步骤：步骤一、获取智能设备显示的所有界面信息，包括界面中显示的UI元素、当前页面的层级信息、所属应用名称等信息；步骤二、搜索界面显示的文字信息；步骤三、保存界面布局信息，依次对所有UI元素信息进行标记处理；步骤四、接收用户语音信息；步骤五、识别步骤四中接收到的用户语音的语音意图；步骤六、根据步骤五识别的语音意图进行意图匹配；步骤七、如果匹配到语音意图，根据用户语音针对的意图进行终端控制，如果匹配不到语音意图，提示用户重新输入语音指令并重复步骤四到步骤六。

【技术特征摘要】
1.一种语音控制智能设备终端操作的方法，其特征在于，该方法包括以下步骤：步骤一、获取智能设备显示的所有界面信息，包括界面中显示的UI元素、当前页面的层级信息、所属应用名称等信息；步骤二、搜索界面显示的文字信息；步骤三、保存界面布局信息，依次对所有UI元素信息进行标记处理；步骤四、接收用户语音信息；步骤五、识别步骤四中接收到的用户语音的语音意图；步骤六、根据步骤五识别的语音意图进行意图匹配；步骤七、如果匹配到语音意图，根据用户语音针对的意图进行终端控制，如果匹配不到语音意图，提示用户重新输入语音指令并重复步骤四到步骤六。2.根据权利要求1所述的一种语音控制智能设备终端操作的方法，其特征在于，所述步骤三对UI元素信息进行标记处理包括：S31、对界面中元素序号处理，从左侧到右侧，从上到下对非列表元素进行排序；S32、对界面中包含的列表信息的列表名称按照抬头信息进行命名，对列表中每一个元素排序并记录编号；S33、对所有元素信息进行控制类、内容查看类和内容输入类三种分类方式进行分类。3.根据权利要求1所述的一种语音控制智能设备终端操作的方法，其特征在于，所述步骤五识别用户语音意图包括：S51、识别用户声音；S52、对声音识别成文字；S53、将文字内容根据规则转换成语义；S54、输出多种语义控制意图...

【专利技术属性】
技术研发人员：孙杰，程一旺，
申请(专利权)人：合肥品冠慧享家智能家居科技有限责任公司，
类型：发明
国别省市：安徽,34