基于语音识别的多模态大屏交互的方法及装置制造方法及图纸

本发明专利技术公开了一种基于语音识别的多模态大屏交互的方法及装置，方法包括如下步骤：当语音控制指令是唤醒词时，将语音控制指令传送至儿童教育智能机器人的主控单元；针对互联家电的指令，主控单元输出控制信号至无线互联装置，使与无线互联装置连接的家电按照语音控制指令进行相应的操作；针对机器端的指令，主控单元控制儿童教育智能机器人的工况；针对奥多拉星球平台的指令，主控单元控制奥多拉星球平台的操作，并将语音反馈结果在电视屏幕上进行操作显示。实施本发明专利技术的基于语音识别的多模态大屏交互的方法及装置，具有以下有益效果：通过多模态的人机交互，让孩子与学习内容有了更多的互动，大大提高孩子的学习趣味性。

【技术实现步骤摘要】
基于语音识别的多模态大屏交互的方法及装置
本专利技术涉及儿童早教领域，特别涉及一种基于语音识别的多模态大屏交互的方法及装置。
技术介绍
传统的儿童早教内容，大部分都是简单的以视频形式输出给到孩子观看，孩子只能进行观看视频，不能进行互动和交流。由于知识是单向输出的，缺少内容的互动和交流，无法让孩子形成沉浸式的体验，难以让孩子产生学习的兴趣。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种通过多模态的人机交互，让孩子与学习内容有了更多的互动，大大提高孩子的学习趣味性的基于语音识别的多模态大屏交互的方法及装置。本专利技术解决其技术问题所采用的技术方案是：构造一种基于语音识别的多模态大屏交互的方法，包括如下步骤：A)儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令，如是，执行步骤B)；否则，执行步骤F)；B)所述儿童教育智能机器人判断所述语音控制指令是否是唤醒词，如是，执行步骤C)，否则，执行步骤F)；C)将所述语音控制指令传送至所述儿童教育智能机器人的主控单元，执行步骤D)；D)所述主控单元判断所述语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令，如是针对所述互联家电的指令，则执行步骤E)，如是针对所述机器端的指令，则执行步骤E')，如是针对奥多拉星球平台的指令，则执行步骤E")；否则，执行步骤F)；E)所述主控单元根据接收的所述语音控制指令输出控制信号至无线互联装置，使与所述无线互联装置连接的家电按照所述语音控制指令进行相应的操作，执行步骤F)；E')所述主控单元根据接收的所述语音控制指令控制所述儿童教育智能机器人的工况，执行步骤F)；E")所述主控单元根据接收的所述语音控制指令控制所述奥多拉星球平台的操作，并将语音反馈结果在电视屏幕上进行操作显示，执行步骤F)；F)返回步骤A)。在本专利技术所述的基于语音识别的多模态大屏交互的方法中，所述家电至少包括电视机、台灯和窗帘。在本专利技术所述的基于语音识别的多模态大屏交互的方法中，当将所述儿童教育智能机器人切换为电视游戏模式时，能进入所述奥多拉星球平台。在本专利技术所述的基于语音识别的多模态大屏交互的方法中，所述无线互联装置为5G通讯模块、4G通讯模块、蓝牙模块、WiFi模块、GSM模块、CDMA模块、CDMA2000模块、WCDMA模块、TD-SCDMA模块、Zigbee模块和LoRa模块中任意一种或任意几种的组合。本专利技术还涉及一种实现上述基于语音识别的多模态大屏交互的方法的装置，包括：语音控制指令判断单元：用于使儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令；唤醒词判断单元：用于使所述儿童教育智能机器人判断所述语音控制指令是否是唤醒词；语音控制指令传送单元：用于将所述语音控制指令传送至所述儿童教育智能机器人的主控单元；指令类型判断单元：用于使所述主控单元判断所述语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令；家电操作单元：用于使所述主控单元根据接收的所述语音控制指令输出控制信号至无线互联装置，使与所述无线互联装置连接的家电按照所述语音控制指令进行相应的操作；机器端操作单元：用于使所述主控单元根据接收的所述语音控制指令控制所述儿童教育智能机器人的工况；奥多拉星球平台操作单元：用于使所述主控单元根据接收的所述语音控制指令控制所述奥多拉星球平台的操作，并将语音反馈结果在电视屏幕上进行操作显示；返回单元：用于返回。在本专利技术所述的装置中，所述家电至少包括电视机、台灯和窗帘。在本专利技术所述的装置中，当将所述儿童教育智能机器人切换为电视游戏模式时，能进入所述奥多拉星球平台。在本专利技术所述的装置中，所述无线互联装置为5G通讯模块、4G通讯模块、蓝牙模块、WiFi模块、GSM模块、CDMA模块、CDMA2000模块、WCDMA模块、TD-SCDMA模块、Zigbee模块和LoRa模块中任意一种或任意几种的组合。实施本专利技术的基于语音识别的多模态大屏交互的方法及装置，具有以下有益效果：由于儿童教育智能机器人通过对语音控制指令进行判断识别，可以控制家电、儿童教育智能机器人的工况或奥多拉星球平台的操作，本专利技术通过多模态的人机交互，让孩子与学习内容有了更多的互动，大大提高孩子的学习趣味性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于语音识别的多模态大屏交互的方法及装置一个实施例中方法的流程图；图2为所述实施例中装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术基于语音识别的多模态大屏交互的方法及装置实施例中，其基于语音识别的多模态大屏交互的方法的流程图如图1所示。图1中，该基于语音识别的多模态大屏交互的方法包括如下步骤：步骤S01儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令：本实施例中，儿童教育智能机器人为乐迪机器人。本步骤中，儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令，其实就是判断语音控制指令接收单元是否接收到语音控制指令，如果判断的结果为是，则执行步骤S02；否则，执行步骤S06。步骤S02儿童教育智能机器人判断语音控制指令是否是唤醒词：如果上述步骤S01的判断结果为是，则执行本步骤。本步骤中，儿童教育智能机器人判断上述语音控制指令是否是唤醒词，如果判断的结果为是，则执行步骤S03；否则，执行步骤S06。步骤S03将语音控制指令传送至儿童教育智能机器人的主控单元：如果上述步骤S02的判断结果为是，则执行本步骤。本步骤中，将语音控制指令传送至儿童教育智能机器人的主控单元。执行完本步骤，执行步骤S04。步骤S04主控单元判断语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令：本步骤中，主控单元判断语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令，如果是针对互联家电的指令，则执行步骤S05，如果是针对机器端的指令，则执行步骤S05'，如果是针对奥多拉星球平台的指令，则执行步骤S05"；否则，即三者都不是，则执行步骤S06。步骤S05主控单元根据接收的语音控制指令输出控制信号至无线互联装置，使与无线互联装置连接的家电按照语本文档来自技高网...

【技术保护点】
1.一种基于语音识别的多模态大屏交互的方法，其特征在于，包括如下步骤：/nA)儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令，如是，执行步骤B)；否则，执行步骤F)；/nB)所述儿童教育智能机器人判断所述语音控制指令是否是唤醒词，如是，执行步骤C)，否则，执行步骤F)；/nC)将所述语音控制指令传送至所述儿童教育智能机器人的主控单元，执行步骤D)；/nD)所述主控单元判断所述语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令，如是针对所述互联家电的指令，则执行步骤E)，如是针对所述机器端的指令，则执行步骤E')，如是针对奥多拉星球平台的指令，则执行步骤E")；否则，执行步骤F)；/nE)所述主控单元根据接收的所述语音控制指令输出控制信号至无线互联装置，使与所述无线互联装置连接的家电按照所述语音控制指令进行相应的操作，执行步骤F)；/nE')所述主控单元根据接收的所述语音控制指令控制所述儿童教育智能机器人的工况，执行步骤F)；/nE")所述主控单元根据接收的所述语音控制指令控制所述奥多拉星球平台的操作，并将语音反馈结果在电视屏幕上进行操作显示，执行步骤F)；/nF)返回步骤A)。/n...

【技术特征摘要】
1.一种基于语音识别的多模态大屏交互的方法，其特征在于，包括如下步骤：
A)儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令，如是，执行步骤B)；否则，执行步骤F)；
B)所述儿童教育智能机器人判断所述语音控制指令是否是唤醒词，如是，执行步骤C)，否则，执行步骤F)；
C)将所述语音控制指令传送至所述儿童教育智能机器人的主控单元，执行步骤D)；
D)所述主控单元判断所述语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令，如是针对所述互联家电的指令，则执行步骤E)，如是针对所述机器端的指令，则执行步骤E')，如是针对奥多拉星球平台的指令，则执行步骤E")；否则，执行步骤F)；
E)所述主控单元根据接收的所述语音控制指令输出控制信号至无线互联装置，使与所述无线互联装置连接的家电按照所述语音控制指令进行相应的操作，执行步骤F)；
E')所述主控单元根据接收的所述语音控制指令控制所述儿童教育智能机器人的工况，执行步骤F)；
E")所述主控单元根据接收的所述语音控制指令控制所述奥多拉星球平台的操作，并将语音反馈结果在电视屏幕上进行操作显示，执行步骤F)；
F)返回步骤A)。


2.根据权利要求1所述的基于语音识别的多模态大屏交互的方法，其特征在于，所述家电至少包括电视机、台灯和窗帘。


3.根据权利要求1所述的基于语音识别的多模态大屏交互的方法，其特征在于，当将所述儿童教育智能机器人切换为电视游戏模式时，能进入所述奥多拉星球平台。


4.根据权利要求1至3任意一项所述的基于语音识别的多模态大屏交互的方法，其特征在于，所述无线互联装置为5G通讯模块、4G通讯模块、蓝牙模块、WiFi模块、GSM模块、CDMA模块、CDMA2000模块、WCDMA模...

【专利技术属性】
技术研发人员：陈景青，胡杨刚，黄华丹，
申请(专利权)人：广州奥睿智能科技有限公司，
类型：发明
国别省市：广东;44