用于语言启蒙的多模态交互方法、系统及智能机器人技术方案

本发明专利技术公开了一种用于语言启蒙的多模态交互方法、系统及智能机器人，其中多模态交互方法包括以下步骤：获取用于语言启蒙的待输出语言信息；为所述待输出语言信息确定相适配的动作；驱动所述智能机器人的音频输出装置输出所述待输出的语言信息并驱动所述智能机器人的对应舵机执行所述动作。本发明专利技术提供的用于语言启蒙的多模态交互方法、系统及智能机器人，通过在驱动智能机器人输出语音信息的同时还驱动其执行与语音信息相适配的动作，实现了智能机器人用于语言启蒙时交互方式的多样性，通过相适配的动作能够提高对儿童的吸引力，达到持续吸引儿童注意力的效果，进而提高智能机器人用于儿童语言启蒙时的学习效果。人用于儿童语言启蒙时的学习效果。人用于儿童语言启蒙时的学习效果。

【技术实现步骤摘要】
用于语言启蒙的多模态交互方法、系统及智能机器人


[0001]本专利技术涉及人机交互领域，特别涉及一种用于语言启蒙的多模态交互方法、系统及智能机器人。

技术介绍

[0002]目前用于语言教学的智能机器人采用的常见的交互方式包括键盘输入、点触式交互和语音交互。然而，前述交互方式用于儿童语言启蒙时效果均不理想，原因在于，现有的交互方式过于单调，不符合儿童的认知发展规律所要求的多种形式刺激；另外，现有的交互方式也过于呆板，无法充分模拟人与人之间的交互，难以持续吸引儿童的注意力，造成智能机器人用于儿童语言启蒙时学习效果欠佳。

技术实现思路

[0003]本专利技术要解决的技术问题是为了克服现有技术中智能机器人用于儿童语言启蒙时学习效果欠佳的缺陷，提供一种交互方式丰富、能够持续吸引儿童注意力的用于语言启蒙的多模态交互方法、系统及智能机器人。
[0004]本专利技术是通过下述技术方案来解决上述技术问题：
[0005]本专利技术第一方面提供了一种用于语言启蒙的智能机器人的多模态交互方法，包括以下步骤：
[0006]获取用于语言启蒙的待输出语言信息；
[0007]为所述待输出语言信息确定相适配的动作；
[0008]驱动所述智能机器人的音频输出装置输出所述待输出的语言信息并驱动所述智能机器人的对应舵机执行所述动作。
[0009]本方案中，通过在驱动智能机器人输出语音信息的同时还驱动其执行与语音信息相适配的动作，实现了智能机器人用于语言启蒙时交互方式的多样性，通过相适配的动作能够提高对儿童的吸引力，达到持续吸引儿童注意力的效果，进而提高智能机器人用于儿童语言启蒙时的学习效果。
[0010]较佳地，所述获取用于语言启蒙的待输出语言信息的步骤为：
[0011]根据预设的条件获取用于语言启蒙的待输出语言信息。
[0012]较佳地，所述预设的条件包括预设的时间点；
[0013]所述根据预设的条件获取用于语言启蒙的待输出语言信息的步骤包括以下步骤：
[0014]判断当前时间是否为所述预设的时间点，若是则获取用于语言启蒙的待输出语言信息。
[0015]本方案实现了在预设的时间点自动启动智能机器人进行语言启蒙，当当前时间不是预设的时间点时继续按照预设的规则监控当前时间，直到其为预设的时间点时自动启动智能机器人进行语言启蒙。
[0016]较佳地，所述预设的条件包括预设的时间范围；
[0017]所述根据预设的条件获取用于语言启蒙的待输出语言信息的步骤包括以下步骤：
[0018]在所述预设的时间范围内，每隔固定时间或根据接收到的识别指令驱动所述智能机器人的视频采集装置采集视野范围内的物体并进行识别；
[0019]判断识别的结果是否满足预设的识别条件，若是则获取用于语言启蒙的待输出语言信息。
[0020]本方案实现了在预设的时间范围内，周期性地或者根据接收的识别指令使用智能机器人进行语言启蒙，具体为驱动智能机器人识别视野范围内的物体，并在识别到的结果满足预设的识别条件时驱动智能机器人输出语音信息的同时还驱动其执行与语音信息相适配的动作。
[0021]较佳地，所述多模态交互方法还包括获取启动指令的步骤；
[0022]所述获取用于语言启蒙的待输出语言信息的步骤为：
[0023]在收到所述启动指令后获取用于语言启蒙的待输出语言信息。
[0024]本方案中，智能机器人在收到启动指令后再开始语言启蒙对应的操作。
[0025]较佳地，所述获取启动指令的步骤包括：
[0026]获取使用者发出的语音信息，以得到所述启动指令；
[0027]和/或采集图像信息，以得到所述启动指令。
[0028]本方案中，启动指令可以通过采集使用者发出的语音实现，也可以通过采集图像得到，或者两者兼而有之。其中图像可以是使用者提供的，也可以是智能机器人主动获取的。
[0029]较佳地，所述启动指令为依次做出动作指令；
[0030]所述为所述待输出语言信息确定相适配的动作的步骤为：
[0031]为所述待输出语言信息确定相适配的一系列的动作；
[0032]所述驱动所述智能机器人的对应舵机执行所述动作的步骤为：
[0033]驱动所述智能机器人的对应舵机执行所述一系列的动作。
[0034]本方案中，启动指令为要求智能机器人依次做出一系列的动作对应的指令，基于该启动指令，实现驱动智能机器人输出语音信息的同时还执行一系列匹配的动作，以此提高对儿童的吸引力，达到持续吸引儿童注意力的效果，从而有效提高智能机器人用于儿童语言启蒙时的学习效果。
[0035]较佳地，所述启动指令包括第一预设指令；
[0036]所述在收到所述启动指令后获取用于语言启蒙的待输出语言信息的步骤为：
[0037]在收到所述第一预设指令后获取待猜测的语言信息，基于所述待猜测的语言信息得到对应的解释语言信息，并将所述解释语言信息作为所述待输出语言信息；
[0038]在驱动所述智能机器人的音频输出装置输出所述待输出的语言信息并驱动所述智能机器人的对应舵机执行所述动作步骤之后还包括以下步骤：
[0039]采集使用者发出的语音信息并识别所述语音信息与所述待猜测的语言信息是否匹配，若是则驱动所述智能机器人的音频输出装置输出回答正确对应的语音并驱动所述智能机器人的对应舵机执行表示回答正确的动作，若否则驱动所述智能机器人的音频输出装置输出回答错误对应的语音并驱动所述智能机器人的对应舵机执行表示回答错误的动作。
[0040]本方案实现了智能机器人的使用者和智能机器人之间猜测语言信息的功能，具体
猜测过程中智能机器人在发出语音的同时配合动作，有利于吸引使用者的注意力，更好的识别出待猜测的语言信息，并通过驱动智能机器人做出表示回答正确如点头或表示回答错误如摇头的动作，丰富了语言启蒙时交互方式，达到持续吸引儿童注意力的效果，提高了智能机器人用于儿童语言启蒙时的学习效果。当然表示回答正确和错误的动作也可以是其它类似的动作，譬如回答正确时鼓掌，回答错误时摸摸头等。
[0041]较佳地，所述启动指令包括第二预设指令；
[0042]所述在收到所述启动指令后获取用于语言启蒙的待输出语言信息的步骤为：
[0043]在收到所述第二预设指令后驱动所述智能机器人的对应舵机执行低头并指向预设页面的动作；
[0044]驱动所述智能机器人的视频采集装置采集所述预设页面上的图像并识别出所述图像中的物体；
[0045]将所述图像中的物体的外语名称作为所述待输出语言信息。
[0046]本方案充分模拟了人与人之间的交互，实现了通过智能机器人指读预设页面中物体，如绘本图像的识别及讲解，进一步可以实现与使用者就识别出的物体进行有关的问答，并穿插动作，提高了智能机器人用于儿童语言启蒙时的学习效果。
[0047]较佳地，所述启动指令包括第三预设指令；
[0048]所述在收到所述启本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于语言启蒙的智能机器人的多模态交互方法，其特征在于，包括以下步骤：获取用于语言启蒙的待输出语言信息；为所述待输出语言信息确定相适配的动作；驱动所述智能机器人的音频输出装置输出所述待输出的语言信息并驱动所述智能机器人的对应舵机执行所述动作。2.如权利要求1所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述获取用于语言启蒙的待输出语言信息的步骤为：根据预设的条件获取用于语言启蒙的待输出语言信息。3.如权利要求2所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述预设的条件包括预设的时间点；所述根据预设的条件获取用于语言启蒙的待输出语言信息的步骤包括以下步骤：判断当前时间是否为所述预设的时间点，若是则获取用于语言启蒙的待输出语言信息。4.如权利要求2所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述预设的条件包括预设的时间范围；所述根据预设的条件获取用于语言启蒙的待输出语言信息的步骤包括以下步骤：在所述预设的时间范围内，每隔固定时间或根据接收到的识别指令驱动所述智能机器人的视频采集装置采集视野范围内的物体并进行识别；判断识别的结果是否满足预设的识别条件，若是则获取用于语言启蒙的待输出语言信息。5.如权利要求1所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述多模态交互方法还包括获取启动指令的步骤；所述获取用于语言启蒙的待输出语言信息的步骤为：在收到所述启动指令后获取用于语言启蒙的待输出语言信息。6.如权利要求5所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述获取启动指令的步骤包括：获取使用者发出的语音信息，以得到所述启动指令；和/或采集图像信息，以得到所述启动指令。7.如权利要求5所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述启动指令为依次做出动作指令；所述为所述待输出语言信息确定相适配的动作的步骤为：为所述待输出语言信息确定相适配的一系列的动作；所述驱动所述智能机器人的对应舵机执行所述动作的步骤为：驱动所述智能机器人的对应舵机执行所述一系列的动作。8.如权利要求5所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述启动指令包括第一预设指令；所述在收到所述启动指令后获取用于语言启蒙的待输出语言信息的步骤为：在收到所述第一预设指令后获取待猜测的语言信息，基于所述待猜测的语言信息得到对应的解释语言信息，并将所述解释语言信息作为所述待输出语言信息；
在驱动所述智能机器人的音频输出装置输出所述待输出的语言信息并驱动所述智能机器人的对应舵机执行所述动作步骤之后还包括以下步骤：采集使用者发出的语音信息并识别所述语音信息与所述待猜测的语言信息是否匹配，若是则驱动所述智能机器人的音频输出装置输出回答正确对应的语音并驱动所述智能机器人的对应舵机执行表示回答正确的动作，若否则驱动所述智能机器人的音频输出装置输出回答错误对应的语音并驱动所述智能机器人的对应舵机执行表示回答错误的动作。9.如权利要求5所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述启动指令包括第二预设指令；所述在收到所述启动指令后获取用于语言启蒙的待输出语言信息的步骤为：在收到所述第二预设指令后驱动所述智能机器人的对应舵机执行低头并指向预设页面的动作；驱动所述智能机器人的视频采集装置采集所述预设页面上的图像并识别出所述图像中的物体；将所述图像中的物体的外语名称作为所述待输出语言信息。10.如权利要求5所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述启动指令包括第三预设指令；所述在收到所述启动指令后获取用于语言启蒙的待输出语言信息的步骤为：在收到所述第三预设指令后驱动所述智能机器人的对应舵机执行低头并指向预设页面的动作；驱动所述智能机器人的视频采集装置采集所述预设页面上的文字信息；将所述预设页面上的文字信息作为所述待输出语言信息。11.如权利要求5所述的用于语言启蒙的智能机器人的多模态交互方法，其特征在于，所述启动指令包括第四预设指令；所述在收到所述启动指令后获取用于语言启蒙的待输出语言信息的步骤为：在收到所述第四预设指令后采集使用者用外语描述的待猜测的语言信息对应的内容，并基于所述对应的内容对所述待猜测的语言信息进行识别；将识别的结果作为所述待输出语言信息。12.一种用于语言启蒙的智能机器人的多模态交互系统，其特征在于，包括：语言信息获取模块，用于获取用于语言启蒙的待输出语言信息；动作匹配模块，用于为所述待输出语...

【专利技术属性】
技术研发人员：郑婉仪，
申请(专利权)人：上海语朋科技有限公司，
类型：发明
国别省市：