基于增强现实技术的教学方法、云服务平台和教学系统技术方案

本发明专利技术属于人工智能技术领域，提供一种基于增强现实技术的教学方法、云服务平台和教学系统，其中，所述方法包括：基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端；接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容，解决了现有技术中机器人教学效果差的技术问题。

Augmented Reality-based Teaching Method, Cloud Service Platform and Teaching System

The invention belongs to the field of artificial intelligence technology, and provides a teaching method, cloud service platform and teaching system based on augmented reality technology. The method includes: sending structured knowledge content to physical robots and user terminals based on knowledge atlas; receiving real scene images collected by physical robots. Image information and voice information are used for facial expression recognition and voice emotion recognition, respectively. Facial expression information and voice emotion information are obtained. The real emotional information of users is obtained by fusing the facial expression information and the voice emotion information. According to the authenticity of users, the real emotional information of users is obtained. Real-time adjustment of emotional information presented to the user's knowledge content solves the technical problem of poor teaching effect of robots in the existing technology.

【技术实现步骤摘要】
基于增强现实技术的教学方法、云服务平台和教学系统
本专利技术属于人工智能
，尤其涉及一种基于增强现实技术的教学方法、云服务平台和教学系统。
技术介绍
现有的人工智能教育机器人主要分为两类：一种是完全虚拟的虚拟机器人，一种是现实的实物机器人。所述虚拟机器人是指用户在终端的显示屏上看到的模拟教师授课的机器人。由于所述虚拟机器人无法与用户进行交互，使得用户只能被动的接收所传授的知识，具有教学效果差的缺点。然而，实物机器人受目前机器人技术的限制，一般只能完成较简单的对话功能，无法满足用户多种多样的学习需求，因此，同样具有教学效果差的缺点。
技术实现思路
本专利技术的目的在于提供一种基于增强现实技术的教学机器人、云服务平台和教学系统，可以解决现有技术中机器人教学效果差的技术问题。本专利技术实施例第一方面提供一种基于增强现实技术的教学方法，包括：基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容。进一步地，所述基于知识图谱，将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：构建知识图谱；所述构建知识图谱包括：获取知识点数据信息；提取所述知识点数据信息的实体信息、属性信息和关系信息；根据所述实体信息、属性信息和关系信息对所述知识点数据信息进行知识点信息融合；将所述已融合的知识点信息进行本体化描述，并基于知识图谱中的已存在的知识点信息的实体信息、属性信息和关系信息进行知识推理，建立所述已融合的知识点信息与所述已存在的知识点信息的关联，生成结构化的知识内容。又进一步地，所述将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：制作虚拟机器人动作库；根据所述结构化的知识内容向所述用户终端输出所述虚拟机器人动作库中存储的虚拟机器人动作，以便通过所述用户终端的交互界面中显示与所述实物机器人配合的虚拟机器人进行辅助教学。进一步地，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息包括：对所述图像信息进行人脸检测，得到人脸图像；利用子空间特征提取方法对人脸图像中的高维面部特征投影到低维空间，得到人脸特征信息；根据所述人脸特征信息结合面部活动单元编码系统对所述人脸图像进行表情分类，得到人脸表情信息。进一步地，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息还包括：对所述语音信息进行滤波，并利用训练好的声学模型和语言模型将所述滤波后的语音信息转换为文本信息；对所述文本信息进行分词，并提取与情感有关的文本特征信息；通过无监督学习获取所述文本特征信息对应的情感模式，得到所述语音情感信息。进一步地，所述对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息之后，还包括：输出用于与用户进行交互的对话内容；所述输出用于与用户进行交互的对话内容，包括：利用多种对话模型对所述语音信息进行响应，得到多个与用户进行交互的对话内容；利用训练好的深度强化学习模型对所述多个与用户进行交互的对话内容进行选择，并输出选中的用于与用户进行交互的对话内容。可选地，所述输出用于与用户进行交互的对话内容之后，包括：根据用户的语音信息和与用户进行交互的对话内容，评估用户的知识结构，根据所述用户的知识结构制定呈现给用户的知识内容。本专利技术实施例第二方面提供一种基于增强现实技术的云服务平台，包括：发送模块，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；识别模块，用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；计算模块，用于对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；调整模块，用于根据所述用户真实情感信息实时调整呈现给用户的知识内容。本专利技术实施例第三方面提供一种基于增强现实技术的教学系统，包括：云服务平台、实物机器人和用户终端；所述云服务平台，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；所述实物机器人，用于采集现实场景的图像信息和语音信息，并发送给所述云服务平台，并将所述云服务平台发送的知识内容呈现给用户；所述云服务平台，还用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容；所述用户终端，用于将所述云服务平台发送的知识内容呈现给用户。可选地，所述云服务平台，还用于根据所述图像信息和所述知识内容生成机器人动作控制指令，并将所述机器人动作控制指令发送给所述实物机器人；所述实物机器人，还用于根据所述机器人动作控制指令移动至目标位置并执行辅助教学动作。本专利技术实施例中，利用结合增强现实技术和机器人技术的人工智能教学系统，以实物机器人和虚拟机器人为主要交互对象，不仅能够实现传统教学环境中的以语音、视频、图片和文本为交流媒介，还能提供活灵活现的物理机器人和千变万化的虚拟机器人进行辅助教学，增强了教学的参与感。还能够根据用户的人脸表情信息和语音情感信息实时调整教学内容，为用户制定个性化的学习路径，提高了教学效果和学习体验，解决了现有技术中机器人教学效果差的技术问题，促进教育资源的普适化。附图说明图1示出了本专利技术实施例提供的一种基于增强现实技术的教学方法的实现流程示意图；图2为本专利技术实施例提供的一种基于增强现实技术的教学方法S101的具体实现流程示意图；图3为本专利技术实施例提供的一种基于增强现实技术的教学方法S102的具体实现流程示意图；图4为本专利技术实施例提供的一种基于增强现实技术的教学方法S102的另一具体实现流程示意图；图5为本专利技术实施例提供的输出对话内容的实现流程示意图；图6为本专利技术实施例提供的一种基于增强现实技术的云服务平台的结构示意图；图7为本专利技术实施例提供的一种基于增强现实技术的教学系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。增强现实技术(AugmentedReality，简称AR)是一门综合技术，以计算机技术为主，综合利用计算机图形学、图像可视本文档来自技高网...

【技术保护点】
1.一种基于增强现实技术的教学方法，其特征在于，包括：基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容。

【技术特征摘要】
2018.03.26 CN 20181025148641.一种基于增强现实技术的教学方法，其特征在于，包括：基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容。2.如权利要求1所述的教学方法，其特征在于，所述基于知识图谱，将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：构建知识图谱；所述构建知识图谱包括：获取知识点数据信息；提取所述知识点数据信息的实体信息、属性信息和关系信息；根据所述实体信息、属性信息和关系信息对所述知识点数据信息进行知识点信息融合；将所述已融合的知识点信息进行本体化描述，并基于知识图谱中的已存在的知识点信息的实体信息、属性信息和关系信息进行知识推理，建立所述已融合的知识点信息与所述已存在的知识点信息的关联，生成结构化的知识内容。3.如权利要求1所述的教学方法，其特征在于，所述将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：制作虚拟机器人动作库；根据所述结构化的知识内容向所述用户终端输出所述虚拟机器人动作库中存储的虚拟机器人动作，以便通过所述用户终端的交互界面中显示与所述实物机器人配合的虚拟机器人进行辅助教学。4.如权利要求1所述的教学方法，其特征在于，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息包括：对所述图像信息进行人脸检测，得到人脸图像；利用子空间特征提取方法对人脸图像中的高维面部特征投影到低维空间，得到人脸特征信息；根据所述人脸特征信息结合面部活动单元编码系统对所述人脸图像进行表情分类，得到人脸表情信息。5.如权利要求1所述的教学方法，其特征在于，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息还包括：对所述语音信息进行滤波，并利用训练好的声学模型和语言模型将所述滤波后的语音信息转换为文本信息；对所述文本信息进行分词，并提取与情感有关的文本特征信息；通过无监督学习获取所述文本特征信息对应的情感模式，得到所述语音情感信息。6...

【专利技术属性】
技术研发人员：韩波，邓黎明，陈雪梅，黄强，赖春旭，
申请(专利权)人：深圳市波心幻海科技有限公司，
类型：发明
国别省市：广东,44