【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及基于mr设备的智能助教方法及系统。
技术介绍
1、目前，在传统的职业教育的实训教学场景中，还受限于教学场地、装备成本、人员数量等因素，无法做到多个学生同时操作练习的情况，由此引入的在职业教育与实训场景中采用虚拟仿真技术辅助教学也有越来越多的案例。但是现在的vr虚拟仿真实训设备，因存在遮挡视线、眩晕等问题，无法在实操实训中有效使用。
技术实现思路
1、本专利技术实施例提供了基于mr设备的智能助教方法及系统，旨在解决现有技术中职业教育的实训教学场景中采用vr虚拟仿真实训设备，因存在遮挡视线、眩晕等情况，导致实训教学的交互效果差的问题。
2、第一方面，本专利技术实施例提供了一种基于mr设备的智能助教方法，应用于基于mr设备的智能助教系统，其中，所述基于mr设备的智能助教系统包括第一用户mr设备、第二用户mr设备及服务器，所述第一用户mr设备和所述第二用户mr设备均与所述服务器通讯连接；所述第一用户mr设备为学生用户类型的mr设备，所述第二用户mr设备为教师用户类型的mr设备；所述基于mr设备的智能助教方法包括：
3、所述第一用户mr设备或所述第二用户mr设备若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；
4、所述服务器响应于所述第一用户mr设备或所述第二用户mr设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；
5、所述服务器若确定
6、所述服务器基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；
7、所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户mr设备或所述第二用户mr设备；
8、所述服务器若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户mr设备；
9、所述第一用户mr设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；
10、所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户mr设备。
11、第二方面，本专利技术实施例还提供了一种基于mr设备的智能助教系统，其包括：第一用户mr设备、第二用户mr设备及服务器，所述第一用户mr设备和所述第二用户mr设备均与所述服务器通讯连接；所述第一用户mr设备为学生用户类型的mr设备，所述第二用户mr设备为教师用户类型的mr设备；
12、所述第一用户mr设备或所述第二用户mr设备用于若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；
13、所述服务器，用于响应于所述第一用户mr设备或所述第二用户mr设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；
14、所述服务器，还用于若确定所述当前交互模式为ai助教语音交互模式，则获取通过所述第一用户mr设备或所述第二用户mr设备采集并上传的当前用户语音数据；基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户mr设备或所述第二用户mr设备；若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户mr设备；
15、所述第一用户mr设备，还用于基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；
16、所述服务器，还用于基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户mr设备。
17、本专利技术实施例提供了基于mr设备的智能助教方法及系统，方法包括第一用户mr设备或第二用户mr设备若接收到用户操作信息，则产生与用户操作信息对应的教学实训操作交互指令并发送至服务器；服务器响应于第一用户mr设备或第二用户mr设备发送的教学实训操作交互指令，获取与教学实训操作交互指令对应的当前交互模式；服务器若确定当前交互模式为ai助教语音交互模式，则获取通过第一用户mr设备或第二用户mr设备采集并上传的当前用户语音数据；服务器基于预先训练的语音识别模型获取与当前用户语音数据对应的当前语音识别文本；服务器基于当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与目标答复数据对应的多维度辅助答复数据，并将目标答复数据及多维度辅助答复数据发送至第一用户mr设备或第二用户mr设备；服务器若确定当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至第一用户mr设备；第一用户mr设备基于工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至服务器，以使得服务器基于预选训练的工具图像识别模型对工具操作视频或工具操作图片集进行识别，得到操作工具识别结果集；服务器基于操作工具识别结果集与当前操作实训实验对应的标准操作工具集的匹配结果，生成与当前操作实训实验对应的最终评价结果并发送至第一用户mr设备。本专利技术实施例能结合mr设备对用户的操作实训实验进行智能语音引导，也能对用户操作实训实验的过程进行记录和自动评分，提升了实训教学的用户体验。
本文档来自技高网...【技术保护点】
1.一种基于MR设备的智能助教方法，应用于基于MR设备的智能助教系统，其特征在于，所述基于MR设备的智能助教系统包括第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备；所述基于MR设备的智能助教方法包括：
2.根据权利要求1所述的方法，其特征在于，所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，包括：
3.根据权利要求2所述的方法，其特征在于，在所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备的步骤之后，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操
5.根据权利要求4所述的方法，其特征在于，所述第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果，包括：
6.根据权利要求1所述的方法，其特征在于，所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集，包括：
7.根据权利要求1所述的方法，其特征在于，所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备，包括：
8.一种基于MR设备的智能助教系统，其特征在于，包括：第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备；
9.根据权利要求8所述的基于MR设备的智能助教系统，其特征在于，所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，包括：
10.根据权利要求9所述的基于MR设备的智能助教系统，其特征在于，所述第一用户MR设备或所述第二用户MR设备，还用于获取与所述多维度辅助答复数据中所述三维模型输出结果对应的模型拆装三维演示数据，并演示所述模型拆装三维演示数据。
...【技术特征摘要】
1.一种基于mr设备的智能助教方法，应用于基于mr设备的智能助教系统，其特征在于，所述基于mr设备的智能助教系统包括第一用户mr设备、第二用户mr设备及服务器，所述第一用户mr设备和所述第二用户mr设备均与所述服务器通讯连接；所述第一用户mr设备为学生用户类型的mr设备，所述第二用户mr设备为教师用户类型的mr设备；所述基于mr设备的智能助教方法包括：
2.根据权利要求1所述的方法，其特征在于，所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，包括：
3.根据权利要求2所述的方法，其特征在于，在所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户mr设备或所述第二用户mr设备的步骤之后，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述第一用户mr设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集，包括：
5.根据权利要求4所述的方法，其特征在于，所述第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户mr设备对应的虚拟物品放置框与通过所述第一用户m...
【专利技术属性】
技术研发人员：张伟林，王辉，冯格，姜丞锴，卢迪，
申请(专利权)人：杭州露电数字科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。