一种基于AR眼镜的智能学习辅助系统及方法技术方案

本发明专利技术公开了一种基于AR眼镜的智能学习辅助系统及方法，所述系统包括：语音采集模块，用于采集用户的语音信息；语音识别处理模块，用于对获取的语音信息进行识别处理，判断是否为辅助学习启动指令，根据判断结果启动第一摄像采集装置；第一摄像采集装置，用于采集包含题目的题目图片；图片解析单元，用于对题目图片进行图像识别处理，识别出题目图片中的题目信息；查询单元，用于将识别出的题目信息通过网络数据库寻找相应的解题方案；输出单元，用于根据所述语音识别处理模块识别出的指令信息输出相应的解题方案，本发明专利技术可达到高效辅助学习的目的。

An Intelligent Learning Assistant System and Method Based on AR Glasses

The invention discloses an intelligent learning assistant system and method based on AR glasses. The system includes: a voice acquisition module for acquiring the user's voice information; a voice recognition processing module for recognizing and processing the acquired voice information, judging whether it is an auxiliary learning start instruction, starting the first camera acquisition device according to the judgment result; and a first camera acquisition device. Set up, for collecting topic pictures containing topics; picture analysis unit, for image recognition processing of topic pictures, to identify topic information in topic pictures; query unit, for searching corresponding solution scheme through network database; output unit, for output phase of instruction information identified according to the speech recognition processing module. The invention can achieve the purpose of efficient auxiliary learning with the corresponding solution scheme.

【技术实现步骤摘要】
一种基于AR眼镜的智能学习辅助系统及方法
本专利技术涉及AR(AugmentedReality，即增强现实)
，特别是涉及一种基于AR眼镜的智能学习辅助系统及方法。
技术介绍
在生活中，几乎每个人都会遇到生活中的难题，并且需要耗费大量的时间去查找难题的解决方法，例如学生在遇到困难的题目且老师不在身边时，问遍同学却无法得知解题方法，这是相当苦恼的，现有技术中可以通过手机拍照传到论坛需求网友解决，或者是传到某个服务器中自动给出解决方法，然而这些方式都比较耗时，一般还需要配备一台手机，通过使用者双手去触发，费时费力。随着智能计算机技术的发展，智能产品不断涌现，继智能手机、平板电脑之后，增强现实(AR)已有潜力成为下一个重大通用计算平台。AR头显设备是一种实现AR(AugmentedReality，即增强现实，也称之为混合现实)技术且可佩戴在人体头部进行展示的穿戴式设备，它通过计算机技术可将虚拟的信息叠加到真实世界，使真实的环境和虚拟的物体能够实时地叠加到同一个画面中，实现两种信息的相互补充，并通过诸如头盔显示其等设备在用户眼前进行画面展示，增强用户的现实感。例如由谷歌公司开发出的AR智能眼镜，其属于眼镜+摄像头+微处理器+微型摄影设备的结合体，可以将虚拟数据叠加到由摄像头采集到的实时图像中，并通过微型摄影设备在人体眼球前进行画面展示，从而可以实现多种应用功能，例如进行导航或显示周围建筑的参数等。因此，若能将AR眼镜技术用于用户的智能辅助学习，将大大帮助用户解决难题。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于AR眼镜的智能学习辅助系统及方法，以达到高效辅助学习的目的。为达上述目的，本专利技术提出一种基于AR眼镜的智能学习辅助系统，包括：语音采集模块，用于采集用户的语音信息；语音识别处理模块，用于对获取的语音信息进行识别处理，判断是否为辅助学习启动指令，根据判断结果启动第一摄像采集装置；第一摄像采集装置，用于采集包含题目的题目图片；图片解析单元，用于对题目图片进行图像识别处理，识别出题目图片中的题目信息；查询单元，用于将识别出的题目信息通过网络数据库寻找相应的解题方案；输出单元，用于根据所述语音识别处理模块识别出的指令信息输出相应的解题方案。优选地，所述系统还包括：第二摄像采集装置，用于采集用户的眼睛图像；眼神变化识别处理单元，用于根据采集到的眼睛图像确定用户的眼神变化，并将眼神变化的识别结果传送至输出单元，以便输出单元根据用户的眼神变化输出最终的解题方案。优选地，所述系统还包括数据库建立单元用于利用网络数据库建立一个本地数据库，并根据所述查询单元的查询结果更新所述数据库。优选地，所述查询单元于查询时，将识别出的题目信息于所述数据库中先行查询，若未得到查询结果，则再通过网络数据库寻找相应解题方案。优选地，所述语音识别处理模块对该语音信息进行语音识别，将识别结果与预设的辅助学习启动指令进行匹配，若存在与之相匹配的辅助学习启动指令，则启动第一摄像采集装置。优选地，第一摄像采集装置为设置于AR眼镜上的前置摄像头，第二摄像采集装置为设置于AR眼镜上的后置摄像头。优选地，所述输出单元你根据所述语音识别处理模块识别出的指令信息判断是给出提示信息、还是解题思路或者是最后的参考答案，根据用户的需求将最终的解决方案反馈给使用者。为达到上述目的，本专利技术还提供一种基于AR眼镜的智能学习辅助方法，包括如下步骤：步骤S1，采集用户的语音信息；步骤S2，对获取的语音信息进行识别处理，判断是否为辅助学习启动指令，根据判断结果进入步骤S3；步骤S3，利用第一摄像采集装置采集包含题目的题目图片；步骤S4，对题目图片进行图像识别处理，识别出题目图片中的题目信息；步骤S5，将识别出的题目信息通过网络数据库寻找相应解题方案；步骤S6，根据步骤S2识别出的指令信息输出相应的解题方案。优选地，所述方法还包括：利用第二摄像采集装置采集用户的眼睛图像；根据采集到的眼睛图像确定用户的眼神变化，并将眼神变化的识别结果传送至输出单元，以便输出单元根据用户的眼神变化输出最终的解题方案。优选地，所述方法还包括：利用网络数据库建立一个本地数据库，并根据步骤S5的查询结果更新所述数据库；于查询时，将识别出的题目信息于所述数据库中先行查询，若未得到查询结果，则再通过网络数据库寻找相应解题方案。与现有技术相比，本专利技术一种基于AR眼镜的智能学习辅助系统及方法通过采用语音控制的方式和智能识别题目信息并于数据库与网络中查找，自动给出解决方案并显示在眼镜中，本专利技术可以无时无刻辅助学生给出题目的解题思路以及参考方法，在学习新知识时能提供更有的学习方法和经验，相当于一名经验丰富的老师在学生身边随时等待着学生的询问，解放了用户的双手，方便了用户的使用。附图说明图1为本专利技术一种基于AR眼镜的智能学习辅助系统的结构示意图；图2为本专利技术一种基于AR眼镜的智能学习辅助方法的步骤流程图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。图1为本专利技术一种基于AR眼镜的智能学习辅助系统的结构示意图。如图1所示，本专利技术一种基于AR眼镜的智能学习辅助系统，应用于AR眼镜，包括：语音采集模块101，用于采集用户的语音信息，在本专利技术具体实施例中，当用户需要启动智能学习辅助功能时，则输入语音信息，例如“请给出解题思路”，则语音采集模块101采集到该语音信息。语音识别处理模块102，用于对获取的语音信息进行识别处理，判断是否为辅助学习启动指令，根据判断结果启动第一摄像采集装置。在本专利技术具体实施例中，系统中可预先存储若干辅助学习启动指令，例如“请给出解题思路”、“请给出参考答案”等等，当语音采集模块101获得语音信息后，语音识别处理模块102对该语音信息进行语音识别，将识别结果与预设的辅助学习启动指令进行匹配，若存在与之相匹配的辅助学习启动指令，则启动第一摄像采集装置103。由于语音识别处理采用的是现有技术，在此不予赘述。第一摄像采集装置103，用于采集包含题目的题目图片。在本专利技术具体实施例中，第一摄像采集装置103可采用设置于AR眼镜上的摄像头拍摄用户面前的题目。具体地说，于AR眼镜上，可设置一前置摄像头，当语音识别处理模块102识别出辅助学习启动指令时，该前置摄像头启动，拍摄用户前面的题目，获得题目图片信息。图片解析单元104，用于对题目图片进行图像识别处理，识别出题目图片中的题目信息，即文字信息。由于图片解析单元104对题目图进行图像识别处理采用的现有的图像识别技术，在此不予赘述。查询单元105，用于将识别出的题目信息通过网络数据库寻找相应解题方案。也就是说，当获得题目信息后，可提取题目信息中的关键字，利用关键字于网络中搜寻相应的解题方案。输出单元106，用于根据语音识别处理模块102识别出的指令输出相应的解题方案。在本专利技术具体实施例中，可根据语音识别处理模块102识别出的指令判断是给出提示信息、还是解题思路或者是最后的参考答案，最后根据用户的需求将最终本文档来自技高网...

【技术保护点】
1.一种基于AR眼镜的智能学习辅助系统，包括：语音采集模块，用于采集用户的语音信息；语音识别处理模块，用于对获取的语音信息进行识别处理，判断是否为辅助学习启动指令，根据判断结果启动第一摄像采集装置；第一摄像采集装置，用于采集包含题目的题目图片；图片解析单元，用于对题目图片进行图像识别处理，识别出题目图片中的题目信息；查询单元，用于将识别出的题目信息通过网络数据库寻找相应的解题方案；输出单元，用于根据所述语音识别处理模块识别出的指令信息输出相应的解题方案。

【技术特征摘要】
1.一种基于AR眼镜的智能学习辅助系统，包括：语音采集模块，用于采集用户的语音信息；语音识别处理模块，用于对获取的语音信息进行识别处理，判断是否为辅助学习启动指令，根据判断结果启动第一摄像采集装置；第一摄像采集装置，用于采集包含题目的题目图片；图片解析单元，用于对题目图片进行图像识别处理，识别出题目图片中的题目信息；查询单元，用于将识别出的题目信息通过网络数据库寻找相应的解题方案；输出单元，用于根据所述语音识别处理模块识别出的指令信息输出相应的解题方案。2.如权利要求1所述的一种基于AR眼镜的智能学习辅助系统，其特征在于，所述系统还包括：第二摄像采集装置，用于采集用户的眼睛图像；眼神变化识别处理单元，用于根据采集到的眼睛图像确定用户的眼神变化，并将眼神变化的识别结果传送至输出单元，以便输出单元根据用户的眼神变化输出最终的解题方案。3.如权利要求2所述的一种基于AR眼镜的智能学习辅助系统，其特征在于：所述系统还包括数据库建立单元用于利用网络数据库建立一个本地数据库，并根据所述查询单元的查询结果更新所述数据库。4.如权利要求3所述的一种基于AR眼镜的智能学习辅助系统，其特征在于：所述查询单元于查询时，将识别出的题目信息于所述数据库中先行查询，若未得到查询结果，则再通过网络数据库寻找相应解题方案。5.如权利要求1所述的一种基于AR眼镜的智能学习辅助系统，其特征在于：所述语音识别处理模块对该语音信息进行语音识别，将识别结果与预设的辅助学习启动指令进行匹配，若存在与之相匹配的辅助学习启动指令，则启动第一摄像采集装置...

【专利技术属性】
技术研发人员：马天行，
申请(专利权)人：谷东科技有限公司，
类型：发明
国别省市：广东,44