一种基于AR及图像识别的英语学习机制造技术

本发明专利技术涉及学习设备技术领域，更具体地，涉及一种基于AR及图像识别的英语学习机。该英语学习机包括学习机本体，学习机本体包括中央处理器以及图像采集单元、显示单元、存储单元、音频单元、感光单元、按键单元等功能单元，将AR技术应用到英语学习系统中，通过把物体汉语名称和英文单词进行图像识别相互转化，获得虚拟显示对象，实现了图形与英语单词的关联，从而能在丰富的实际场景中完成多样化的学习，克服现有学习模式的局限性。同时，可连接网络进行实时更新，使模型数据始终保持最新状态。

An English Learning Machine Based on AR and Image Recognition

【技术实现步骤摘要】
一种基于AR及图像识别的英语学习机
本专利技术涉及学习设备
，更具体地，涉及一种基于AR及图像识别的英语学习机。
技术介绍
目前，市场上的英语单词学习机多局限于电子词典等内容，没有与日常生活的见闻相结合，缺少与实际生活的联系。随着智能化的发展，学习设备也开始逐渐智能化。为了更好地实现学习效果，理应推出一款更具智能化的英语单词学习机。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种基于AR及图像识别的英语学习机，在日常生活中随时通过学习机的图像识别，对任意物体进行动态识别，增强与生活各事物的联系，打造良好的学习氛围，提升学习英语的兴趣。为解决上述技术问题，本专利技术采用的技术方案是：一种基于AR及图像识别的英语学习机，包括学习机本体，所述学习机本体包括图像采集单元、显示单元、存储单元和中央处理器，图像采集单元、显示单元、存储单元均与中央处理器电连接。所述图像采集单元包括前置摄像头和后置摄像头，前置摄像头、后置摄像头分别设于学习机本体的正、反两面，用于采集环境图像并将图像数据传输至中央处理器。通过摄像头采集环境图像，并将图像数据传送至中央处理器，由中央处理器进行图像处理。所述显示单元为显示屏，设于学习机本体正面，用于显示数据结果。所述存储单元设于学习机本体内，用于存储模型数据和操作轨迹。存储单元可连接网络进行实时更新，使模型数据始终保持最新状态。当发现英文单词、中文名称与图像名称对应出错时，可通过对出错物体进行拍照上传，在上传过程中附上相对应正确的中文名称的方式来进行申请纠错，更新之后进行存储。所述中央处理器将图像数据集中处理，提取图像特征点，与本地的模型数据比对，确认物体置信度得出识别结果，并对结果进行翻译，实时生成文字模型，从而将图像数据及文字模型传输至显示屏。其中，中央处理器内置AR算法程序，可将所述前置摄像头及后置摄像头的图像数据通过卷积神经网络处理，提取图像特征，比对本地模型库数据，确认物体置信度得出识别结果，对结果进行翻译，实时生成三维文字模型，从而达到识别物体出现英语单词及翻译的AR效果，并将图像数据传送至显示屏。进一步地，所述学习机本体还包括音频单元，音频单元包括麦克风和扬声器，麦克风、扬声器均设于学习机本体正面，均与中央处理器电连接；麦克风用于收集环境声音并传输至中央处理器，扬声器用于播放中央处理器传输的音频。麦克风用于收集环境声音并传输至中央处理器，方便语音识别，更具智能化。扬声器主要用于实现学习机的单词朗读功能，方便语音学习。进一步地，所述学习机本体还包括感光单元，所述感光单元包括距离传感器和光线传感器，距离传感器、光线传感器均设于学习机本体正面，且均与中央处理器电连接；所述距离传感器用于感应使用者与显示幕之间的距离，低于安全阈值则反馈至中央处理器进行提醒；所述光线传感器用于感知环境光线亮度，并传输数据至中央处理器，根据环境光线亮度自动调节显示幕亮度，节省能源消耗。其中，距离传感器用于感应使用者与显示幕之间的距离，低于安全阈值则反馈至中央处理器，中央处理器处理后通过显示屏弹窗消息提醒用户调整距离。进一步地，所述学习机本体还包括按键单元，按键单元与中央处理器电连接；所述按键单元包括若干用于操控学习机的电容按键，电容按键设于学习机本体正面。按键单元连接中央处理器，主要方便用户对学习机进行操作。进一步地，所述学习机本体还包括用于提供电力供应的电源单元，电源单元设于学习机本体反面，并与中央处理器电连接。进一步地，所述学习机本体呈脸型结构，所述显示屏设于正面的中央部分；所述前置摄像头、距离传感器、光线传感器、扬声器并排设置，并设于显示屏上方；所述电容按键均匀设于显示屏下方；所述麦克风设于两侧耳朵位置，呈对称设置。进一步地，所述学习机本体还设有用于连接网络的WiFi单元，WiFi单元与中央处理器相接。用户可通过按键单元操作，连接网络进行学习机使用。进一步地，所述显示屏呈矩形或椭圆形。进一步地，所述学习机本体反面还设有用于悬挂的挂钩孔，所述挂钩孔设于学习机本体反面的上部，为条形孔结构。挂钩孔方便用于户将学习机悬挂墙壁上使用。进一步地，所述学习机本体还设有用于连接PC端的USB接口。该学习机可同时连接PC端使用或更新。与现有技术相比，本专利技术的有益效果是：1)本专利技术将将AR技术应用到英语学习系统中，通过把物体汉语名称和英文单词进行图像识别相互转化，获得虚拟显示对象，实现了图形与英语单词的关联，从而能在丰富的实际场景中完成多样化的学习，克服现有学习模式的局限性；2)出现用户判断识别结果不准确或者无法识别的情况时，可对联网进行反馈，可以实现模型数据更新，同时提示摄像训练，提高识别精度；3)图像识别和语音识别相结合，学习机可以为用户带来视听多方位的学习体验，激发用户的主动性与兴趣；4)用户可以进行面向同类型物体进行多次识别重复训练，加深印象，增强记忆深度。附图说明图1是英语学习机的正面结构示意图。图2是英语学习机的反面结构示意图。图3是英语学习机的图像识别流程图。其中，1学习机本体，2中央处理器，3前置摄像头，4后置摄像头，5显示屏，6麦克风，7扬声器，8距离传感器，9光线传感器，10电容按键，11电源单元，12挂钩孔。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。实施例1如图1-2所示，本实施例提供了一种基于AR及图像识别的英语学习机，包括学习机本体1，本实施例中，学习机本体1呈猫脸型结构。其中，学习机本体1包括中央处理器2以及图像采集单元、显示单元、存储单元、音频单元、感光单元、按键单元、电源单元11，各均与中央处理器2电连接。同时，学习机本体1反面还设有用于悬挂的挂钩孔12，挂钩孔12设于学习机本体1反面的上部，为条形孔结构。学习机本体1还设有用于连接PC端的USB接口。具体地，图像采集单元包括前置摄像头3和后置摄像头4，前置摄像头3、后置摄像头4分别设于学习机本体1的正、反两面，用于采集环境图像并将图像数据传输至中央处理器2。图像采集单元同时可进行人体手势数据，对手势数据进行分析后生成对应的动作数据，并以动作数据控制中央控制器的运行。具体地，显示单元为矩形的显示屏5，设于学习机本体1正面的中央部分，用于显示数据结果。具体地，存储单元设于学习机本体1内，用于存储模型数据和操作轨迹。模型库是基于inceptionv3模型库神经网络进行迁移训练，以节省训练的时间并有效提高识别准确率。具体地，音频单元包括麦克风6和扬声器7，麦克风6、扬声器7均设于学习机本体1正面；麦克风6用于收集环境声音并传输至中央处理器2，方便语音识别，麦克风6设于两侧耳朵位置，呈对称设置。扬声器7用于播放中央处理器2传输的音频，方便朗读。具体地，感光单元包括距离传感器8和光线传感器9，距离传感器8、光线传感器9均设于学习机本体1正面；距离传感器8用于感应使用者与显示幕之间的距离，低于安全阈值则反馈至中央处理器2进行提醒；光线传感器9用于感知环境光线亮度，并传输数据至中央处理器2，根据本文档来自技高网...

【技术保护点】
1.一种基于AR及图像识别的英语学习机，包括学习机本体(1)，其特征在于：所述学习机本体(1)包括图像采集单元、显示单元、存储单元和中央处理器(2)，图像采集单元、显示单元、存储单元均与中央处理器(2)电连接；所述图像采集单元包括前置摄像头(3)和后置摄像头(4)，前置摄像头(3)、后置摄像头(4)分别设于学习机本体(1)的正、反两面，用于采集环境图像并将图像数据传输至中央处理器(2)；所述显示单元为显示屏(5)，设于学习机本体(1)正面，用于显示数据结果；所述存储单元设于学习机本体(1)内，用于存储模型数据和操作轨迹；所述中央处理器(2)将图像数据集中处理，提取图像特征点，与本地的模型数据比对，确认物体置信度得出识别结果，并对结果进行翻译，实时生成文字模型，从而将图像数据及文字模型传输至显示屏(5)。

【技术特征摘要】
1.一种基于AR及图像识别的英语学习机，包括学习机本体(1)，其特征在于：所述学习机本体(1)包括图像采集单元、显示单元、存储单元和中央处理器(2)，图像采集单元、显示单元、存储单元均与中央处理器(2)电连接；所述图像采集单元包括前置摄像头(3)和后置摄像头(4)，前置摄像头(3)、后置摄像头(4)分别设于学习机本体(1)的正、反两面，用于采集环境图像并将图像数据传输至中央处理器(2)；所述显示单元为显示屏(5)，设于学习机本体(1)正面，用于显示数据结果；所述存储单元设于学习机本体(1)内，用于存储模型数据和操作轨迹；所述中央处理器(2)将图像数据集中处理，提取图像特征点，与本地的模型数据比对，确认物体置信度得出识别结果，并对结果进行翻译，实时生成文字模型，从而将图像数据及文字模型传输至显示屏(5)。2.根据权利要求1所述的一种基于AR及图像识别的英语学习机，其特征在于：所述学习机本体(1)还包括音频单元，音频单元包括麦克风(6)和扬声器(7)，麦克风(6)、扬声器(7)均设于学习机本体(1)正面，均与中央处理器(2)电连接；麦克风(6)用于收集环境声音并传输至中央处理器(2)，扬声器(7)用于播放中央处理器(2)传输的音频。3.根据权利要求2所述的一种基于AR及图像识别的英语学习机，其特征在于：所述学习机本体(1)还包括感光单元，所述感光单元包括距离传感器(8)和光线传感器(9)，距离传感器(8)、光线传感器(9)均设于学习机本体(1)正面，且均与中央处理器(2)电连接；所述距离传感器(8)用于感应使用者与显示幕之间的距离，低于安全阈值则反馈至中央处理器(2)进行提醒；所述光线传感器(9)用于感知环境光线亮度，...

【专利技术属性】
技术研发人员：于兆勤，韦怡婷，卢汝铭，黄政亮，麦雪莹，周楚妍，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44