一种基于图像识别的口语训练方法及家教设备技术

本发明专利技术实施例涉及家教设备技术领域，公开了一种基于图像识别的口语训练方法及家教设备，该方法包括：在家教设备开启口语训练模式的状态下，获取定位区域对应的目标图像，该定位区域为根据学生用户在放置于指定拍摄区域上的学习资料载体中的定位获得；以及，检测学生用户输入的口语训练语音；提取目标图像所记载的目标练习内容；获取目标练习内容相匹配的预设的标准发音信息；识别口语训练语音与标准发音信息的匹配度；根据匹配度生成学生用户的口语训练结果并输出；实施本发明专利技术实施例，能够满足学生用户在任何学习场景下的口语学习需求，有助于提高学生用户的口语训练效果。

【技术实现步骤摘要】
一种基于图像识别的口语训练方法及家教设备
本专利技术涉及家教设备
，具体涉及一种基于图像识别的口语训练方法及家教设备。
技术介绍
口语教学在现在的教育体系中占有相当重要的位置，作为一门基础课，对应地，学生及家长也越来越重视口语训练，市面上出现的各种学习产品(如家教设备)也相应地提供了口语训练课文，学生用户针对口语训练课文输入口语训练语音，学习产品采集学生用户输入的口语训练语音，然后将用户输入的口语训练语音与预先存储的标准发音进行匹配，获得学生用户的口语训练结果提供给学生用户，从而学生用户能够了解自己的发音情况，进一步提高发音准确率。但是在实践中专利技术，学生用户只能练习学习产品所提供的口语训练课文，局限性比较明显，不适用于其它学习场景下的学习需求。
技术实现思路
本专利技术实施例公开了一种基于图像识别的口语训练方法及家教设备，用于满足用户在任何学习场景下的口语学习需求，有助于提高用户的口语训练效果。本专利技术第一方面公开了一种基于图像识别的口语训练方法，可包括：在家教设备开启口语训练模式的状态下，获取定位区域对应的目标图像，所述定位区域为根据学生用户在放置于指定拍摄区域上的学习资料载体中的定位获得；以及，检测所述学生用户输入的口语训练语音；提取所述目标图像所记载的目标练习内容；获取所述目标练习内容相匹配的预设的标准发音信息；识别所述口语训练语音与所述标准发音信息的匹配度；根据所述匹配度生成所述学生用户的口语训练结果并输出。作为一种可选的实施方式，在本专利技术第一方面中，所述在家教设备开启口语训练模式的状态下，获取定位区域对应的目标图像，所述定位区域为根据学生用户在放置于指定拍摄区域上的学习资料载体中的定位获得，包括：在家教设备开启口语训练模式的状态下，通过所述家教设备上外置有反光镜的摄像头对所述指定拍摄区域上的学习资料载体的当前页面进行拍摄预览，并在预览到所述学生用户利用定位物体在所述当前页面上的定位区域时，从预览图像中拍摄所述定位区域获得目标图像。作为一种可选的实施方式，在本专利技术第一方面中，所述在家教设备开启口语训练模式的状态下，通过所述家教设备上外置有反光镜的摄像头对所述指定拍摄区域上的学习资料载体的当前页面进行拍摄预览，并在预览到所述学生用户利用定位物体在所述当前页面上的定位区域时，从预览图像中拍摄所述定位区域获得目标图像，包括：在家教设备开启口语训练模式的状态下，利用内置于所述家教设备的投影装置扫描所述指定拍摄区域上的学习资料载体的当前页面的练习内容，并将扫描到的练习内容投影至指定投影面上；通过所述家教设备上外置有反光镜的摄像头对所述投影面上所显示的练习内容进行拍摄预览，并在预览到所述学生用户利用定位物体在所述投影面上的定位区域，从预览图像中拍摄所述定位区域获得目标图像。作为一种可选的实施方式，在本专利技术第一方面中，所述获取所述目标练习内容相匹配的预设的标准发音信息，包括：检测所述家教设备是否存储有所述目标练习内容相匹配的原始口语素材；若所述家教设备存储有所述原始口语素材，从所述原始口语素材配套的标准发音集中提取所述目标练习内容匹配的标准发音信息；若所述家教设备未存储有所述原始口语素材，调用所述家教设备预先存储的标准发音模型，利用所述标准发音模型将所述目标练习内容转换成对应的语音信息，以作为所述目标练习内容匹配的标准发音信息。作为一种可选的实施方式，在本专利技术第一方面中，该方法还包括：获取与所述家教设备连接的且由所述学生用户佩戴的测量设备发送的测量数据，所述测量数据至少包括言语声调信息、语法模式指示信息及动作与手势指示信息；分析所述测量数据获得所述学生用户针对口语训练的感兴趣程度指示信息；将所述感兴趣程度指示信息发送给与所述家教设备绑定的家长终端。本专利技术第二方面公开了一种家教设备，可包括：拍摄单元、检测单元、提取单元、识别单元及生成单元；所述拍摄单元，用于在所述家教设备开启口语训练模式的状态下，获取定位区域对应的目标图像，所述定位区域为根据学生用户在放置于指定拍摄区域上的学习资料载体中的定位获得；所述检测单元，用于检测所述学生用户输入的口语训练语音；所述提取单元，用于提取所述目标图像所记载的目标练习内容；所述识别单元，用于获取所述目标练习内容相匹配的预设的标准发音信息，以及识别所述口语训练语音与所述标准发音信息的匹配度；所述生成单元，用于根据所述匹配度生成所述学生用户的口语训练结果并输出。作为一种可选的实施方式，在本专利技术第二方面中，所述拍摄单元包括：拍摄子单元，用于在所述家教设备开启口语训练模式的状态下，通过所述家教设备上外置有反光镜的摄像头对所述指定拍摄区域上的学习资料载体的当前页面进行拍摄预览，并在预览到所述学生用户利用定位物体在所述当前页面上的定位区域时，从预览图像中拍摄所述定位区域获得目标图像。作为一种可选的实施方式，在本专利技术第二方面中，所述拍摄子单元包括：扫描模块，用于在所述家教设备开启口语训练模式的状态下，利用内置于所述家教设备的投影装置扫描所述指定拍摄区域上的学习资料载体的当前页面的练习内容，并将扫描到的练习内容投影至指定投影面上；拍摄模块，用于通过所述家教设备上外置有反光镜的摄像头对所述投影面上所显示的练习内容进行拍摄预览，并在预览到所述学生用户利用定位物体在所述投影面上的定位区域，从预览图像中拍摄所述定位区域获得目标图像。作为一种可选的实施方式，在本专利技术第二方面中，所述识别单元用于获取所述目标练习内容相匹配的预设的标准发音信息的方式具体为：所述识别单元，用于检测所述家教设备是否存储有所述目标练习内容相匹配的原始口语素材；以及，若检测到所述家教设备存储有所述原始口语素材，从所述原始口语素材配套的标准发音集中提取所述目标练习内容匹配的标准发音信息，若检测到所述家教设备未存储有所述原始口语素材时，调用所述家教设备预先存储的标准发音模型，利用所述标准发音模型将所述目标练习内容转换成对应的语音信息，以作为所述目标练习内容匹配的标准发音信息。作为一种可选的实施方式，在本专利技术第二方面中，所述家教设备还包括：通信单元，用于获取与所述家教设备连接的且由所述学生用户佩戴的测量设备发送的测量数据，所述测量数据至少包括言语声调信息、语法模式指示信息及动作与手势指示信息；兴趣分析单元，用于分析所述测量数据获得所述学生用户针对口语训练的感兴趣程度指示信息；所述通信单元，还用于将所述感兴趣程度指示信息发送给与所述家教设备绑定的家长终端。本专利技术第三方面公开了一种家教设备，可包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行本专利技术实施例第一方面公开的一种基于图像识别的口语训练方法。本专利技术第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本专利技术实施例第一方面公开的一种基于图像识别的口语训练方法。本专利技术第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。本专利技术实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。与现有技本文档来自技高网...

【技术保护点】
1.一种基于图像识别的口语训练方法，其特征在于，包括：在家教设备开启口语训练模式的状态下，获取定位区域对应的目标图像，所述定位区域为根据学生用户在放置于指定拍摄区域上的学习资料载体中的定位获得；以及，检测所述学生用户输入的口语训练语音；提取所述目标图像所记载的目标练习内容；获取所述目标练习内容相匹配的预设的标准发音信息；识别所述口语训练语音与所述标准发音信息的匹配度；根据所述匹配度生成所述学生用户的口语训练结果并输出。

【技术特征摘要】
1.一种基于图像识别的口语训练方法，其特征在于，包括：在家教设备开启口语训练模式的状态下，获取定位区域对应的目标图像，所述定位区域为根据学生用户在放置于指定拍摄区域上的学习资料载体中的定位获得；以及，检测所述学生用户输入的口语训练语音；提取所述目标图像所记载的目标练习内容；获取所述目标练习内容相匹配的预设的标准发音信息；识别所述口语训练语音与所述标准发音信息的匹配度；根据所述匹配度生成所述学生用户的口语训练结果并输出。2.根据权利要求1所述的方法，其特征在于，所述在家教设备开启口语训练模式的状态下，获取定位区域对应的目标图像，所述定位区域为根据学生用户在放置于指定拍摄区域上的学习资料载体中的定位获得，包括：在家教设备开启口语训练模式的状态下，通过所述家教设备上外置有反光镜的摄像头对所述指定拍摄区域上的学习资料载体的当前页面进行拍摄预览，并在预览到所述学生用户利用定位物体在所述当前页面上的定位区域时，从预览图像中拍摄所述定位区域获得目标图像。3.根据权利要求2所述的方法，其特征在于，所述在家教设备开启口语训练模式的状态下，通过所述家教设备上外置有反光镜的摄像头对所述指定拍摄区域上的学习资料载体的当前页面进行拍摄预览，并在预览到所述学生用户利用定位物体在所述当前页面上的定位区域时，从预览图像中拍摄所述定位区域获得目标图像，包括：在家教设备开启口语训练模式的状态下，利用内置于所述家教设备的投影装置扫描所述指定拍摄区域上的学习资料载体的当前页面的练习内容，并将扫描到的练习内容投影至指定投影面上；通过所述家教设备上外置有反光镜的摄像头对所述投影面上所显示的练习内容进行拍摄预览，并在预览到所述学生用户利用定位物体在所述投影面上的定位区域，从预览图像中拍摄所述定位区域获得目标图像。4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取所述目标练习内容相匹配的预设的标准发音信息，包括：检测所述家教设备是否存储有所述目标练习内容相匹配的原始口语素材；若所述家教设备存储有所述原始口语素材，从所述原始口语素材配套的标准发音集中提取所述目标练习内容匹配的标准发音信息；若所述家教设备未存储有所述原始口语素材，调用所述家教设备预先存储的标准发音模型，利用所述标准发音模型将所述目标练习内容转换成对应的语音信息，以作为所述目标练习内容匹配的标准发音信息。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取与所述家教设备连接的且由所述学生用户佩戴的测量设备发送的测量数据，所述测量数据至少包括言语声调信息、语法模式指示信息及动作与手势指示信息；分析所述测量数据获得所述学生用户针对口语训练的感兴趣程度指示信息；将所述感兴趣程度指示信息发送给与所述家教设备绑定的家长终端。6.一种家教设备，其特征在于，包括：拍摄单元、检测单元、提取单元、识别单元及生成单元；所述拍摄单元，用于在所述家教设备开启口语训练模式的状态下，获取定位区域对应...

【专利技术属性】
技术研发人员：徐杨，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：广东,44