一种作业中图片题目的理解方法及系统技术方案

本发明专利技术提供了一种作业中图片题目的理解方法及系统，其方法包括：采集用户学习过程中的学习图像；保存学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；当用户处理图片题目时，获取用户的语音信息；根据获取语音信息时的时间点和图像信息的时间信息，确定用户发出语音信息时对应的目标图像信息；将目标图像信息和图片题目库中的图片题目进行比对，得到目标图像信息对应的意图关键词；根据语音信息获取语音关键词；根据意图关键词和语音关键词确定图片题目的意图，搜索图片题目的答案以及推荐相关题目。本发明专利技术结合语音和图片解析辅助小学生理解作业中图片题目的意图，从而推荐相关资料。

【技术实现步骤摘要】
一种作业中图片题目的理解方法及系统
本专利技术涉及语音及图片解析
，尤指一种作业中图片题目的理解方法及系统。
技术介绍
随着智能设备的发展，生活中方方面面都变得越来越便捷。例如对于小学生做作业，由于家长时间精力有限，可能不能每次都辅导自己的孩子写作业，因此通过智能设备辅导小学生完成作业，一方面减轻家长的负担，另一方面比起教导水平不一的家长，智能设备能够给与小学生更加贴切的辅导。常见的辅导作业的智能设备通常是根据小学生的语音提问寻找相应的答案，但是有时候低年级的学生在作业过程中使用语音产品会产生一个弊端，作业经常会是图片的形式，如看图写话作文，小学生无法准确用语音来描述图片中的信息，导致语音产品在解析语义过程中使用受限，而当前的纯图像识别率比较低，也不能准确解析出图片题的意图。因此，有必要专利技术一种作业中图片题目的理解方法及系统解决上述问题。
技术实现思路
本专利技术的目的是提供一种作业中图片题目的理解方法及系统，实现通过结合语音和图片解析辅助小学生理解作业中图片题目的意图，从而推荐相关资料的目的。本专利技术提供的技术方案如下：本专利技术提供一种作业中图片题目的理解方法，包括：根据图片题目建立图片题目库；采集用户学习过程中的学习图像；保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；当用户处理图片题目时，获取用户的语音信息；根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；根据所述语音信息获取语音关键词；根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。进一步的，根据图片题目建立图片题目库具体包括：获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；标注所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；根据所述图片信息、所述来源信息以及所述意图关键词建立图片题目库。进一步的，采集用户学习过程中的学习图像具体包括：当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。进一步的，根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目具体包括：将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；根据所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。进一步的，根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目包括：将所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；重新计算每一个意图关键词的权重。本专利技术还提供一种作业中图片题目的理解系统，其特征在于，包括：图库建立模块，根据图片题目建立图片题目库；图像采集模块，采集用户学习过程中的学习图像；存储模块，保存所述图像采集模块采集的所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；语音获取模块，当用户处理图片题目时，获取用户的语音信息；处理模块，根据所述语音获取模块获取所述语音信息时的时间点和所述存储模块存储的图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；比对模块，将所述处理模块确定所述目标图像信息和所述图库建立模块建立的图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；关键词分析模块，分析所述语音获取模块获取的所述语音信息得到语音关键词；意图分析模块，根据所述比对模块得到的所述意图关键词和所述关键词分析模块得到的所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。进一步的，所述图库建立模块具体包括：信息获取单元，获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；标注单元，标注所述信息获取单元获取的所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；图库建立单元，根据所述信息获取单元获取的所述图片信息、所述来源信息以及所述标注单元获取的所述意图关键词建立图片题目库。进一步的，所述图像采集模块具体包括：图像采集单元，当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，所述图像采集单元，识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。进一步的，所述意图分析模块具体包括：比对单元，将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；意图分析单元，根据所述比对单元确定的所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。进一步的，还包括：更新模块，将所述关键词分析模块得到的所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；计算模块，重新计算所述更新模块更新后每一个意图关键词的权重。通过本专利技术提供的一种作业中图片题目的理解方法及系统，能够带来以下至少一种有益效果：1、本专利技术中，结合通过目标图像信息得到的意图关键词和通过用户语音信息得到的语音关键词两个方面确定目标图像信息中包含的图片题目的意图，从而确保能够准确解析出图片题目的意图。2、本专利技术中，收集获取作业中所有的图片题目的图片信息、来源信息以及意图关键词，从而建立题目库，以便于比对用户做作业实时遇到的图片题目，识别其意图。3、本专利技术中，基于用户眼睛的视线的方向以及用户点击处确定用户当前正在处理的题目，然后通过摄像头实时获取采集用户学习时的学习图像，以便及时找到用户有疑问的图片题目。附图说明下面将以明确易懂的方式，结合附图说明优选实施方式，对一种作业中图片题目的理解方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。图1是本专利技术一种作业中图片题目的理解方法的一个实施例的流程图；图2是本专利技术一种作业中图片题目的理解方法的另一个实施例的流程图；图3是本专利技术一种作业中图片题目的理解方法的另一个实施例的流程图；图4是本专利技术一种作业中图片题目的理解方法的另一个实施例的流程图；图5是本专利技术一种作业中图片题目的理解系统的一个实施例的结构示意图；图6是本专利技术一种作业中图片题目的理解系统的另一个实施例的结构示意图。附图标号说明：100图片题目的理解系统110图库建立模块111信息获取单元112标注单元113图库建立单元120图像采集模块121图像采集单元130存储模块140语音获取模块150处理模块160比对模块170关键词分析模块180意图分析模块181比对单元182意图分析单元185更新模块190计算模块具体实施方式为了能够更加清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照说明书附图说明本专利技术的具体实施方式。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并且获得其他的实施方式。为了使图面简洁，各图中只示意性地表示出了与本专利技术相关的部分，它们并不代表其作为产品的实际结本文档来自技高网...

【技术保护点】
1.一种作业中图片题目的理解方法，其特征在于，包括：根据图片题目建立图片题目库；采集用户学习过程中的学习图像；保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；当用户处理图片题目时，获取用户的语音信息；根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；根据所述语音信息获取语音关键词；根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。

【技术特征摘要】
1.一种作业中图片题目的理解方法，其特征在于，包括：根据图片题目建立图片题目库；采集用户学习过程中的学习图像；保存所述学习图像，并根据采集的时间信息将相应的学习图像进行标记得到图像信息；当用户处理图片题目时，获取用户的语音信息；根据获取所述语音信息时的时间点和图像信息的时间信息，确定用户发出所述语音信息时对应的目标图像信息；将所述目标图像信息和图片题目库中的图片题目进行比对，得到所述目标图像信息对应的意图关键词；根据所述语音信息获取语音关键词；根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。2.根据权利要求1所述的作业中图片题目的理解方法，其特征在于，根据图片题目建立图片题目库具体包括：获取作业中图片题目的图片信息以及来源信息，所述来源信息包括作业的年级信息以及学科信息；标注所述图片题目的所述意图关键词，并对所述意图关键词进行加权，计算每一个意图关键词的权重；根据所述图片信息、所述来源信息以及所述意图关键词建立图片题目库。3.根据权利要求1所述的作业中图片题目的理解方法，其特征在于，采集用户学习过程中的学习图像具体包括：当用户点击作业时，采集用户点击处的作业信息作为学习图像；和/或，识别用户眼睛的视线，采集用户视线处的作业信息作为学习图像。4.根据权利要求2所述的作业中图片题目的理解方法，其特征在于，根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目具体包括：将所述语音关键词和所述意图关键词进行比对，确定每一个语音关键词在意图关键词中的关键词权重；根据所述关键词权重确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目。5.根据权利要求4所述的作业中图片题目的理解方法，其特征在于，根据所述意图关键词和所述语音关键词确定所述图片题目的意图，搜索所述图片题目的答案以及推荐相关题目之后包括：将所述语音关键词添加至对应的所述意图关键词中，更新所述意图关键词；重新计算每一个意图关键词的权重。6.一种作业中图片题目的理解系统，其特征在于，包括：图库建立模块，根据图片题目建立图片题目库；图像采集模块，采集用户学习过程中的学习图像；存储模块，...

【专利技术属性】
技术研发人员：魏誉荧，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：广东,44