【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种点读系统及装置。
技术介绍
1、随着计算机技术的发展，越来越多的电子系统应用在各个领域，以取代人工为人们带来生活和学习上的便利。其中，点读系统即为一种电子系统，人们能够通过点读系统进行学习，尤其是3-6岁的儿童。3-6岁是孩子认知形成的关键期，这个阶段的教育对于孩子未来的发展有着极大的促进作用。现如今，对于辅助儿童独立学习的系统的需求不断加大。
2、通过调研发现，当前的线上辅助教育软件的质量层次不齐，现在市面上较好的一些辅助教育软件，都存在着以下痛点问题：
3、(1)价格昂贵，很普通的一款实体的教育点读机都在上千块左右，并且点读机只能适用于专门特制的书本或专业的设备，购买的费用起点就很高。
4、(2)操作复杂，现在大多教育点读机功能繁杂，会加大设备的使用难度，增加了额外的设备学习的成本，让孩子产生厌学心理。
5、(3)内容局限，孩子们只能根据点读机系统资料库中已有的资料，课程和图书进行学习，这限制了孩子们学习内容的丰富性。学习内容的局限必然导致很难激发出孩子的学习兴趣。
技术实现思路
1、本专利技术提供了一种点读系统及装置，达到降低成本、操作简单、内容丰富，提高教育质量和普及率高的效果。所述技术方案如下：
2、一方面，提供了一种点读系统，所述点读系统包括：
3、手势识别模块，用于对多个视频帧中手部关键点进行实时检测，得到每个视频帧中的手骨架信息，基于所述多个视频帧的手骨架信息确
4、目标检测模块，用于对所述待识别区域进行目标检测得到第一检测结果，响应于所述第一检测结果指示所述待识别区域内包含物体，对所述物体进行识别；
5、文本提取和识别模块，用于对所述待识别区域进行文本检测得到第二检测结果，响应于所述第二检测结果指示所述待识别区域内包含文本，对所述文本进行识别；
6、显示模块，用于显示所述目标检测模块和/或所述文本提取和识别模块的识别结果。
7、在一些实施例中，所述手骨架信息包括手的数量、手的类型和手的骨架节点的坐标，所述手的类型包括左手和右手；
8、所述基于所述多个视频帧的手骨架信息确定识别模式，包括：
9、基于所述手骨架信息中的手的数量和/或所述手的类型确定所述识别模式；
10、所述基于所述识别模式以及所述多个视频帧中的手骨架信息，确定所述多个视频帧中手指选择的待识别区域，包括：
11、响应于识别模式为单手模块，且基于连续多个视频帧中手的骨架节点的坐标，确定目标手指在第一目标时长内的移动距离小于第一目标距离，在所述目标手指的坐标处显示候选框，随着所述目标手指的坐标变化，扩大显示所述候选框，直至再次基于连续多个视频帧中手的骨架节点坐标确定目标手指在第一目标时长内的移动距离小于第一目标距离时，将所述候选框内的区域作为手指选择的待识别区域；
12、响应于识别模式为双手模式，且基于连续多个视频帧中手的骨架节点的坐标，确定双手的目标手指在第二目标时长内的移动距离小于第二目标距离，以所述双手的目标手指的坐标之间的连线作为对角线，确定出手指选择的待识别区域。
13、在一些实施例中，所述文本提取和识别模块还用于对上传的文档进行文本识别，得到识别结果；所述显示模块还用于对所述识别结果进行显示。
14、在一些实施例中，所述点读系统还包括模式选择模块，所述模式选择模块用于提供摄像头识别模式和上传视频识别模式，响应于对所述摄像头识别模式的选择指令，开启摄像头采集多个视频帧；响应于对所述上传视频识别模式的选择指令，所述显示模块用于显示视频上传页面；所述手势识别模块用于对所述摄像头采集的多个视频帧进行实时检测或对所述视频上传页面上传的视频中多个视频帧进行实时检测。
15、在一些实施例中，所述点读系统还包括查询模块，所述查询模块用于基于所述目标检测模块和/或所述文本提取和识别模块的识别结果进行联网查询，得到查询结果；所述显示模块还用于显示所述查询结果。
16、在一些实施例中，所述查询模块用于基于所述目标检测模块的识别结果联网查询所述物体的中文名称、中文拼音、英文名称、英语音标、中文释义中的至少一项；所述查询模块用于基于所述文本提取和识别模块的识别结果联网查询所述文本的中文、中文拼音、英文、英语音标、中文释义、例句、典故中的至少一项。
17、在一些实施例中，所述点读系统还包括语音播报模块，所述语音播报模块用于执行下述至少一项：
18、对所述目标检测模块和/或所述文本提取和识别模块的识别结果进行语音播报；
19、对查询模块得到的查询结果进行语音播报；
20、对上传的文档中的文本内容进行语音播报。
21、在一些实施例中，所述语音播报模块和所述手势识别模块基于不同的线程工作。
22、一方面，提供了一种点读装置，所述点读装置包括电子设备和45度反光镜；
23、其中，所述电子设备安装有摄像头，所述45度反光镜安装于所述摄像头的上方，用于辅助所述摄像头对平铺于桌面上的文本内容和用户的手指进行采集；
24、所述电子设备安装有点读系统，所述点读系统包括多个功能模块，所述多个功能模块用于基于用户的手势操作实现点读功能。
25、一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如上述点读系统的功能。
26、一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备执行上述点读系统的任一项功能。
27、本专利技术提供的点读系统具有多种功能，通过目标检测技术能够实现对物体进行检测识别，通过文本处理能够对文本进行检测识别，进而将识别内容显示给用户，实现了智能检测识别，无需特定的教材即可，内容丰富，打破了内容局限的情况，且该点读系统具有手势识别模块，能够检测用户的手势操作，以此来为用户提供手势操作即可实现点读的服务，操作简单且灵活，降低了使用难度，对于儿童来说，增添了趣味性的同时，也能够起到更好的引导作用。另外，该点读系统的扩展性很好，能够直接使用，不需要购买相关教材，适用性好，提高了教育质量，普及率会比较高，也就很好的平衡了资源分配不均和教育质量参差不齐的情况，大大降低了成本。
本文档来自技高网...【技术保护点】
1.一种点读系统，其特征在于，所述点读系统包括：
2.根据权利要求1所述的系统，其特征在于，所述手骨架信息包括手的数量、手的类型和手的骨架节点的坐标，所述手的类型包括左手和右手；
3.根据权利要求1所述的系统，其特征在于，所述文本提取和识别模块还用于对上传的文档进行文本识别，得到识别结果；所述显示模块还用于对所述识别结果进行显示。
4.根据权利要求1所述的系统，其特征在于，所述点读系统还包括模式选择模块，所述模式选择模块用于提供摄像头识别模式和上传视频识别模式，响应于对所述摄像头识别模式的选择指令，开启摄像头采集多个视频帧；响应于对所述上传视频识别模式的选择指令，所述显示模块用于显示视频上传页面；所述手势识别模块用于对所述摄像头采集的多个视频帧进行实时检测或对所述视频上传页面上传的视频中多个视频帧进行实时检测。
5.根据权利要求1所述的系统，其特征在于，所述点读系统还包括查询模块，所述查询模块用于基于所述目标检测模块和/或所述文本提取和识别模块的识别结果进行联网查询，得到查询结果；所述显示模块还用于显示所述查询结果。
6
7.根据权利要求1-6任一项所述的系统，其特征在于，所述点读系统还包括语音播报模块，所述语音播报模块用于执行下述至少一项：
8.根据权利要求7所述的系统，其特征在于，所述语音播报模块和所述手势识别模块基于不同的线程工作。
9.一种点读装置，其特征在于，所述点读装置包括电子设备和45度反光镜；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8任一项所述点读系统的功能。
...【技术特征摘要】
1.一种点读系统，其特征在于，所述点读系统包括：
2.根据权利要求1所述的系统，其特征在于，所述手骨架信息包括手的数量、手的类型和手的骨架节点的坐标，所述手的类型包括左手和右手；
3.根据权利要求1所述的系统，其特征在于，所述文本提取和识别模块还用于对上传的文档进行文本识别，得到识别结果；所述显示模块还用于对所述识别结果进行显示。
4.根据权利要求1所述的系统，其特征在于，所述点读系统还包括模式选择模块，所述模式选择模块用于提供摄像头识别模式和上传视频识别模式，响应于对所述摄像头识别模式的选择指令，开启摄像头采集多个视频帧；响应于对所述上传视频识别模式的选择指令，所述显示模块用于显示视频上传页面；所述手势识别模块用于对所述摄像头采集的多个视频帧进行实时检测或对所述视频上传页面上传的视频中多个视频帧进行实时检测。
5.根据权利要求1所述的系统，其特征在于，所述点读系统还包括查询模块，所述查询模块用于基于所述目标检测模块和/或所述文本提取和识别模块的识别结果...
【专利技术属性】
技术研发人员：刘晶晶，胡成成，唐嘉懿，杨启睿，丁一铭，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。