The purpose of the present application is to provide a method of reading through a reading device, wherein the reading device includes an image capturing device comprising: a finger reading operation in the course of capturing a user reading a book by the image capturing device; and a determination is made according to the indicated position information of the finger reading operation in the captured image information. The current reading position information in the training page, wherein the training page corresponds to the reading page in which the referential reading operation is located, the virtual AR information corresponding to the current reading position information in the training page is determined, and the virtual AR information is presented in the reading process of the user. This application identifies and matches the books captured by the camera, further identifies the user's Finger-reading operation, reads the text of the current Finger-reading operation position aloud or presents related videos, etc., and displays the virtual electronic information on or around the books, thus providing users with a more realistic and natural reading experience. Wait.
【技术实现步骤摘要】
一种通过阅读设备进行阅读的方法与设备
本申请涉及通信领域，尤其涉及一种用于通过阅读设备进行阅读的技术。
技术介绍
学龄儿童的阅读、识字是小孩成长过程中不可忽视的环节。一直以来，这些活动都是通过传统的书籍、纸张以及父母老师的口口相传来实现。然而，读音和字形的一一对应对儿童识字具有极重要的作用，而父母可能因为忙碌的工作等生活因素，不一定有时间或耐心在家里对儿童进行辅导。另外，普通父母的朗读水平可能也不是很专业，感情色彩、语音语调、语速等掌握不是很好。
技术实现思路
本申请的一个目的是提供一种通过阅读设备进行阅读的方法和设备。根据本申请的一个方面，提供了一种通过阅读设备进行阅读的方法，其中，所述阅读设备包括摄像装置，该方法包括：通过所述摄像装置拍摄用户阅读书籍过程中的指读操作；根据所述指读操作在所拍摄图像信息中的指示位置信息，确定训练书页中的当前阅读位置信息，其中，所述训练书页与所述指读操作所处的在读书页相对应；确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息；在所述用户的阅读过程中呈现所述虚拟AR信息。根据本申请的又一个方面，提供了一种通过阅读设备进行阅读的方法...
【技术保护点】
1.一种通过阅读设备进行阅读的方法，其中，所述阅读设备包括摄像装置，该方法包括：通过所述摄像装置拍摄用户阅读书籍过程中的指读操作；根据所述指读操作在所拍摄图像信息中的指示位置信息，确定训练书页中的当前阅读位置信息，其中，所述训练书页与所述指读操作所处的在读书页相对应；确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息；在所述用户的阅读过程中呈现所述虚拟AR信息。
【技术特征摘要】
1.一种通过阅读设备进行阅读的方法，其中，所述阅读设备包括摄像装置，该方法包括：通过所述摄像装置拍摄用户阅读书籍过程中的指读操作；根据所述指读操作在所拍摄图像信息中的指示位置信息，确定训练书页中的当前阅读位置信息，其中，所述训练书页与所述指读操作所处的在读书页相对应；确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息；在所述用户的阅读过程中呈现所述虚拟AR信息。2.根据权利要求1所述的方法，其中，所述根据所述指读操作在所拍摄图像信息中的指示位置信息，确定训练书页中的当前阅读位置信息，其中，所述训练书页与所述指读操作所处的在读书页相对应，包括：根据所述指读操作在所拍摄图像信息中的指示位置信息，以及所述摄像装置所拍摄图像与训练书籍的坐标映射信息，确定训练书页中的当前阅读位置信息，其中，所述训练书页为所述训练书籍中与所述指读操作所处的在读书页相对应的书页。3.根据权利要求2所述的方法，其中，所述摄像装置所拍摄图像与训练书籍的坐标映射信息包括以下任一项：所述摄像装置所拍摄的在读书籍的图像与训练书籍的坐标映射信息，其中，所述在读书籍与所述训练书籍相对应；所述摄像装置所拍摄的其它在读书页的图像与所述其它训练书页的坐标映射信息，其中，所述其它在读书页与所述其它训练书页相对应，所述其它在读书页与所述在读书页属于同一本书；所述摄像装置所拍摄的其它在读书页的图像与所述其它训练书页的坐标映射信息，其中，所述其它在读书页与所述其它训练书页相对应，所述其它在读书页与所述在读书页属于同一本书且两者页码间隔小于或等于预定的页码间距阈值信息；所述摄像装置所拍摄的其它在读书页的图像与所述其它训练书页的坐标映射信息，其中，所述其它在读书页与所述其它训练书页相对应，所述其它在读书页与所述在读书页属于同一本书且两者阅读时间间隔小于或等于预定的阅读时间间隔阈值信息。4.根据权利要求1所述的方法，其中，所述方法还包括：通过所述摄像装置拍摄用户阅读书籍过程中的在读书页；根据所述在读书页的图像信息在训练库中确定对应的训练书页，其中，所述在读书页与所述训练书页具有相匹配的视觉特征信息；确定所述图像信息与所述训练书页的坐标映射信息；其中，所述根据所述指读操作在所拍摄图像信息中的指示位置信息，确定训练书页中的当前阅读位置信息，其中，所述训练书页与所述指读操作所处的在读书页相对应，包括：根据所述指读操作在所拍摄图像信息中的指示位置信息，以及所述图像信息与所述训练书页的坐标映射信息，确定训练书页中的当前阅读位置信息。5.根据权利要求1至4中任一项所述的方法，其中，所述虚拟AR信息包括音频信息；其中，所述在所述用户的阅读过程中呈现所述虚拟AR信息，包括：在所述用户的阅读过程中播放所述音频信息。6.根据权利要求5所述的方法，其中，所述确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息，包括：确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息，其中，所述虚拟AR信息包括朗读所述训练书页的音频信息，所述音频信息的起始位置与所述训练书页中的当前阅读位置信息相对应；其中，所述在所述用户的阅读过程中播放所述音频信息，包括：在所述用户的阅读过程中从所述起始位置播放所述音频信息。7.根据权利要求6所述的方法，其中，所述确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息，其中，所述虚拟AR信息包括朗读所述训练书页的音频信息，所述音频信息的起始位置与所述训练书页中的当前阅读位置信息相对应，包括：根据所述训练书页中的当前阅读位置信息，确定所述用户当前指向的文字内容信息；根据所述文字内容信息确定，所述训练书页的朗读音频信息中确定音频信息的起始位置，并将所述音频信息作为与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息。8.根据权利要求6所述的方法，其中，所述确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息，其中，所述虚拟AR信息包括朗读所述训练书页的音频信息，所述音频信息的起始位置与所述训练书页中的当前阅读位置信息相对应，包括：根据所述训练书页中的当前阅读位置信息，确定所述用户当前指向的文字内容信息；根据所述文字内容信息确定，在所述训练书页的朗读音频信息中确定音频信息的起止位置，并将所述音频信息作为与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息；其中，所述在所述用户的阅读过程中从所述起始位置播放所述音频信息，包括：在所述用户的阅读过程中按所述起止位置播放所述音频信息。9.根据权利要求7或8所述的方法，其中，所述根据所述训练书页中的当前阅读位置信息，确定所述用户当前指向的文字内容信息，包括：根据所述训练书页中的当前阅读位置信息，以及所述训练书页中文字包络信息，确定所述用户当前指向的文字内容信息，其中，所述文字内容信息中文字的文字包络信息与所述当前阅读位置信息至少部分重叠。10.根据权利要求5所述的方法，其中，所述确定与所述训练书页中的当前阅读位置信息相对应的虚拟AR信息，包括：根据所述训练书页中的当前阅读位置信息，结合音频文字同步映射关系，确定所述训练书页中的当前阅读位置信息相对应的音频信息，其中，所述音频文字同步映射关系包括书页中文字、该文字的朗读音频及该文字在该书页中位置的映射关系。11.根据权利要求1至10中任一项所述的方法，其中，所述阅读设备还包括投影装置，所述虚拟AR信息包括投影信息；其中，所述在所述用户的阅读过程中呈现所述虚拟AR信息，包括：在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。12.根据权利要求11所述的方法，其中，所述方法还包括：根据所述投影装置至所述摄像装置的坐标映射信息，以及所述图像信息至所述训练书页的坐标映射信息，确定所述训练书页至所述投影装置的坐标映射信息；其中，所述在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息，包括：在所述用户的阅读过程中，基于所述训练书页至所述投影装置的坐标映射信息通过所述投影装置投影呈现所述虚拟AR信息。13.一种通过阅读设备进行阅读的方法，其中，所述阅读设备包括摄像装置，该方法包括：所述阅读设备通过所述摄像装置拍摄第一用户阅读书籍过程中的指读操作；所述阅读设备将所拍摄图像信息发送至对应第二用户的用户设备；所述用户设备接收并呈现所述图像信息，获取所述第二用户对所述指读操作在所述图像信息中对应文字信息的朗读音频信息，并将所述朗读音频信息发送至所述阅读设备；所述阅读设备在所述第一用户的阅读过程中播放所述朗读音频信息。14.根据权利要求13所述的方法，其中，所述用户设备接收并呈现所述图像信息包括：所述用户设备接收所述图像信息；根据所述指读操作在所拍摄图像信息...
【专利技术属性】
技术研发人员：廖春元，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。