一种智能阅读学习方法技术

本发明专利技术公开了一种智能阅读学习方法，包括以下步骤：预先获取印刷品的原始页面图像并进行特征点提取，从而获得页面特征库；预先在印刷品的原始页面形成多媒体内容库；获得待学习页面图像并进行特征点提取，通过页面特征库进行检索及页面特征匹配，获得其在页面特征库中的原始页面信息；获得包含选取参照物的参照页面图像，从参照页面图像上进行选取参照物识别及点触动作识别；通过坐标映射获得选取参照物在原始印刷品中的位置信息；基于获得的位置信息，获取对应位置预置的多媒体文件并进行播放。本发明专利技术无需在书本上预制编码，摆脱了因编码局限性对点读内容的限制，同时能够确保内容播报的准确性。

An intelligent reading learning method

【技术实现步骤摘要】
一种智能阅读学习方法
本专利技术涉及多媒体教育
，特别涉及一种智能阅读学习方法。
技术介绍
点读是利用光学图像识别技术和数码语音技术实现的智能阅读和学习方式，它体现了电子多媒体技术与教育行业的完美融合，实现了科技以人为本的理念。就现有的点读设备而言，通常需要置需要对书本做预先处理，在书本上印制或黏贴特定的编码，否则将无法识别书本内容。另外，市场上也出现了直接采用OCR文字识别技术进行识别然后读出内容的阅读设备，但由于印刷品种类复杂，OCR识别方式容易出现误读情况，并且OCR识别方式的数据处理计算量也比较大。
技术实现思路
本专利技术的目的在于提供一种智能阅读学习方法，其无需在书本上预制编码，摆脱了因编码局限性对点读内容的限制，同时能够确保内容播报的准确性。为实现上述目的，本专利技术采用以下技术方案：一种智能阅读学习方法，其基于硬件学习棒实现，所述学习棒上设有摄像头，该方法包括以下步骤：S1、预先获取印刷品的原始页面图像并进行特征点提取，从而获得页面特征库；S2、预先在印刷品的原始页面以某些特定区域对应某些多媒体文件的方式形成对应区域播放多媒体内容库；S3、利用学习棒的摄像头连续拍摄待学习的印刷品页面，获得待学习页面图像并进行特征点提取，基于提取到的特征点将待学习页面在S1所获得的页面特征库进行检索及页面特征匹配，获得待学习页面在页面特征库中的原始页面信息；S4、利用选取参照物点触待学习的印刷品页面上的感兴趣区域，学习棒的摄像头通过连续拍摄获得包含选取参照物的参照页面图像，从参照页面图像上进行选取参照物识别及点触动作识别；S5、基于步骤S4中识别出的选取参照物、S4中包含选取参照物的参照页面图像及S3中获得的原始页面信息，进行坐标映射，获得选取参照物在原始印刷品中的位置信息；S6、基于S5的位置信息、S4中获取的点触动作，获取S2中对应位置预置的多媒体文件，并对多媒体文件进行播放。优选地，所述选取参照物采用人手手指、笔、笔型物体或尖端有发光装置的物体。优选地，所述步骤S1、S3中的特征点提取通过特征提取SIFT、SURF算法实现。优选地，所述步骤S1、S3中的特征点提取通过以下方法实现：图像灰度化处理；利用关键点检测算法提取特征点；基于直方图统计进行特征点方向识别；对特征点进行描述，获得特征描述子。优选地，所述步骤S3中的页面特征匹配通过特征值欧式距离、特征向量的余弦相似度和相关系数算法实现。优选地，所述步骤S3中的页面特征匹配通过以下方法实现：将所述学习页面图像上提取到的特征点对应的特征描述子进行降维、哈希变换、排序处理，然后将其哈希值与页面特征库中所存储特征点的哈希值进行比对，若距离小于预先设定的第一阈值，则认定该对特征点匹配；统计匹配的特征点数量，若大于预先设定的第二阈值，则认定该学习页面图像与相应的原始页面图像匹配。优选地，所述步骤S1中的页面特征库存储在学习棒内置的存储设备中，或存储在外部存储设备。优选地，步骤S2、S6中的所述的多媒体文件存储在学习棒内置的存储设备中，或存储在外部存储设备中。优选地，步骤S6中的所述对多媒体文件进行播放利用集成在学习棒的显示屏或扬声器进行播放，或通过学习棒具有的WIFI或者蓝牙功能，连接外部智能终端并利用外部智能终端的屏幕、扬声器进行播放，或利用集成在学习棒上的投影装置进行播放。显示屏、WIFI、蓝牙、投影装置并非必备组件，外部智能终端也并非必备组件。优选地，步骤S4中的所述选取参照物的点触动作包括单击、双击或其他有明显特征的动作。采用上述技术方案后，本专利技术与
技术介绍
相比，具有如下优点：本专利技术基于图像特征点提取与匹配的方式来实现对点读内容的识别，无需在书本上预制编码，摆脱了因编码局限性对点读内容的限制，同时能够确保内容播报的准确性。附图说明图1为本专利技术的工作流程示意图；图2为本专利技术页面匹配的流程示意图；图3为本专利技术针对双页图像分页划分的示意图；图4为本专利技术指尖识别的示意图；图5为本专利技术坐标映射的示意图；图6为本专利技术摄像头高度确定方法的示意图；图7为本专利技术利用卷积神经网络识别定位指尖的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例本专利技术公开了的一种智能阅读学习实现方法是其基于硬件学习棒实现。为便于更好的理解本专利技术，在对实现方法进行详细描述之前，先对学习棒的结构进行阐述。配合图1-7所示，一种智能阅读学习方法，其基于硬件学习棒实现，所述学习棒上设有摄像头，该方法包括以下步骤：S1、预先获取印刷品的原始页面图像并进行特征点提取，并进行降维、哈希变换、排序处理，从而获得页面特征库。特征点提取方法可采用任何特征点提取算法包括但是不限于SIFT、SURF及其算法变形，本专利技术不做具体限制。在本实施例中，特征点提取可以通过以下方法实现：a.图像灰度化处理。由此采集到图像为彩色图像(以RGB三通道彩色图像为例)，需要先进行灰度化处理，以便于后续步骤的执行。在本实施例中，灰度化的计算公式采用：Gray＝(R*30+G*59+B*11+50)/100其中，Gray为灰度值。b.利用关键点检测算法提取特征点。将原始图像不断降阶采样，得到一系列大小不一的图像，并进一步对这些图像进行不同尺度的高斯滤波，同一图像的相近尺度高斯滤波后两个图像相减，得到高斯差分图像，进行极值检测，满足曲率条件的极值点即为特征点。高斯差分图像D(x，y，σ)操作如下，G(x，y，σ)为高斯滤波函数，I(x，y)对应原始图像，L(x，y，σ)表示经过尺度σ的高斯滤波后图像：D(x，y，σ)＝(G(x，y，σ(s+1))-G(x，y，σ(s)))*I(x，y)＝L(x，y，σ(s+1))-L(x，y，σ(s))c.基于直方图统计进行特征点方向识别。在完成特征点的梯度计算后，使用直方图统计邻域内像素的梯度和方向。梯度直方图将0～360度的方向范围分为18个柱(bins)，其中每柱20度。直方图的峰值方向代表了特征点的主方向。L为关键点所在的尺度空间值，每个像素点的梯度m和方向θ计算公式如下：θ(x，y)＝tan-1((L(x，y+1)-L(x，y-1))/L(x+1，y)-L(x-1，y)))对特征点进行描述，获得特征描述子。对特征点确定一个大小为21×21的邻域，旋转这个邻域到主方向；计算邻域内像素点的水平梯度与垂直梯度，这样每个特征点确定了一个大小为19×19×2＝722维的特征描述子；特征点的描述包括坐标、尺度、方向。在此要说明的是，由于获得特征描述子是高维的(本实施例中是722维)，为便本文档来自技高网...

【技术保护点】
1.一种智能阅读学习方法，其特征在于，其基于硬件学习棒实现，所述学习棒上设有摄像头，该方法包括以下步骤：/nS1、预先获取印刷品的原始页面图像并进行特征点提取，从而获得页面特征库；/nS2、预先在印刷品的原始页面以某些特定区域对应某些多媒体文件的方式形成对应区域播放多媒体内容库；/nS3、利用学习棒的摄像头连续拍摄待学习的印刷品页面，获得待学习页面图像并进行特征点提取，基于提取到的特征点将待学习页面在S1所获得的页面特征库进行检索及页面特征匹配，获得待学习页面在页面特征库中的原始页面信息；/nS4、利用选取参照物点触待学习的印刷品页面上的感兴趣区域，学习棒的摄像头通过连续拍摄获得包含选取参照物的参照页面图像，从参照页面图像上进行选取参照物识别及点触动作识别；/nS5、基于步骤S4中识别出的选取参照物、S4中包含选取参照物的参照页面图像及S3中获得的原始页面信息，进行坐标映射，获得选取参照物在原始印刷品中的位置信息；/nS6、基于S5的位置信息、S4中获取的点触动作，获取S2中对应位置预置的多媒体文件，并对多媒体文件进行播放。/n

【技术特征摘要】
1.一种智能阅读学习方法，其特征在于，其基于硬件学习棒实现，所述学习棒上设有摄像头，该方法包括以下步骤：
S1、预先获取印刷品的原始页面图像并进行特征点提取，从而获得页面特征库；
S2、预先在印刷品的原始页面以某些特定区域对应某些多媒体文件的方式形成对应区域播放多媒体内容库；
S3、利用学习棒的摄像头连续拍摄待学习的印刷品页面，获得待学习页面图像并进行特征点提取，基于提取到的特征点将待学习页面在S1所获得的页面特征库进行检索及页面特征匹配，获得待学习页面在页面特征库中的原始页面信息；
S4、利用选取参照物点触待学习的印刷品页面上的感兴趣区域，学习棒的摄像头通过连续拍摄获得包含选取参照物的参照页面图像，从参照页面图像上进行选取参照物识别及点触动作识别；
S5、基于步骤S4中识别出的选取参照物、S4中包含选取参照物的参照页面图像及S3中获得的原始页面信息，进行坐标映射，获得选取参照物在原始印刷品中的位置信息；
S6、基于S5的位置信息、S4中获取的点触动作，获取S2中对应位置预置的多媒体文件，并对多媒体文件进行播放。


2.如权利要求1所述的一种智能阅读学习方法，其特征在于：所述选取参照物采用人手手指、笔、笔型物体或尖端有发光装置的物体。


3.如权利要求1或2所述的一种智能阅读学习方法，其特征在于：所述步骤S1、S3中的特征点提取通过特征提取SIFT、SURF算法实现。


4.如权利要求1或2所述的一种智能阅读学习方法，其特征在于：所述步骤S1、S3中的特征点提取通过以下方法实现：
图像灰度化处理；
利用关键点检测算法...

【专利技术属性】
技术研发人员：江周平，杨锐，
申请(专利权)人：深圳一块互动网络技术有限公司，
类型：发明
国别省市：广东;44