互动实现方法、终端、服务端、计算机设备及存储介质技术

本申请公开了一种互动实现方法，应用于小程序，包括：获取页面原始图片；识别出参照物并获得参照物在页面原始图片中的位置信息；从页面原始图片进行特征点提取并获得页面待比对特征点信息；基于待比对特征点信息与参照物在页面原始图片中的位置信息加载对应的多媒体文件并进行播放。本申请还提供一种终端、服务端、计算机设备及存储介质。本申请通过社交软件轻应用小程序进行实时内容检索，无需额外下载APP，使用方便。

【技术实现步骤摘要】
互动实现方法、终端、服务端、计算机设备及存储介质
本申请涉及多媒体教育
，尤其涉及一种互动实现方法、终端、服务端、计算机设备及存储介质。
技术介绍
点读是利用光学图像识别技术和数字语音技术实现的智能阅读和学习方式，它体现了电子多媒体技术与教育行业的完美融合，实现了科技以人为本的理念。就现有的点读设备而言，通常需要对书本做预先处理，在书本上印制或黏贴特定的编码，否则将无法识别书本内容。另外，由于编码规则的限制，使得总编码数量有限，对于内容较多的书本来说，读识编码的方式就表现出了明显的局限性。
技术实现思路
本申请的目的在于提供一种互动实现方法、终端、服务端、计算机设备及存储介质，通过社交软件的轻应用小程序进行印刷品如教材、教辅实时内容检索，无需额外下载APP，使用方便。为实现上述目的，本申请实施例第一方面公开了一种互动实现方法，应用于社交软件轻应用小程序，包括：获取页面原始图片；识别出参照物并获得参照物在页面原始图片中的位置信息；从页面原始图片进行特征点提取并获得页面待比对特征点信息；...

【技术保护点】
1.一种互动实现方法，应用于小程序，其特征在于，包括：/n获取页面原始图片；/n识别出参照物并获得参照物在页面原始图片中的位置信息；/n从页面原始图片进行特征点提取并获得页面待比对特征点信息；/n基于待比对特征点信息与参照物在页面原始图片中的位置信息加载对应的多媒体文件并进行播放，其中，页面待比对特征点信息用于与页面特征库进行检索比对以得到对应特征点数据页，页面特征库包括多个特征点数据页，每个特征点数据页包括至少一个数据块；对应的多媒体文件是经由参照物在页面原始图片中的位置信息获得参照物在对应特征点数据页中的数据块并对多媒体数据库进行查找比对获得，多媒体文件包含在多媒体数据库中，多媒体文件与数...

【技术特征摘要】
1.一种互动实现方法，应用于小程序，其特征在于，包括：
获取页面原始图片；
识别出参照物并获得参照物在页面原始图片中的位置信息；
从页面原始图片进行特征点提取并获得页面待比对特征点信息；
基于待比对特征点信息与参照物在页面原始图片中的位置信息加载对应的多媒体文件并进行播放，其中，页面待比对特征点信息用于与页面特征库进行检索比对以得到对应特征点数据页，页面特征库包括多个特征点数据页，每个特征点数据页包括至少一个数据块；对应的多媒体文件是经由参照物在页面原始图片中的位置信息获得参照物在对应特征点数据页中的数据块并对多媒体数据库进行查找比对获得，多媒体文件包含在多媒体数据库中，多媒体文件与数据块对应。


2.如权利要求1所述的互动实现方法，其特征在于，步骤加载对应的多媒体文件并进行播放之前还包括：
输出页面待比对特征点信息，所述待比对特征点信息用于与服务端的页面特征库进行检索比对以得到对应特征点数据页。


3.如权利要求1所述的互动实现方法，其特征在于，步骤加载对应的多媒体文件并进行播放之前还包括：
获得封面原始图片；
从封面原始图片进行特征点提取；
获得封面待比对特征点信息并输出；
加载对应的印刷品子库，其中，封面待比对特征点用于与封面特征子库进行检索配对，封面特征子库的每个页面的内容信息与印刷品子库一一对应，页面特征库包括印刷品子库，印刷品子库包括多个特征点数据页，封面特征子库是通过提取印刷品的原始封面页面图像的特征点获得。


4.如权利要求1所述的互动实现方法，其特征在于，在步骤加载对应的多媒体文件并进行播放之前还包括：
存储页面特征库。


5.如权利要求4所述的互动实现方法，其特征在于，步骤存储页面特征库具体包括：
获取印刷品的原始页面图像并获得特征描述子；
提取对应特征描述子的哈希值并进行倒排索引；
将含有同等大小哈希值的原始页面图像中具有唯一性标识以链表的形式存入哈希表的相同位置；
构建完成页面特征库并进行存储。


6.如权利要求5所述的互动实现方法，其特征在于，步骤获得特征描述子具体包括：
利用关键点检测算法提取特征点；
进行特征点方向识别；
对特征点进行描述，获得特征描述子。


7.如权利要求3或4所述的互动实现方法，其特征在于，步骤加载对应的多媒体文件并进行播放具体包括：
比对页面待比对特征点信息与本地的页面特征库并获得对应特征点数据页；
从参照物在页面原始图片中的位置信息获得参照物指向的数据块；
输出数据块信息；
加载与数据块对应的多媒体文件并进行播放。


8.如权利要求7所述的互动实现方法，其特征在于，步骤比对页面待比对特征点信息与本地的页面特征库并获得对应特征点数据页具体包括：
获取页面待比对特征点信息中的特征点对应的特征描述子并提取哈希值；
将其哈希值与本地的页面特征库的特征点数据页的哈希值进行比对并投票；
根据投票的得分结果，选择得分结果前N的N个特征点数据页作为候选结果,其中，N为大于1的整数；
若投票的得分结果大于预先设定的阈值且候选结果之间的得分比例存在阶跃变化，则将拥有相同哈希值最多的特征点数据页作为对应特征点数据页。


9.如权利要求7所述的互动实现方法，其特征在于，步骤从参照物在页面原始图片中的位置信息获得参照物指向的数据块具体包括：
建立页面待比对特征点信息与特征点数据页的对应关系；
从参照物在页面原始图片中的位置信息获得参照物在特征点数据页中的位置信息；
根据位置信息获得对应的数据块。


10.如权利要求1-6任意一项所述的互动实现方法，其特征在于，步骤识别出参照物并获得参照物在页面原始图片中的位置信息具体包括：
加载深度学习模型；
将页面原始图片输入到模型中；
从所述模型中获取原始图片中存在参照物并获得参照物在页面原始图片中的位置信息。


11.一种互动实现终端，其特征在于，包括：
页面图片获取模块，其用于获取页面原始图片；
页面识别获得模块，其用于识别出参照物并获得参照物在页面原始图片中的位置信息；
页面提取获得模块，其用于从页面原始图片进行特征点提取并获得页面待比对特征点信息；
加载播放模块，其用于基于待比对特征点信息与参照物在页面原始图片中的位置信息加载对应的多媒体文件并进行播放，其中，页面待比对特征点信息用于与页面特征库进行检索比对以得到对应特征点数据页，页面特征库包括多个特征点数据页，每个特征点数据页包括至少一个数据块；对应的多媒体文件是经由参照物在页面原始图片中的位置信息获得参照...

【专利技术属性】
技术研发人员：江周平，
申请(专利权)人：深圳一块互动网络技术有限公司，
类型：发明
国别省市：广东;44