从信息载体表面交互式获取远程资源并输出的方法及系统技术方案

本发明专利技术涉及视频跟踪及图像识别技术，提供了从信息载体表面交互式获取远程资源并输出的方法及系统，该方法包括以下步骤：步骤A、用户端的摄像头对指示体进行目标识别，跟踪出指示端端点的运动轨迹及停顿，得到用户的指示意图和指示区域；步骤B、根据指示意图提取出图像块位图数据，并识别出图像块位图数据中所包含的内容信息；步骤C、根据内容信息生成检索表达式，并发送给远程服务器；步骤D、远程服务器通过检索表达式在专业知识库中检索出符合条件的多媒体资源，并发送给用户端；步骤E、用户端将多媒体资源进行输出，并准备下一次用户交互。该方法不仅能从目标信息载体表面对指示区域进行内容识别，还能进行关联检索和输出。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及视频跟踪及图像识别技术，提供了从信息载体表面交互式获取远程资源并输出的方法及系统，该方法包括以下步骤：步骤A、用户端的摄像头对指示体进行目标识别，跟踪出指示端端点的运动轨迹及停顿，得到用户的指示意图和指示区域；步骤B、根据指示意图提取出图像块位图数据，并识别出图像块位图数据中所包含的内容信息；步骤C、根据内容信息生成检索表达式，并发送给远程服务器；步骤D、远程服务器通过检索表达式在专业知识库中检索出符合条件的多媒体资源，并发送给用户端；步骤E、用户端将多媒体资源进行输出，并准备下一次用户交互。该方法不仅能从目标信息载体表面对指示区域进行内容识别，还能进行关联检索和输出。【专利说明】从信息载体表面交互式获取远程资源并输出的方法及系统
本专利技术涉及视频及图像采集与识别技术，尤其涉及一种从信息载体表面交互式获取远程资源并输出的方法及系统。
技术介绍
点读机以及近年来出现的点读笔是深受欢迎的幼教学习电子产品。点读机又称为智能电脑读书机、英语互动电子课本、同步读书机、电子课本等，是一种有声互动学习产品，它通过电磁感应定位技术，将文字化的书本教材变成能按学习需要任意发声的有声教材。1999年，美国跳蛙公司依照孩子学习语言的规律，开发出了早期的点读机产品，迅速成为美国孩子在语言初学阶段的必备工具，后来风行于日本、新加坡及东南亚国家。2001年，点读机的概念和技术引入了中国，英易派、声之宝、学而乐、好上好、读书郎、步步高等一大批公司纷纷涉足这个行业。在多家公司的参与和努力下，点读机经历了从单板到双开，从有线到无线再到有线，从小容量存储到大容量存储，从无下载到RS232串口下载再到USB下载，从专用语音压缩芯片到使用MP3通用语音压缩，从光面板到面板加印内容、外形从抽屉式到双开整体定型的一个发展过程。 点读机的基本原理:在制作发音文件时，给发音文件预先设置好所对应文字内容的经纬位置。不是任意课本都可以点读，只有事先已制作好相关音频文件资源并存储进点读机存储器的课本，才可以应用于点读机。使用时，要求把课本放在机器平板的正确位置，首先使用专用笔选择好书本和页码，然后用专用笔点课本某页上(X，Y)位置的文字内容，平板感知到所配备的笔点触(X，Y)这一点，就收到指令，读出这一点相对应的音频文件，由机器进行播放。在点读学习模式下，用点读笔轻触教材上的文字或图片，就可进行人机互动学习，听当前页内容的讲解，进行跟读、复读、录音对比等。 近年来出现了功能改进的新产品点读笔，其原理是将“经纬坐标感应板”做成透明的“经纬坐标塑料膜”。这种改进将坐标识别工作交给点读笔而非前面提到的感应板，使用时只需将膜覆盖在书本的某一页上，点选所对应的页码，就能点读发声。 最新的点读笔学习系统的工作原理是:事先在书本上加印二维码或在纸张里层加上隐性的磁性感应材料，同时，制作与书本相配套的声音文件存储在点读笔里的存储芯片中。点读笔头具有识别书页上印刷的二维码或磁性感应材料所包含信息的功能，使用者在使用过程中选择要点读的某一页，点击该页上特定的图案、文字、数字等位置处的内容，点读笔都能通过笔头上装配的摄像头识别书本上的二维码或者通过笔头上装配的电磁感应头读取出纸张中磁性感应材料所包含的索引信息，从而查找出存储芯片中相对应的声音文件，供学习使用。 无论是点读机，还是点读笔，它们都有共同的特征:一、需要包含经纬坐标的专门装置或薄膜，或者事先使用特殊工艺进行书本印刷；二、学习资源与书本固定相配套，存储在点读机或点读笔上的存储芯片中。这些特点，造成传统点读产品成本高、携带不方便，并且存储器上学习内容与书本固定配套，难以扩充，使用面受到限制。对应众多普通图书、资料上的图文信息，点读产品无法进行点读。
技术实现思路
本专利技术所要解决的技术问题在于提供从信息载体表面交互式获取远程资源并输出的方法及系统，旨在解决现有的点读产品及技术成本高，应用空间狭窄的问题。 本专利技术是这样实现的，从信息载体表面交互式获取远程资源并输出的方法，包括以下步骤: 步骤A、用用户端对进入其摄像头视野的指示体进行目标识别，跟踪出指示体上指示端端点的运动轨迹及停顿位置，根据所述运动轨迹及停顿位置得到用户的指示意图和指示区域；所述用户端的摄像头位于目标信息载体表面上方，用于对目标信息载体进行拍摄; 步骤B、用户端根据所述用户的指示意图，提取出所述指示区域内的图像块位图数据，并识别出所述图像块位图数据中所包含的内容信息； 步骤C、用户端根据所述用户的指示意图，将所述内容信息转换成当前分类码或者当前检索词，如果所述当前检索词有更新则生成检索表达式，并将所述检索表达式发送给远程服务器，否则返回步骤A ; 步骤D、所述远程服务器通过所述检索表达式在专业知识库中检索出符合条件的多媒体资源，并发送给所述用户端； 步骤E、所述用户端将接收到的所述多媒体资源进行输出，然后返回到步骤A，准备下一次用户交互。 进一步地，所述步骤A具体包括以下步骤: 步骤Al、用户端的摄像头采集当前视频图像帧； 步骤A2、用户端逐一读取步骤Al所采集的当前视频图像帧中每个像素的RGB颜色数据，根据预先建立的指示体外表颜色高斯混合模型计算该像素属于所述指示体外表颜色高斯混合模型的概率值，并判断该像素是否与指示体的外表颜色相匹配； 步骤A3、重复步骤A2，直到所述当前视频图像帧中的每一个像素都处理完毕；再选取所有与指示体的外表颜色相匹配的像素得到当前视频图像帧的前景图像，对所述前景图像进行滤波除噪，然后基于数学形态学的方法进行轮廓检测，选取所检测出的全部轮廓中的最大连通区域作为指示体的轮廓，在所述指示体的轮廓中搜索出指示体的指示端端点位置； 步骤A4、根据步骤A3提取的当前视频图像帧中指示体的指示端端点位置，对所述指示端端点进行运动轨迹分析和指示意图理解，如果尚未判别出用户的指示意图及指示区域则返回到步骤Al继续执行。 进一步地，所述步骤A2中指示体外表颜色高斯混合模型分为手指肤色模型和笔状指示物颜色模型； 所述指示体外表颜色高斯混合模型均基于CrCgCb颜色空间应用高斯混合模型技术进行建模，采用多个单高斯分布进行混合，通过如下公式对模型的概率密度函数G(X)进 MM 行加权混合计算:= Σαρ/(￡?，?,)，=1，其中，μ为模型所包含的单一高斯 y=ii=i分布的个数，叫为各个单一高斯分布的概率密度函数的混合权重，F^c, Uj, Zj)的定义为 【权利要求】1.从信息载体表面交互式获取远程资源并输出的方法，其特征在于，包括以下步骤:步骤A、用用户端对进入其摄像头视野的指示体进行目标识别，跟踪出指示体上指示端端点的运动轨迹及停顿位置，根据所述运动轨迹及停顿位置得到用户的指示意图和指示区域；所述用户端的摄像头位于目标信息载体表面上方，用于对目标信息载体进行拍摄； 步骤B、用户端根据所述用户的指示意图，提取出所述指示区域内的图像块位图数据，并识别出所述图像块位图数据中所包含的内容信息； 步骤C、用户端根据所述用户的指示意图，将所述内容信息转换成当前分类码或者当前检索词，如果所述当前检索词有更新则生成检索表达式，并将所述检索表达式发送给远程服本文档来自技高网...

【技术保护点】
从信息载体表面交互式获取远程资源并输出的方法，其特征在于，包括以下步骤：步骤A、用用户端对进入其摄像头视野的指示体进行目标识别，跟踪出指示体上指示端端点的运动轨迹及停顿位置，根据所述运动轨迹及停顿位置得到用户的指示意图和指示区域；所述用户端的摄像头位于目标信息载体表面上方，用于对目标信息载体进行拍摄；步骤B、用户端根据所述用户的指示意图，提取出所述指示区域内的图像块位图数据，并识别出所述图像块位图数据中所包含的内容信息；步骤C、用户端根据所述用户的指示意图，将所述内容信息转换成当前分类码或者当前检索词，如果所述当前检索词有更新则生成检索表达式，并将所述检索表达式发送给远程服务器，否则返回步骤A；步骤D、所述远程服务器通过所述检索表达式在专业知识库中检索出符合条件的多媒体资源，并发送给所述用户端；步骤E、所述用户端将接收到的所述多媒体资源进行输出，然后返回到步骤A，准备下一次用户交互。

【技术特征摘要】

【专利技术属性】
技术研发人员：徐明，徐颢毓，
申请(专利权)人：徐明，徐颢毓，
类型：发明
国别省市：广东;44