基于增强现实技术的儿童认知系统及认知方法技术方案

基于增强现实技术的儿童认知系统及认知方法，包括图像信息录入模块、图像信息匹配模块、绘制模型模块以及语音识别模块。通过对ARToolkit增强现实开发包，Microsoft?Speech?SDK语音识别引擎，3D?max建模工具等接口开发出一套识别标识来触发事件，通过语音识别与计算机中虚拟场景进行简单交互的儿童认知平台。通过OpenGL图像处理技术和3D建模技术来实现模型的移动、放大、缩小等操作。本发明专利技术具有开发周期短、可维护性好、移植性好以及易修改性强的优点，此外，用户通过使用本发明专利技术编写识字手册达到更好的学习效果，为儿童使用增强现实应用系统提供了一种交互性强的认知平台。

【技术实现步骤摘要】

本专利技术涉及一种，属于增强现实

技术介绍
增强现实就是将计算机生成的虚拟对象与真实世界结合起来，构造出虚实结合的虚拟空间。计算机系统提供的信息用来增强用户对现实世界的感知能力，可以增强或捕捉人眼所看到的东西，将计算机生成的虚拟物体、场景或系统所提示的信息叠加到真实场景中，从而实现对现实世界的“增强”。增强现实技术在工业设计、机械制造、建筑、教育和娱乐等领域都有广泛的应用场景，它不仅提供了一种容易实现的虚拟现实方法，更代表了下一代更容易使用的人机界面发展趋势。为了能够进行增强现实应用开发，现在已经有很多种用于AR系统开发的工具包和API，如ARToolkit、Coin3D和MR Platform等，在该系统中，我们采用ARToolkit工具包。ARToolkit是一个C/C++语言编写的库，通过它可以让我们很容易编写增强现实应用程序。ARToolkit的工具包从跟踪注册的自然属性出发，在虚拟物体、真实环境、摄像头、2D成像平面坐标系之间的转换，将虚拟物体注册到真实场景中去，实现虚实无缝结合。目前国内在增强现实方面研究和应用已经取得了一些进展，但是除了苏州梦想人软件公司开发的一种基于增强现实技术的学习系统，但是该系统并没有很好的实现语音互动，因此交互性相对较差。通过对每张图片制作不同的3D模型，并且对一些有关联的卡片做了逻辑关系处理。在模型的制作上，利用3D max制作出动态逼真场景来充分调动儿童的兴趣。并引入语音识别系统，通过向儿童提问问题让儿童来回答，并根据语音识别来判断回答是否正确。
技术实现思路
本专利技术的技术解决问题克服现有技术的不足，提供一种，对传统儿童识字的一种有效的补充，不仅能够解决传统儿童识字卡片枯燥无味、交互性差等缺点，而且能够很好的适应儿童好玩、好动、好奇心强的天性，发挥其模仿性强、感知灵敏及创造力非凡的特点。作为计算机图形学、虚拟现实及人工智能等前沿学科的交汇，逼真的3D模型能够很好地满足儿童的视觉需要，语音识别系统在减少繁琐操作的同时能够给予儿童语言学习方面的足够的刺激，而模式识别和虚拟则能够增强儿童的浸入性，达到更好的交互效果。另外，该平台通过语音交互，能够很好的提高儿童的听说能力，更大的提升儿童的学习能力、创新能力、沟通能力和综合素质，具有良好的社会效益。本专利技术的技术解决方案，如附图说明图1所示包括图像信息录入模块=ARToolkit首先初始化摄像头参数，启动摄像头捕捉现实场景，导入矩形标记模式文件作为匹配模版，然后根据用户设定的阈值将采集到的一帧彩色图像进行二值化处理，转化为黑白二值图像。在该二值黑白图像中找出所有封闭的矩形区域，并把所有寻找出的矩形区域存储起来作为候选区域，并将候选区域图片信息存储到模版库中；图片信息匹配模块常用的匹配方法有基于灰度的方法和基于特征的方法。两种方法中，后者的可靠性和鲁棒性比前者好。采用最基础和最重要的点匹配。近年来，谱图理论被广泛用于点匹配之中。采用图像内部的点亲近矩阵来进行匹配，其方法实际上就是对赋权图的邻接矩阵进行处理。将谱图分析方法和EM算法结合起来，通过点的亲近矩阵来获得点匹配的概率，提高了匹配的鲁棒性和准确性。圈是图论中基本概念，对图论的发展及应用起着及其重要的作用。利用基于圈基的谱匹配算法，首先分别对两幅待匹配的图像构造完全图，在每个完全图中寻找所有的圈基，再通过各自的圈基构造邻接矩阵；然后进行奇异值分解，利用分解所得的特征向量构造反映特征点之间匹配程度的概率矩阵；最后通过双随机矩阵计算谱匹配的概率矩阵，获得匹配的最终结果。通过多次实验，验证了该算法在标识平移、缩放、旋转、仿射变换下的可行性；绘制模型模块预先利用3D max绘图工具为匹配模版库中每个图像制作了 3D动画模型，当图像信息匹配成功时，就打开相应的模型文件，运行对应的程序。3D图形画面的绘制效果和表现力总是受到软硬件的限制，为了增强图形的表现力，有必要对图形的优化方法进行研究。采用OpenGL ES渲染管线技术，使开发3D场景时对顶点的变换、法向量的计算、纹理坐标的变换、光照材质的应用等均由开发者使用着色器代码完成，灵活性大大提高。利用Virtools渲染平台，将3D模型和音效整合到一起，即所有的分块在Virtools平台中具体运行，Virtool将所有的工作连接起来，按照一定顺序和层级关系运作，从而完成全部工作；语音识别模块成功打开3D动画和音频文件后，系统会进入语音识别模块。当用户第一次使用该系统时，系统会引导用户对声音进行提取录入，接下来系统利用MicrosoftSpeech SDK语音包进行录音，生成WAVE文件，并生成其波形图和语谱图。从而对语音信号进行预处理和特征提取，将提取的信息放入数据库中，实现了对用户语音特征的学习。对语音特征学习完成后，则打开预先设定好的音频文件，对用户进行提问。当用户回答时，系统首先采集用户回答的语音信号并提取信号中的特征参数，接下来在数据库中寻找匹配模版，如果找到，则认为匹配成功。用大词汇量的连续语音识别技术提取语音信号中的关键词，如果语音信号中存在系统预先设定好的关键词，则认为回答正确，否则认为回答错误；所述的图像信息录入模块实现过程如下(I)初始化摄像头参数，启动摄像头捕捉现实场景，导入预先做好匹配模版，然后根据用户设定的阈值将采集到的一帧彩色图像进行二值化处理，转化为黑白二值图像；(2)在该二值黑白图像中找出所有封闭的矩形区域，对所有寻找出的矩形区域进行特征点提取；(3)由于高斯内核函数是唯一的尺度空间内核函数，因此用高斯函数作为卷积核，构建图像的尺度空间函数。输入图像用I (x，y)表示，其尺度空间函数为L(x, y, 0) = G(x, y, o ) I (x, y)其中，G(x，y，o )为高斯函数，表达式如下本文档来自技高网...

【技术保护点】
基于增强现实技术的儿童认知系统，其特征在于包括：图像信息录入模块：利用ARToolkit初始化摄像头参数，启动摄像头捕捉现实场景，导入预先做好的识字手册为作为匹配模版，然后根据用户设定的阈值将采集到的一帧彩色图像进行二值化处理，转化为黑白二值图像。在该二值黑白图像中找出所有封闭的矩形区域，把所有寻找出的矩形区域存储起来作为候选区域，并将候选区域图像信息存储到匹配模版库；图像信息匹配模块，将预先准备好的识字手册放在摄像头前，利用ARToolkit捕捉图像信息，把该图像信息和匹配模版库中的图像信息进行匹配，根据设定匹配标准，当匹配概率的值达到标准时，则认为匹配成功，进而绘制相应的模型；所述匹配时采用利用基于圈基的谱匹配算法，具体如下：首先分别对两幅待匹配的图像构造完全图，在每个完全图中寻找所有的圈基，再通过各自的圈基构造邻接矩阵，然后进行奇异值分解，利用分解所得的特征向量构造反映特征点之间匹配程度的概率矩阵，最后通过双随机矩阵计算谱匹配的概率矩阵，获得匹配的最终结果；绘制模型模块：预先利用3D?max绘图工具为匹配模版库中每个图像制作了3D动画模型，当图像信息匹配成功时，就打开相应的模型文件，运行对应的程序；同时利用Virtools渲染工具为每个模型整合音频文件；语音识别模块：成功打开3D动画和音频文件后，系统会进入语音识别模块。当用户第一次使用该系统时，系统会引导用户对声音进行提取录入，接下来系统利用Microsoft?Speech?SDK语音包进行录音，生成WAVE文件，并生成其波形图和语谱图。从而对语音信号进行预处理和特征提取，将提取的信息放入数据库中，实现了对用户语音特征的学习；对语音特征学习完成后，则打开预先设定好的音频文件，对用户进行提问；当用户回答时，首先采集用户回答的语音信号并提取信号中的特征参数，接下来在数据库中寻找匹配模版，如果 找到，则认为匹配成功。用大词汇量的连续语音识别技术提取语音信号中的关键词，如果语音信号中存在系统预先设定好的关键词，则认为回答正确，否则认为回答错误。...

【技术特征摘要】
1.基于增强现实技术的儿童认知系统，其特征在于包括 图像信息录入模块利用ARToolkit初始化摄像头參数，启动摄像头捕捉现实场景，导入预先做好的识字手册为作为匹配模版，然后根据用户设定的阈值将采集到的ー帧彩色图像进行ニ值化处理，转化为黑白ニ值图像。在该ニ值黑白图像中找出所有封闭的矩形区域，把所有寻找出的矩形区域存储起来作为候选区域，并将候选区域图像信息存储到匹配模版库； 图像信息匹配模块，将预先准备好的识字手册放在摄像头前，利用ARToolkit捕捉图像信息，把该图像信息和匹配模版库中的图像信息进行匹配，根据设定匹配标准，当匹配概率的值达到标准时，则认为匹配成功，进而绘制相应的模型；所述匹配时采用利用基于圈基的谱匹配算法，具体如下首先分别对两幅待匹配的图像构造完全图，在每个完全图中寻找所有的圈基，再通过各自的圈基构造邻接矩阵，然后进行奇异值分解，利用分解所得的特征向量构造反映特征点之间匹配程度的概率矩阵，最后通过双随机矩阵计算谱匹配的概率矩阵，获得匹配的最終結果； 绘制模型模块预先利用3D max绘图工具为匹配模版库中每个图像制作了 3D动画模型，当图像信息匹配成功时，就打开相应的模型文件，运行对应的程序；同时利用Virtools渲染工具为每个模型整合音频文件； 语音识别模块成功打开3D动画和音频文件后，系统会进入语音识别模块。当用户第一次使用该系统时，系统会引导用户对声音进行提取录入，接下来系统利用MicrosoftSpeech SDK语音包进行录音，生成WAVE文件，并生成其波形图和语谱图。从而对语音信号进行预处理和特征提取，将提取的信息放入数据库中，实现了对用户语音特征的学习；对语音特征学习完成后，则打开预先设定好的音频文件，对用户进行提问；当用户回答时，首先采集用户回答的语音信号并提取信号中的特征參数，接下来在数据库中寻找匹配模版，如果找到，则认为匹配成功。用大词汇量的连续语音识别技术提取语音信号中的关键词，如果语音信号中存在系统预先设定好的关键词，则认为回答正确，否则认为回答错误。2.根据权利要求1所述的基于增强现实技术的儿童认知系统，其特征在于所述的图像信息录入模块实现过程如下 (1)初始化摄像头參数，启动摄像头捕捉现实场景，导入预先做好匹配模版，然后根据用户设定的阈值将采集到的ー帧彩色图像进行ニ值化处理，转化为黑白ニ值图像； (2)在该ニ值黑白图像中找出所有封闭的矩形区域，对所有寻找出的矩形区域进行特征点提取； (3)由于高斯内核函数是唯一的尺度空间内核函数，因此用高斯函数作为卷积核，构建图像的尺度空间函数； (4)对于录入的每幅图像的尺度空间函数，计算其梯度值和方向，在特征点周围所在的ー个区域内，依据样本点的梯度方向生成ー个用36为代表360度方向的方向直方图，每个样本根据其梯度值的大小及ー个具有參数0的高斯权重圆窗ロ而被添加到直方图中，将方向直方图中的峰值作为该特征点的主方向，0值是特征点尺度的1. 5倍，在最大值80%以内的其他局部峰值也会被创建具有相同方向的一个特征点，当特征点的位置、尺度、方向被确定后，选用ー个4x4的方向柱状图矩阵的描述符，矩阵中每个元素占有8个方向位，用这样ー个4x4x8=128位的向量可以准确描述姆个特征点；(5)将每幅图像特征点信息写入到文件中，进而将文件添加到匹配模版库中。3.根据权利要求1所述的基于增强现实技术的儿童认知系统，其特征在于所述图像信息匹配模块实现过程如下 (1)设I是带匹配的图片，包含有m个特征点，vi是图片I上的第I个特征点(I = 1、2、 、!!!)，首先利用欧式距离对对图片I构造完全图D(I)，其完全图每条边的权值为对应两点之间的欧式距离，在完全图D(I)中寻找最小生成树有最小生成树和一条不在此最小生成树的边构成图片I的一组圈基Y (I);对任意一个圈基Tk SFOXl— m+1，其圈基中顶点的集为14 SF;对图片I中任意两个特征点v1、vj,若他们均属于'…I* Pfcl.，则v1、vj两点间的权值用圈基4.根据权利要求1所述的基于增强现实技术的儿童认知系统，其特征在于所述绘制模型模块实现过程如下 (1)当图像匹配成功后打开对应的3D模型文件； (...

【专利技术属性】
技术研发人员：王海泉，余少卿，朱国伟，李运，陈远飞，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：