交互式图书互动系统及方法技术方案

本发明专利技术提供了一种交互式图书互动系统及方法，移动终端的应用获取待交互图书页面的图片；识别所述图片，获取图片的特征值；将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画；通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。本发明专利技术能够激发儿童的阅读兴趣，提高图书的交互性，满足用户的多样化需求。

Interactive book interactive system and method

The present invention provides an interactive interactive book system and method to acquire the interactive page picture book mobile terminal application; the identification of the pictures, get the picture characteristic value; the characteristic value and characteristic value of the preset picture matching to obtain the feature picture; the mobile terminal application loading characteristics the picture corresponds to the default 3D 3D animation, character animation generation superposition in reality; animation through interactive interactive action; the interactive action includes gestures, gestures and / or speech. The invention can stimulate the reading interest of children, improve the interactivity of books, and meet the diversified needs of the users.

【技术实现步骤摘要】
交互式图书互动系统及方法
本专利技术涉及图书领域，尤其涉及一种交互式图书互动系统及方法。
技术介绍
阅读可以激发孩子的语言能力和交际能力，培养孩子的表达能力，多读书可以开拓孩子的智力发展，培养孩子的理解能力、自主学习能力、写作能力等，但由于儿童处于成长阶段，文字表现方式的图书对儿童来说相对枯燥，而对声音、图形和动画有较强的兴趣和喜爱。因此，如何激发儿童的阅读兴趣是当前需要解决的问题。
技术实现思路
有鉴于此，本专利技术提供一种交互式图书互动系统及方法，激发儿童的阅读兴趣，提高图书的交互性，满足用户的多样化需求。本专利技术采用以下技术方案：一种交互式图书互动方法，其中，包括如下步骤：移动终端的应用获取待交互图书页面的图片；识别所述图片，获取图片的特征值；所述特征值包括SIFT特征、SURF特征、ORB特征、BRIEF特征和FAST特征；将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画；通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。优选的，所述移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画，包括：移动终端的应用加载所述特征图片对应的预设的3D动画；打开所述移动终端的摄像头，使用AR增强现实技术，将摄像头拍摄的现实世界与所述3D动画叠加在一起，生成3D角色动画。优选的，所述识别所述图片，获取图片的特征值，包括：识别所述图片，通过对图片进行降噪和/或增加对比度处理，提取特征值。优选的，所述将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片，包括：将图片特征值与本地预设的图片特征值进行对比，若匹配成功，则获取所述图片特征值对应的动画数据；从云端服务器上的下载所述动画数据。优选的，还包括：获取识别图片的次数、3D动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据。优选的，还包括：分析统计数据，获取用户的阅读偏好数据。一种交互式图书互动系统，其中，包括：获取模块，用于移动终端的应用获取待交互图书页面的图片；识别模块，用于识别所述图片，获取图片的特征值；所述特征值包括SIFT特征、SURF特征、ORB特征、BRIEF特征和FAST特征；匹配模块，用于将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；叠加模块，用于移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画；交互模块，用于通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。优选的，所述叠加模块，包括：加载子模块，用于移动终端的应用加载所述特征图片对应的预设的3D动画；叠加子模块，用于打开所述移动终端的摄像头，使用AR增强现实技术，将摄像头拍摄的现实世界与所述3D动画叠加在一起，生成3D角色动画。优选的，所述匹配模块，包括：匹配子模块，用于将图片特征值与本地预设的图片特征值进行对比，若匹配成功，则获取所述图片特征值对应的动画数据；下载子模块，用于从云端服务器上的下载所述动画数据。优选的，还包括：统计模块，用于获取识别图片的次数、3D动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据。优选的，还包括：分析模块，用于分析统计数据，获取用户的阅读偏好数据。本专利技术的有益效果如下：本专利技术包括图书以及配套的APP应用程序，图书采用精美的图文编排，培养儿童的阅读兴趣；手机APP应用程序，通过打开手机摄像头，使用AR增加现实技术，利用大数据从云端匹配图形数据，生成跃然纸上的3D动画。AR技术将手机摄像头拍摄的现实世界与生成的虚拟物体叠加在一起，以实现对图书更直观深入的了解和解读，很容易帮助理解图书上讲解的内容，使用者可以轻松的与出现的3D动画进行交互，通过语音识别等技术与动画角色进行交流。本专利技术通过图像匹配识别技术能够识别出待交互图书的当前页面的图片，然后与本地和云端的图片特征进行匹配，并生成动画，使用AR增加现实技术，通过叠加在摄像头实时画面的方法，产生增强现实的效果。并通过触屏控制、手势和语音的交互方法来与角色互动，互动动画能够潜隐默化的培养儿童的空间想象感，培养儿童的阅读兴趣和爱好，有利于提高增强图书交互的应用广泛性。附图说明图1是本专利技术一种交互式图书互动方法的流程图；图2是本专利技术一种交互式图书互动方法实施例1的流程图；图3是本专利技术一种交互式图书互动系统的方框图；图4是本专利技术一种交互式图书互动系统的系统配置图；图5是本专利技术一种交互式图书互动系统实施例2的方框图。具体实施方式如图1所示，本专利技术提供一种交互式图书互动方法，包括如下步骤：步骤S1，移动终端的应用获取待交互图书页面的图片；步骤S2，识别所述图片，获取图片的特征值；所述特征值包括SIFT特征、SURF特征、ORB特征、BRIEF特征和FAST特征；步骤S3，将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；步骤S4，移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画；步骤S5，通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。本专利技术可以通过手势动作与3D动画角色进行交互，可以通过触控屏幕感应器来与3D动画角色进行交互，还可以通过语音来与3D动画角色进行交互。该实施例中，本专利技术通过图像匹配识别技术能够识别出待交互图书的当前页面的图片，然后与本地和云端的图片特征进行匹配，并生成动画，使用AR增加现实技术，通过叠加在摄像头实时画面的方法，产生增强现实的效果。并通过触屏控制、手势和语音的交互方法来与角色互动，互动动画能够潜隐默化的培养儿童的空间想象感，培养儿童的阅读兴趣和爱好，有利于提高AR增强图书交互的应用广泛性。本专利技术通过手持终端进行图像采集，识别动画数据，通过手势动作、触屏点击、语音等进行动画角色的动画互动。本专利技术的手持终端包括但不限于基于Googleandroid系统、iOS平台(含ipad系列)以及微软windows系统的手持终端。步骤S4中，在智能设备上加载互动动画，在智能设备上进行播放。在本地的存储介质(例如硬盘或SD卡)中存储图片特征值和脚本文件，APP应用程序用于对存储介质中所存储的图书特征和实际的3D动画进行关联，当识别成功，可以进行读取和播放。APP应用程序是由图形识别技术，3D模型展示技术制作而成，使用C#语言来完成程序的开发。所属的脚本均被转变为二进制个格式汇编格式，使用先进的语音识别技术，能够清晰的转化为交互数据。APP应用程序中的交互采用触摸或者语音的方式，与3D角色进行交互。使用智能设备扫描对应课程内的图片，识别图片特征值，将图片特征值与本地和云端特征图片进行匹配，用以识别待交互的图片。识别完成，加载特征图片对应的预置3D动画，并和图像实时采集画面叠加在一起，对实景进行增强。通过声音采集，识别声音数据，通过3D动画角色进行语音互动。云端服务器和云端中可以进行数据统计和图片识别，可以将扫描的图像数据上传，与云端图形特征数据库进行匹配，获得检索数据。还可根据上传的阅读效果数据进行统计分析并计算。以及保存阅读进度，下次从客户端打开后，直接读取云阅读进度。阅读数据的上传需要阅读者的授权，保护阅读者的隐私数据本文档来自技高网...

【技术保护点】
一种交互式图书互动方法，其特征在于：包括如下步骤：移动终端的应用获取待交互图书页面的图片；识别所述图片，获取图片的特征值；所述特征值包括SIFT特征、SURF特征、ORB特征、BRIEF特征和FAST特征；将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画；通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。

【技术特征摘要】
1.一种交互式图书互动方法，其特征在于：包括如下步骤：移动终端的应用获取待交互图书页面的图片；识别所述图片，获取图片的特征值；所述特征值包括SIFT特征、SURF特征、ORB特征、BRIEF特征和FAST特征；将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画；通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。2.根据权利要求1所述的一种交互式图书互动方法，其特征在于：所述移动终端的应用加载所述特征图片对应的预设的3D动画，生成叠加在现实中的3D角色动画，包括：移动终端的应用加载所述特征图片对应的预设的3D动画；打开所述移动终端的摄像头，使用AR增强现实技术，将摄像头拍摄的现实世界与所述3D动画叠加在一起，生成3D角色动画。3.根据权利要求1所述的一种交互式图书互动方法，其特征在于：所述识别所述图片，获取图片的特征值，包括：识别所述图片，通过对图片进行降噪和/或增加对比度处理，提取特征值。4.根据权利要求1或3所述的一种交互式图书互动方法，其特征在于：所述将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片，包括：将图片特征值与本地预设的图片特征值进行对比，若匹配成功，则获取所述图片特征值对应的动画数据；从云端服务器上的下载所述动画数据。5.根据权利要求1所述的一种交互式图书互动方法，其特征在于：还包括：获取识别图片的次数、3D动画播放的次数以及屏幕互动的次数，...

【专利技术属性】
技术研发人员：巩天蔚，
申请(专利权)人：河南书网教育科技股份有限公司，
类型：发明
国别省市：河南,41