一种三维场景呈现方法、装置及系统制造方法及图纸

本发明专利技术公开了一种三维场景呈现方法、装置及系统，该方法包括：通过摄像头一次扫描待处理图片并对其进行图像识别，以判断待处理图片是否为预定场景图片；若待处理图片为预定场景图片，则向用户显示与预定场景图片关联的预定关键词；获取用户针对预定关键词而提供的语音信息，对语音信息进行语音识别，以判断其中是否包括预定关键词并获取语音信息包括的预定关键词；通过摄像头二次扫描待处理图片，在屏幕中显示待处理图片位于扫描区域内的图像；获取与语音信息包括的预定关键词关联的三维对象，并将其加载到图像上，以向用户呈现三维场景。

【技术实现步骤摘要】
一种三维场景呈现方法、装置及系统
本专利技术涉及图像处理
，特别涉及一种三维场景呈现方法、装置及系统。
技术介绍
随着图像处理及相关技术的发展，越来越多的人投入到AR(AugmentedReality，增强现实)技术的研究中。AR技术，是在现实的基础上作场景合成，增添一部分信息来扩展人们手中掌握的数据，将虚拟的信息应用到真实世界当中，糅合真实的环境与虚拟的物体实时叠加到同一空间、同一场景、同一画面，涉及图像识别、图像匹配、三维建模、视频显示及控制等多种技术，并可应用于教学、广告、零售业、医疗健康和娱乐游戏等多个领域中。比如在教学领域中，以AR图书为首的AR产品发展更为迅猛。AR图书，顾名思义，就是将AR技术应用在书籍上，它最大的特点就是让静态的图文“活”起来。通常情况下，用户通过手机、平板等移动终端的摄像头去扫描AR图书指定页码上的图片以进行图像识别，若图像识别成功，则在移动终端中与该AR图书关联的应用里显示出简单的动画或三维模型，从而向用户呈现出整体的三维场景。然而，这一处理过程中与用户之间几乎没有任何交互行为，无法根据用户的需求来进行显示，也没有提供实际动手操作的机会，用户体验较差，特别是对儿童这类特定用户而言，吸引力较低。而且，不仅是AR图书，其他AR产品中同样会出现以上问题，因此需要一种新的三维场景呈现方法来优化上述处理过程。
技术实现思路
为此，本专利技术提供一种三维场景呈现的技术方案，以力图解决或者至少缓解上面存在的问题。根据本专利技术的一个方面，提供一种三维场景呈现方法，适于在移动终端中执行，移动终端包括数据存储设备，数据存储设备中存储有与预定场景图片关联的预定关键词，以及与预定关键词关联的三维对象，该方法包括如下步骤：通过摄像头一次扫描待处理图片并对其进行图像识别，以判断待处理图片是否为预定场景图片；若待处理图片为预定场景图片，则向用户显示与预定场景图片关联的预定关键词；获取用户针对预定关键词而提供的语音信息，对语音信息进行语音识别，以判断其中是否包括预定关键词并获取语音信息包括的预定关键词；通过摄像头二次扫描待处理图片，在屏幕中显示待处理图片位于扫描区域内的图像；从数据存储设备中获取与语音信息包括的预定关键词关联的三维对象，并将其加载到图像上，以向用户呈现三维场景。可选地，在根据本专利技术的三维场景呈现方法中，数据存储设备中存储有对应于预定场景图片的图像特征集，通过摄像头一次扫描待处理图片并对其进行图像识，以判断待处理图片是否为预定场景图片的步骤包括：开启摄像头扫描待处理图片；获取待处理图片位于扫描区域内的图像；提取图像的特征点以生成待识别特征集；从数据存储设备中获取图像特征集，将待识别特征集与该图像特征集进行特征匹配；若匹配成功，则判断待处理图片为预定场景图片。可选地，在根据本专利技术的三维场景呈现方法中，图像特征集包括多个图像特征点，将待识别特征集与该图像特征集进行特征匹配的步骤包括：将待识别特征集与该图像特征集进行特征匹配，统计匹配成功的特征点的数量作为匹配对数量；获取待识别特征集的特征点的数量作为第一数量，获取该图像特征集中图像特征点的数量作为第二数量；计算匹配对数量与第一数量和第二数量中较小值的比值作为图像匹配度；若图像匹配度大于第一阈值，则判断图像特征集匹配成功。可选地，在根据本专利技术的三维场景呈现方法中，移动终端与网络服务器通信连接，网络服务器中存储有与预定场景图片关联的预定关键词，对语音信息进行语音识别，以判断其中是否包括预定关键词并获取语音信息包括的预定关键词的步骤包括：将语音信息发送至网络服务器，指示网络服务器对语音信息进行语音识别，以判断其中是否包括预定关键词；接收网络服务器返回的语音识别结果，根据语音识别结果获取语音信息包括的预定关键词。可选地，在根据本专利技术的三维场景呈现方法中，网络服务器对语音信息进行语音识别，以判断其中是否包括预定关键词的步骤包括：接收移动终端发送的语音信息并对其进行语音识别；若语音信息中包括预设关键词，则将识别出的预设关键词作为语音识别结果，并将语音识别结果发送至对应的移动终端；若语音信息中不包括预设关键词，则将语音识别失败作为语音识别结果，并将语音识别结果发送至对应的移动终端。可选地，在根据本专利技术的三维场景呈现方法中，通过摄像头二次扫描待处理图片，在屏幕中显示待处理图片位于扫描区域内的图像的步骤包括：通过摄像头二次扫描待处理图片并对其进行图像识别，以判断待扫描图片是否为预定场景图片；若待扫描图片为预定场景图片，则在屏幕中显示待处理图片位于扫描区域内的图像。可选地，在根据本专利技术的三维场景呈现方法中，数据存储设备中存储有与三维对象关联的位置信息，位置信息用于将三维对象显示于预定场景图片中的预定位置，从数据存储设备中获取与语音信息包括的预定关键词关联的三维对象，并将其加载到图像上的步骤包括：根据语音信息包括的预定关键词，从数据存储设备中获取与该预定关键词关联的三维对象；根据获取到的三维对象，从数据存储设备中获取与该三维对象关联的位置信息；根据位置信息，将与其关联的三维对象加载到图像中对应的位置上。可选地，在根据本专利技术的三维场景呈现方法中，还包括：在向用户呈现三维场景的同时，播放语音信息。根据本专利技术的又一个方面，提供一种三维场景呈现装置，适于驻留在移动终端中，移动终端包括数据存储设备，数据存储设备中存储有与预定场景图片关联的预定关键词，以及与预定关键词关联的三维对象，该装置包括图像识别模块、第一显示模块、语音处理模块、第二显示模块、加载模块。其中，图像识别模块适于通过摄像头一次扫描待处理图片并对其进行图像识别，以判断待处理图片是否为预定场景图片；第一显示模块适于当待处理图片为预定场景图片时，向用户显示与预定场景图片关联的预定关键词；语音处理模块适于获取用户针对预定关键词而提供的语音信息，对语音信息进行语音识别，以判断其中是否包括预定关键词并获取语音信息包括的预定关键词；第二显示模块适于通过摄像头二次扫描待处理图片，在屏幕中显示待处理图片位于扫描区域内的图像；加载模块适于从数据存储设备中获取与语音信息包括的预定关键词关联的三维对象，并将其加载到图像上，以向用户呈现三维场景。可选地，在根据本专利技术的三维场景呈现装置中，数据存储设备中存储有对应于预定场景图片的图像特征集，图像识别模块进一步适于：开启摄像头扫描待处理图片；获取待处理图片位于扫描区域内的图像；提取图像的特征点以生成待识别特征集；从数据存储设备中获取图像特征集，将待识别特征集与该图像特征集进行特征匹配；当匹配成功时，判断待处理图片为预定场景图片。可选地，在根据本专利技术的三维场景呈现装置中，图像特征集包括多个图像特征点，图像识别模块进一步适于：将待识别特征集与该图像特征集进行特征匹配，统计匹配成功的特征点的数量作为匹配对数量；获取待识别特征集的特征点的数量作为第一数量，获取该图像特征集中图像特征点的数量作为第二数量；计算匹配对数量与第一数量和第二数量中较小值的比值作为图像匹配度；当图像匹配度大于第一阈值时，判断图像特征集匹配成功。可选地，在根据本专利技术的三维场景呈现装置中，移动终端与网络服务器通信连接，网络服务器中存储有与预定场景图片关联的预定关键词，语音处理模块进一步适于：将语音信息发送至网络服务器，本文档来自技高网...

【技术保护点】
一种三维场景呈现方法，适于在移动终端中执行，所述移动终端包括数据存储设备，所述数据存储设备中存储有与预定场景图片关联的预定关键词，以及与所述预定关键词关联的三维对象，所述方法包括：通过摄像头一次扫描待处理图片并对其进行图像识别，以判断所述待处理图片是否为预定场景图片；若所述待处理图片为预定场景图片，则向用户显示与所述预定场景图片关联的预定关键词；获取用户针对所述预定关键词而提供的语音信息，对所述语音信息进行语音识别，以判断其中是否包括预定关键词并获取所述语音信息包括的预定关键词；通过摄像头二次扫描待处理图片，在屏幕中显示待处理图片位于扫描区域内的图像；从数据存储设备中获取与所述语音信息包括的预定关键词关联的三维对象，并将其加载到所述图像上，以向用户呈现三维场景。

【技术特征摘要】
1.一种三维场景呈现方法，适于在移动终端中执行，所述移动终端包括数据存储设备，所述数据存储设备中存储有与预定场景图片关联的预定关键词，以及与所述预定关键词关联的三维对象，所述方法包括：通过摄像头一次扫描待处理图片并对其进行图像识别，以判断所述待处理图片是否为预定场景图片；若所述待处理图片为预定场景图片，则向用户显示与所述预定场景图片关联的预定关键词；获取用户针对所述预定关键词而提供的语音信息，对所述语音信息进行语音识别，以判断其中是否包括预定关键词并获取所述语音信息包括的预定关键词；通过摄像头二次扫描待处理图片，在屏幕中显示待处理图片位于扫描区域内的图像；从数据存储设备中获取与所述语音信息包括的预定关键词关联的三维对象，并将其加载到所述图像上，以向用户呈现三维场景。2.如权利要求1所述的方法，所述数据存储设备中存储有对应于预定场景图片的图像特征集，所述通过摄像头一次扫描待处理图片并对其进行图像识，以判断所述待处理图片是否为预定场景图片的步骤包括：开启摄像头扫描待处理图片；获取待处理图片位于扫描区域内的图像；提取所述图像的特征点以生成待识别特征集；从数据存储设备中获取所述图像特征集，将待识别特征集与该图像特征集进行特征匹配；若匹配成功，则判断所述待处理图片为预定场景图片。3.如权利要求2所述的方法，所述图像特征集包括多个图像特征点，所述将待识别特征集与该图像特征集进行特征匹配的步骤包括：将待识别特征集与该图像特征集进行特征匹配，统计匹配成功的特征点的数量作为匹配对数量；获取待识别特征集的特征点的数量作为第一数量，获取该图像特征集中图像特征点的数量作为第二数量；计算匹配对数量与第一数量和第二数量中较小值的比值作为图像匹配度；若所述图像匹配度大于第一阈值，则判断所述图像特征集匹配成功。4.如权利要求1-3中任一项所述的方法，所述移动终端与网络服务器通信连接，所述网络服务器中存储有与预定场景图片关联的预定关键词，所述对所述语音信息进行语音识别，以判断其中是否包括预定关键词并获取所述语音信息包括的预定关键词的步骤包括：将所述语音信息发送至网络服务器，指示网络服务器对所述语音信息进行语音识别，以判断其中是否包括预定关键词；接收网络服务器返回的语音识别结果，根据所述语音识别结果获取所述语音...

【专利技术属性】
技术研发人员：郭艳，
申请(专利权)人：成都创想空间文化传播有限公司，
类型：发明
国别省市：四川,51