特效互动方法及相关装置、设备、导览车和存储介质制造方法及图纸

本申请公开了一种特效互动方法及相关装置、设备、导览车和存储介质，其中，特效互动方法包括：响应于在对真实环境拍摄到的环境图像中识别到目标对象，获取与目标对象相关的AR特效；控制显示设备播放AR特效，并控制特效设备产生与目标对象相关的真实特效。上述方案，能够结合增强现实与真实感官的互动体验，有利于尽可能地提升互动体验，以在应用于动态行进过程中时，能够尽可能地提升参观体验。能够尽可能地提升参观体验。能够尽可能地提升参观体验。

【技术实现步骤摘要】
特效互动方法及相关装置、设备、导览车和存储介质


[0001]本申请涉及增强现实
，特别是涉及一种特效互动方法及相关装置、设备、导览车和存储介质。

技术介绍

[0002]随着信息技术的发展，增强现实(Augmented Reality，AR)已经在越来越的行业和场景得到应用。例如，可以在导览场景中应用AR技术，以进一步增强参观体验。
[0003]以导览车为例，现有的导览车主要专为旅游景区、公园、校园、度假村、城市步行街等区域开发的旅游观光及区域内交通工具，也可用于工业园区、科技园区等大型产业园的接驳。通过在导览车中应用AR技术，相较于单纯的人工讲解或自动语音播报而言，能够在动态行进过程中更加有助于提升参观体验。有鉴于此，如何在行进过程中应用AR技术以尽可能地提升参观体验成为亟待极具研究的课题。

技术实现思路

[0004]本申请提供一种特效互动方法及相关装置、设备、导览车和存储介质。
[0005]本申请第一方面提供了一种特效互动方法，包括：响应于在对真实环境拍摄到的环境图像中识别到目标对象，获取与目标对象相关的AR特效；控制显示设备播放AR特效，并控制特效设备产生与目标对象相关的真实特效。
[0006]因此，响应于在对真实环境拍摄到的环境图像中识别到目标对象，获取与目标对象相关的AR特效，并控制显示设备播放AR特效，以及控制特效设备产生与目标对象相关的真实特效，也就是说，一旦检测到真实环境中出现目标对象，就在显示设备上播放与目标对象相关的AR特效，并控制特效设备产生与目标对象相关的真实特效，如此能够结合增强现实与真实感官的互动体验，有利于尽可能地提升互动体验，故在应用于动态行进过程中时，能够尽可能地提升参观体验。
[0007]其中，AR特效包括若干特效帧，且若干特效帧中预先标记有至少一个目标帧，控制特效设备产生与目标对象相关的真实特效，包括：响应于播放到目标帧，控制特效设备产生真实特效。
[0008]因此，AR特效包括若干特效帧，且若干特效帧中预先标记有至少一个目标帧，从而响应于播放到目标帧，控制特效设备产生真实特效，进而能够通过预先在AR特效中标记出触发真实特效的目标帧，使得特效设备与显示设备联动，一旦显示设备播放到目标帧，特效设备即开始产生真实特效，进而能够提升AR特效与真实特效之间的融洽性，有利于进一步增强互动体验。
[0009]其中，各目标帧分别预先标注有特效参数，控制特效设备产生真实特效，包括：基于当前播放的目标帧标注的特效参数，控制产生真实特效。
[0010]因此，各目标帧分别预先标注有特效参数，从而基于当前播放的目标帧标注的特效参数，控制产生真实特效，进而能够进一步提升AR特效与真实特效之间的融洽性，有利于
进一步增强互动体验。
[0011]其中，特效互动方法还包括：响应于目标对象在当前拍摄到的环境图像中消失，控制显示设备停止播放AR特效，并控制特效设备停止产生真实特效。
[0012]因此，响应于目标对象在当前拍摄到的环境图像中消失，控制显示设备停止播放AR特效，并控制特效设备停止产生真实特效，从而能够使得显示设备、特效设备与摄像设备联动，一旦目标对象超出视野，显示设备即停止播放AR特效，特效设备即停止产生真实特效，进而能够提升AR特效与真实特效之间的融洽性，有利于进一步增强互动体验。
[0013]其中，在响应于在对真实环境拍摄到的环境图像中识别到目标对象之前，方法还包括：基于环境识别模型对环境图像进行识别，得到识别结果，其中，识别结果包括环境图像中是否存在目标对象，且环境识别模型基于预先对真实环境拍摄到的样本图像得到。
[0014]因此，目标对象基于环境识别模型对环境图像识别得到，与目标对象相关的AR特效基于真实环境的三维地图模型确定得到，且环境识别模型、三维地图模型均基于预先对真实环境拍摄到的样本图像得到，故通过环境识别模型对环境图像识别，能够有利于提升目标对象的识别效率。
[0015]其中，获取与目标对象相关的AR特效，包括：基于三维地图模型对环境图像进行定位，得到拍摄位置；其中，三维地图模型基于预先对真实环境拍摄到的样本图像得到，且三维地图模型中不同位置处的目标对象分别预先关联有各自的AR特效；基于拍摄位置、目标对象以及不同位置处的目标对象分别预先关联的AR特效，得到与目标对象相关的AR特效。
[0016]因此，三维地图模型中不同位置处的目标对象分别预先关联有各自的AR特效，则先基于环境图像和三维地图模型进行定位，得到拍摄位置，再基于拍摄位置、目标对象以及不同位置处的目标对象分别预先关联的AR特效，得到与目标对象相关的AR特效，故通过预先在三维地图模型中不同位置处的目标对象关联AR特效，在后续应用过程中，只需通过环境图像结合三维地图模型进行视觉定位，确定拍摄位置，再结合拍摄位置、在环境图像中识别到的目标对象以及三维地图模型中不同位置处的目标对象分别预先关联的AR特效，即可确定出与环境图像中目标对象相关的AR特效，有利于提升确定AR特效的效率和精度。此外，环境识别模型与三维地图模型均基于预先对真实环境拍摄到的样本图像得到，即两者基于相同的图像数据得到，故能够尽可能地使得两者保持一致性，有利于提升特效互动效率。
[0017]其中，目标对象包括树木，AR特效包括喷水，真实特效包括喷洒水雾；和/或，目标对象包括花朵，AR特效包括花园，真实特效包括散发香味；和/或，目标对象包括火焰，AR特效包括燃烧，真实特效包括释放烟雾。
[0018]因此，目标对象包括树木，AR特效包括喷水，真实特效包括喷洒水雾，而目标对象包括花朵，AR特效包括花园，真实特效包括散发香味，目标对象包括火焰，AR特效包括燃烧，真实特效包括释放烟雾，故能够结合增强现实与视觉、嗅觉等多层次感官体验，有利于进一步提升互动体验。
[0019]本申请第二方面提供了一种特效互动装置，包括：特效获取模块、特效播放模块和特效产生模块，特效获取模块，用于响应于在对真实环境拍摄到的环境图像中识别到目标对象，获取与目标对象相关的AR特效；特效播放模块，用于控制显示设备播放AR特效；特效产生模块，用于控制特效设备产生与目标对象相关的真实特效。
[0020]本申请第三方面提供了一种互动设备，包括相互耦接的存储器和处理器，处理器
用于执行存储器中存储的程序指令，以实现上述第一方面中的特效互动方法。
[0021]本申请第四方面提供了一种导览车，包括车本体、显示设备、摄像设备、特效设备和上述第三方面中的互动设备，显示设备、摄像设备、特效设备和互动设备均集成于车本体，且显示设备、摄像设备、特效设备分别与互动设备通信连接。
[0022]其中，特效设备包括以下至少一者：水雾装置、香氛装置、烟雾装置。
[0023]本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的特效互动方法。
[0024]上述方案，响应于在对真实环境拍摄到的环境图像中识别到目标对象，获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特效互动方法，其特征在于，包括：响应于在对真实环境拍摄到的环境图像中识别到目标对象，获取与所述目标对象相关的AR特效；控制显示设备播放所述AR特效，并控制特效设备产生与所述目标对象相关的真实特效。2.根据权利要求1所述的方法，其特征在于，所述AR特效包括若干特效帧，且所述若干特效帧中预先标记有至少一个目标帧，所述控制特效设备产生与所述目标对象相关的真实特效，包括：响应于播放到所述目标帧，控制所述特效设备产生所述真实特效。3.根据权利要求2所述的方法，其特征在于，各所述目标帧分别预先标注有特效参数，所述控制所述特效设备产生所述真实特效，包括：基于当前播放的目标帧标注的特效参数，控制产生所述真实特效。4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：响应于所述目标对象在当前拍摄到的环境图像中消失，控制所述显示设备停止播放所述AR特效，并控制所述特效设备停止产生所述真实特效。5.根据权利要求1至4任一项所述的方法，其特征在于，在所述响应于在对真实环境拍摄到的环境图像中识别到目标对象之前，所述方法还包括：基于环境识别模型对所述环境图像进行识别，得到识别结果；其中，所述识别结果包括所述环境图像中是否存在所述目标对象，且所述环境识别模型基于预先对所述真实环境拍摄到的样本图像得到。6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取与所述目标对象相关的AR特效，包括：基于三维地图模型对所述环境图像进行定位，得到拍摄位置；其中，所述三维地图模型基于预先对所述真实环境拍摄到的样本图像得到，且所述三维地图模型中不同位置...

【专利技术属性】
技术研发人员：简艺，揭志伟，孙红亮，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：