AR特效的显示方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了AR特效的显示方法、装置、计算机设备及存储介质，其中，该方法包括：获取AR设备采集目标场景得到的视频帧图像；基于所述视频帧图像，确定目标AR特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效。本公开实施例通过对视频帧图像的进行处理，使得视频帧图像在处理后更适用于AR特效的展示，提升AR特效的显示效果。

【技术实现步骤摘要】
AR特效的显示方法、装置、计算机设备及存储介质
本公开涉及增强现实(AugmentedReality，AR)
，具体而言，涉及一种AR特效的显示方法、装置、计算机设备及存储介质。
技术介绍
增强现实(AugmentedReality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，具体的，AR技术可以实时地计算AR设备的位姿信息，并基于AR设备的位姿信息确定AR特效，然后将对应的AR特效叠加在AR设备拍摄画面的前端，从而进行展示。当前，如何提升AR特效在AR设备中展示效果，是业界的重要课题。
技术实现思路
本公开实施例至少提供一种AR特效的显示方法、装置、计算机设备及存储介质。第一方面，本公开实施例提供了一种AR特效的显示方法，所述显示方法包括：获取AR设备采集目标场景得到的视频帧图像；基于所述视频帧图像，确定目标AR特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效。本公开实施例通过获取AR设备采集目标场景得到的视频帧图像，并基于视频帧图像，确定目标AR特效，以及基于视频帧图像，确定目标场景的环境信息；后通过AR设备基于环境信息，对视频帧图像进行与环境信息对应的处理，并将处理后的视频帧图像和目标AR特效融合显示，从而可以基于视频帧图像的原始效果对图像进行调整，以提升AR特效融合图像的显示效果。一种可选的实施方式中，所述视频帧图像为视频流中的至少一帧图像；对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效，包括：对所述视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的所述至少部分图像和所述目标AR特效。这样，可以通过对视频流中的至少部分图像进行与环境信息对应的处理，从而可以提升视频与AR特效融合的显示效果。一种可选的实施方式中，所述环境信息包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。这样，通过时间信息、亮度信息、场景信息、天气信息中至少一种，确定AR特效是否能够有效的确定与图像融合展示时具有较好的效果。一种可选的实施方式中，针对所述环境信息包括时间信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：读取系统时间，基于所述系统时间，确定所述目标场景的时间信息；和/或，针对所述环境信息包括亮度信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息；和/或，针对所述环境信息包括场景信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息；和/或，针对所述环境信息包括天气信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；或者，获取所述AR设备的地理位置信息；基于所述地理位置信息，获取所述目标场景的天气信息。这样，通过上述不同的过程，能够获得视频帧图像的环境信息。一种可选的实施方式中，所述基于所述视频帧图像，确定目标AR特效，包括：基于所述视频帧图像，确定所述AR设备在所述目标场景的第一位姿信息；基于所述第一位姿信息、以及至少一个AR特效在所述目标场景的第二位姿信息，从所述至少一个AR特效中确定所述目标AR特效。这样，能够从目标场景中的多个AR特效中，确定出要显示在AR设备中的目标AR特效。一种可选的实施方式中，所述基于所述视频帧图像，确定所述AR设备在所述目标场景的第一位姿信息，包括：对所述视频帧图像进行关键点识别，得到所述视频帧图像中的第一关键点；基于所述第一关键点，从所述目标场景的三维模型的第二关键点中，确定与所述第一关键点匹配的目标第二关键点，并基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述AR设备在所述场景坐标系下的第一位姿信息。这样，可以准确确定出AR设备在场景坐标系下的第一位姿信息。一种可选的实施方式中，所述基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述AR设备在所述场景坐标系下的第一位姿信息，包括：基于所述第一关键点在图像坐标系下的二维坐标值、以及所述目标第二关键点在所述场景坐标系下的三维坐标值，确定所述AR设备在所述场景坐标系下的第一位姿信息。一种可选的实施方式中，还包括：确定所述目标AR特效对应的目标环境信息；所述基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，包括：基于所述环境信息、以及所述目标环境信息，对所述视频帧图像进行处理。这样，能够针对不同的AR特效所需求的环境信息，对视频帧图像进行调整，在将视频帧图像和AR特效进行融合显示时效果更好。一种可选的实施方式中，对所述视频帧图像进行与所述环境信息对应的处理，包括：对所述视频帧图像执行下述至少一种处理：明度调整处理、饱和度调整处理、色相调整处理、以及清晰度调整处理。第二方面，本公开实施例还提供一种AR特效的显示装置，所述显示装置包括：获取模块，用于获取AR设备采集目标场景得到的视频帧图像；第一确定模块，用于基于所述视频帧图像，确定目标AR特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；处理模块，用于基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效。一种可选的实施方式中，所述视频帧图像为视频流中的至少一帧图像；所述处理模块在对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效时，用于：对所述视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的所述至少部分图像和所述目标AR特效。一种可选的实施方式中，所述环境信息包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。一种可选的实施方式中，针对所述环境信息包括时间信息的情况，所述第一确定模块具体用于：读取系统时间，基于所述系统时间，确定所述目标场景的时间信息；和/或，针对所述环境信息包括亮度信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息；和/或，针对所述环境信息包括场景信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息；和/或，针对所述环境信息包括天气信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；本文档来自技高网...

【技术保护点】
1.一种AR特效的显示方法，其特征在于，所述显示方法包括：/n获取AR设备采集目标场景得到的视频帧图像；/n基于所述视频帧图像，确定目标AR特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；/n基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效。/n

【技术特征摘要】
1.一种AR特效的显示方法，其特征在于，所述显示方法包括：
获取AR设备采集目标场景得到的视频帧图像；
基于所述视频帧图像，确定目标AR特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；
基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效。


2.根据权利要求1所述的显示方法，其特征在于，所述视频帧图像为视频流中的至少一帧图像；
对所述视频帧图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的视频帧图像和所述目标AR特效，包括：
对所述视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述AR设备展示处理后的所述至少部分图像和所述目标AR特效。


3.根据权利要求1或2所述的显示方法，其特征在于，所述环境信息包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。


4.根据权利要求3所述的显示方法，其特征在于，针对所述环境信息包括时间信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：
读取系统时间，基于所述系统时间，确定所述目标场景的时间信息；和/或，
针对所述环境信息包括亮度信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：
基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息；
和/或，
针对所述环境信息包括场景信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：
利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息；
和/或，
针对所述环境信息包括天气信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：
利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；或者，获取所述AR设备的地理位置信息；基于所述地理位置信息，获取所述目标场景的天气信息。


5.根据权利要求1-4任一项所述的显示方法，其特征在于，所述基于所述视频帧图像，确定目标AR特效，包括：
基于所述视频帧图像，确定所述AR设备在所述目标场景的第一位姿信息；
基于所述第一位姿信息、以及至少一个AR特效在所述目标场景的第二位姿信息，从所述至少一个AR特效中确定所述目标AR特效。


6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：李宇飞，张建博，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33