关于增强现实场景的处理方法、装置、终端设备及系统制造方法及图纸

本发明专利技术实施例公开了关于增强现实场景的处理方法、装置、终端设备及系统，其中，方法包括：从当前拍摄的视频中确定目标视频帧；调用框选模型从目标视频帧中确定待分析的图像区域；调用分类模型分析图像区域，确定图像区域中目标对象的类别；获取与确定的类别关联的增强现实场景信息；根据目标视频帧中框选的图像区域和增强现实场景信息进行增强现实处理，以便于得到增强现实场景。采用本发明专利技术实施例，可快捷地在拍摄到的视频中叠加AR场景信息。

Processing methods, devices, terminal devices and systems for augmented reality scenes

The embodiment of the invention discloses a processing method, augmented reality scene device, terminal equipment and system, the method to determine the target video frames from the video shot; call box selection model to determine the image region to be analyzed from the target in the video frame; call classification model analysis of image region, determine the target image in the area of categories; augmented reality scene information associated with the identified categories; for augmented reality processing according to the selected image area of target frame in video frames and augmented reality scene information, in order to get more realistic scenes. Using the embodiment of the invention, the AR scene information can be quickly superimposed on the captured video.

【技术实现步骤摘要】
关于增强现实场景的处理方法、装置、终端设备及系统
本专利技术涉及增强现实
，尤其涉及一种关于增强现实场景的处理方法、装置、终端设备及系统。
技术介绍
AR(AugmentedReality，增强现实技术)是一种新兴的技术，可以将现实环境和虚拟信息相结合。AR可以实时地计算摄像装置拍摄的图像中相关对象的位置及角度，再进一步叠加上相应虚拟图像、3D模型等AR场景信息，再在终端屏幕上将AR场景信息和关于现实世界的图像进行叠加，实现虚拟世界与现实世界的结合。在AR中还可进行与用户的互动。在关于现实世界的图像中叠加AR场景信息是实现AR的关键。因此，在拍摄装置拍摄到的图像中叠加AR场景信息成为研究的热点。
技术实现思路
本专利技术实施例提供一种关于增强现实场景的处理方法、装置、终端设备及系统，可快捷地在拍摄到的视频中叠加AR场景信息。一方面，本专利技术实施例提供了一种关于增强现实场景的处理方法，包括：从当前拍摄的视频中确定目标视频帧；调用用于框选对象区域的框选模型从所述目标视频帧中确定待分析的图像区域；调用用于进行对象分类识别的分类模型分析所述图像区域，确定所述图像区域中目标对象的类别；获取本文档来自技高网...

【技术保护点】
一种关于增强现实场景的处理方法，其特征在于，包括：从当前拍摄的视频中确定目标视频帧；调用用于框选对象区域的框选模型从所述目标视频帧中确定待分析的图像区域；调用用于进行对象分类识别的分类模型分析所述图像区域，确定所述图像区域中目标对象的类别；获取与所述确定的类别关联的增强现实场景信息；对所述目标视频帧中框选的图像区域和所述增强现实场景信息进行增强现实处理，以便于得到增强现实场景。

【技术特征摘要】
1.一种关于增强现实场景的处理方法，其特征在于，包括：从当前拍摄的视频中确定目标视频帧；调用用于框选对象区域的框选模型从所述目标视频帧中确定待分析的图像区域；调用用于进行对象分类识别的分类模型分析所述图像区域，确定所述图像区域中目标对象的类别；获取与所述确定的类别关联的增强现实场景信息；对所述目标视频帧中框选的图像区域和所述增强现实场景信息进行增强现实处理，以便于得到增强现实场景。2.如权利要求1所述的方法，其特征在于，所述从当前拍摄的视频中确定目标视频帧，包括：获取当前拍摄的视频中预设帧范围内的各个视频帧；确定各视频帧中的特征点，根据其中相同特征点在各个视频帧中的像素位置判断所述视频的拍摄是否稳定；若是，则从所述各个视频帧中确定一个视频帧作为目标视频帧。3.如权利要求1所述的方法，其特征在于，所述从当前拍摄的视频中确定目标视频帧，包括：检测当前拍摄的视频中当前视频帧的各目标特征点；计算各目标特征点的像素坐标的均值和方差，并记录；根据所述计算得到的均值和方差，并根据上一次计算并记录的均值和方差，计算得到所述视频的视频帧差异值；如果所述视频帧差异值不满足预设的变化条件，则将所述视频中的当前视频帧作为目标视频帧。4.如权利要求1-3任一项所述的方法，其特征在于，所述框选模型是对图像集合中包括的多张预测图像进行训练得到的；所述方法包括：配置初始模型；从所述图像集合中获取预测图像，并获取该预测图像的描述信息，所述描述信息包括所述预测图像中目标区域的目标区域位置信息；调用所述初始模型对所述预测图像进行分析，确定所述预测图像中的预测图像区域；当所述预测图像区域的图像位置信息和所述目标区域位置信息之间的差异信息不满足预设的建模条件的情况下，对所述初始模型进行更新。5.如权利要求4所述的方法，其特征在于，所述获取该预测图像的描述信息，包括：在用户界面上显示所述预测图像；接收在该用户界面上的框选操作，将框选操作所选择的预测框的位置信息作为目标区域位置信息，得到描述信息；其中，所述目标区域位置信息包括所述预测框的左上角像素坐标和右下角像素坐标。6.如权利要求1-3任一项所述的方法，其特征在于，所述分类模型是根据对图像集合中包括的多张预测图像进行训练得到的；所述方法包括：配置初始模型；从所述图像集合中获取预测图像和该预测图像的描述信息，所述描述信息包括所述预测图像的分类标识；调用所述初始模型对所述获取的预测图像进行分析，获取所述获取的预测图像的...

【专利技术属性】
技术研发人员：付丹青，徐浩，刘承全，邹成卓，卢霆，项小明，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44