基于视频的AR融合处理方法、电子设备和计算机可读介质技术

本发明专利技术为解决传统的视频编辑手段均不能达到很好的添加外部道具来增加视频的表现力的作用，而且添加的外部道具也很容易识别出来，或者效果很突兀的问题，提供一种基于视频的AR融合处理方法、电子设备和存储介质。该方法包括以下步骤：从视频中提取多个图像帧；内容识别，得到该图像帧中存在的主要对象；选定目标对象和操作帧；选定操作帧中的部分区域为ROI区域；位置映射；获取待显示的3D模型图像，3D模型图像与视频融合显示。本发明专利技术首先对视频进行内容识别找出主要对象，然后确定视频的图像帧中的ROI的位置，3D模型图像添加到ROI区域内融合显示，增加视频内容的丰富度，由此实现了AR增强效果。了AR增强效果。了AR增强效果。

【技术实现步骤摘要】
基于视频的AR融合处理方法、电子设备和计算机可读介质


[0001]本专利技术涉及视频处理
，尤其涉及一种基于视频的AR融合处理方法、电子设备和计算机可读介质。

技术介绍

[0002]增强现实（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。目前，AR需要借助相机的雷达定位出ROI区域，若需要对已经完成录制的视频进行后期制作时，AR则无法利用。
[0003]另一方面，传统的视频编辑软件中可通过将视频解析成多张图片，然后在选定的图片上加上文字或者贴图等并显示出来。部分短视频平台也提供了类似的粘贴道具到脸部的技术，比如人脸上的眼睛处添加眼镜。然而，传统的视频编辑手段均不能达到很好的添加外部道具以增加视频的表现力的作用，而且添加的外部道具也很容易识别出来，或者效果很突兀。同时，由于添加进入视频中的外部道具无法与视频中的内容比较好的融合，导致后期处理人员工作量大，难度高等特点。

技术实现思路

[0004]本专利技术为解决传统的视频编辑手段均不能达到很好的添加外部道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的AR融合处理方法，其特征在于，所述基于视频的AR融合处理方法包括以下步骤：步骤S1，确立待后期制作处理的视频，从该视频中提取多个图像帧，每个图像帧的尺寸大小相同；步骤S2，逐一对每个图像帧进行内容识别，得到该图像帧中存在的主要对象，由此得到该视频中涉及的全部主要对象；步骤S3，从该视频中的全部主要对象中选取一个主要对象，并将该主要对象设定为目标对象；选取存在该目标对象的一个图像帧，并将该图像帧设定为操作帧；步骤S4，基于操作帧、目标对象在操作帧中的位置以及制作需求，选定操作帧中的部分区域为ROI区域，得到ROI区域的图像面积大小，以及ROI区域与目标对象的相对位置关系；步骤S5，将该ROI区域的位置映射是视频中的全部图像帧中；步骤S6，从3D模型图像库中获取待显示的3D模型图像，当视频中出现目标对象时，将该3D模型图像添加到ROI区域内，3D模型图像与视频融合显示，或者视频从始至终均作3D模型图像与视频融合显示。2.根据权利要求1所述的基于视频的AR融合处理方法，其特征在于，所述步骤S2中，逐一对每个图像帧进行内容识别时，调用YOLO模型，而后逐一将每个图像帧导入YOLO模型中，识别出每个图像帧中的主要对象。3.根据权利要求2所述的基于视频的AR融合处理方法，其特征在于，所述步骤S2中额，YOLO模型采用机器深度学习的方式获得，具体过程包括：步骤S21，设置YOLO模型的待定参数，将训练集输入到构建的YOLO模型进行运算；步骤S22，通过尺寸聚类方法生成锚框尺寸，将输入的每张训练图片分割成m*m网格，每个网格预测输出n个边框和p个类别概率值数据；步骤S23，将所有网格的输出数据与标记文件中数据进行比较，得到YOLO模型的预测值与标记文件的真实值之间的预测误差；步骤S24，基于预测误差，使用梯度下降方法，更新YOLO模型的参数，反复训练直至预测误差小于阈值。4.根据权利要求1、2或3所述的基于视频的AR融合处理方法，其特征在于，所述步骤S4中，当操作帧中仅存在目标对象时，ROI区域的备选位置为目标对象在操作帧中图层的位置，或者ROI区域的备选位置为操作帧中除目标对象外的...

【专利技术属性】
技术研发人员：刘勇，林晓鑫，鲜菲，何志豪，刘凯，
申请(专利权)人：凡游在线科技成都有限公司，
类型：发明
国别省市：