基于视频的AR融合处理方法、电子设备和计算机可读介质技术

本发明专利技术为解决传统的视频编辑手段均不能达到很好的添加外部道具来增加视频的表现力的作用，而且添加的外部道具也很容易识别出来，或者效果很突兀的问题，提供一种基于视频的AR融合处理方法、电子设备和存储介质。该方法包括以下步骤：从视频中提取多个图像帧；内容识别，得到该图像帧中存在的主要对象；选定目标对象和操作帧；选定操作帧中的部分区域为ROI区域；位置映射；获取待显示的3D模型图像，3D模型图像与视频融合显示。本发明专利技术首先对视频进行内容识别找出主要对象，然后确定视频的图像帧中的ROI的位置，3D模型图像添加到ROI区域内融合显示，增加视频内容的丰富度，由此实现了AR增强效果。了AR增强效果。了AR增强效果。

【技术实现步骤摘要】
基于视频的AR融合处理方法、电子设备和计算机可读介质


[0001]本专利技术涉及视频处理
，尤其涉及一种基于视频的AR融合处理方法、电子设备和计算机可读介质。

技术介绍

[0002]增强现实（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。目前，AR需要借助相机的雷达定位出ROI区域，若需要对已经完成录制的视频进行后期制作时，AR则无法利用。
[0003]另一方面，传统的视频编辑软件中可通过将视频解析成多张图片，然后在选定的图片上加上文字或者贴图等并显示出来。部分短视频平台也提供了类似的粘贴道具到脸部的技术，比如人脸上的眼睛处添加眼镜。然而，传统的视频编辑手段均不能达到很好的添加外部道具以增加视频的表现力的作用，而且添加的外部道具也很容易识别出来，或者效果很突兀。同时，由于添加进入视频中的外部道具无法与视频中的内容比较好的融合，导致后期处理人员工作量大，难度高等特点。

技术实现思路

[0004]本专利技术为解决传统的视频编辑手段均不能达到很好的添加外部道具来增加视频的表现力的作用，而且添加的外部道具也很容易识别出来，或者效果很突兀的问题，提供一种基于视频的AR融合处理方法、电子设备和存储介质。本专利技术首先对视频进行内容识别找出视频中涉及的全部的主要对象，然后确定视频的图像帧中的ROI的位置，3D模型图像添加到ROI区域内，3D模型图像与视频融合显示，增加视频内容的丰富度，由此实现了AR增强效果。
[0005]本专利技术采用的技术方案是：基于视频的AR融合处理方法，所述基于视频的AR融合处理方法包括以下步骤：步骤S1，确立待后期制作处理的视频，从该视频中提取多个图像帧，每个图像帧的尺寸大小相同；步骤S2，逐一对每个图像帧进行内容识别，得到该图像帧中存在的主要对象，由此得到该视频中涉及的全部主要对象；步骤S3，从该视频中的全部主要对象中选取一个主要对象，并将该主要对象设定为目标对象；选取存在该目标对象的一个图像帧，并将该图像帧设定为操作帧；步骤S4，基于操作帧、目标对象在操作帧中的位置以及制作需求，选定操作帧中的部分区域为ROI区域，得到ROI区域的图像面积大小，以及ROI区域与目标对象的相对位置关系；步骤S5，将该ROI区域的位置映射是视频中的全部图像帧中；步骤S6，从3D模型图像库中获取待显示的3D模型图像，当视频中出现目标对象时，将该3D模型图像添加到ROI区域内，3D模型图像与视频融合显示，或者视频从始至终均作3D
模型图像与视频融合显示。
[0006]进一步地，所述步骤S2中，逐一对每个图像帧进行内容识别时，调用YOLO模型，而后逐一将每个图像帧导入YOLO模型中，识别出每个图像帧中的主要对象。
[0007]进一步地，所述步骤S2中额，YOLO模型采用机器深度学习的方式获得，具体过程包括：步骤S21，设置YOLO模型的待定参数，将训练集输入到构建的YOLO模型进行运算；步骤S22，通过尺寸聚类方法生成锚框尺寸，将输入的每张训练图片分割成m*m网格，每个网格预测输出n个边框和p个类别概率值数据；步骤S23，将所有网格的输出数据与标记文件中数据进行比较，得到YOLO模型的预测值与标记文件的真实值之间的预测误差；步骤S24，基于预测误差，使用梯度下降方法，更新YOLO模型的参数，反复训练直至预测误差小于阈值。
[0008]进一步地，所述步骤S4中，当操作帧中仅存在目标对象时，ROI区域的备选位置为目标对象在操作帧中图层的位置，或者ROI区域的备选位置为操作帧中除目标对象外的图层空白区域。
[0009]进一步地，所述步骤S4中，当操作帧中除目标对象外，还存在其他x个主要对象时，先判断目标对象和其他x个主要对象之间的层次关系，而后确定ROI区域的备选位置为目标对象和其他x个主要对象中的一个在操作帧中图层的位置，或者ROI区域的备选位置为目标对象和其他x个主要对象中的一个在操作帧中所在图层的空白区域，或者操作帧中除目标对象和其他x个主要对象外的图层空白区域；或者所述步骤S4中，判断目标对象与其他x个主要对象的层次关系时，依据操作帧中目标对象和其他x个主要对象的图像面积大小、图像轮廓的完整性、图像位置重叠部分的归属以及先验知识进行。
[0010]进一步地，所述步骤S4中，若操作帧的前一帧图像帧中和/或后一帧图像帧中存在目标对象时，则提取视频中含有目标对象的全部图像帧，并对目标对象在该图像帧中的位置进行跟踪，由此动态调整ROI区域的位置。
[0011]进一步地，所述步骤S4中，对目标对象进行前后位置进行跟踪时，采用比较前后图像帧中目标对象的中心点的位置方式进行。
[0012]进一步地，所述步骤S6，3D模型图像与视频融合显示前，先获取图像帧的亮度信息，并调节3D模型图像的亮度和大小比例，使得3D模型图像的亮度大致与图像帧的亮度一致，然后通过边缘自适应的图像融合算法对3D模型图像和图像帧的重叠区域进行拼接，完成3D模型图像和视频融合。
[0013]基于同样的专利技术构思，本专利技术还提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个所述应用程序被存储在所述存储器中并被配置为由一个或多个所述处理器执行，一个或多个所述应用程序配置用于执行前述的基于视频的AR融合处理方法。
[0014]基于同样的专利技术构思，本专利技术还提供了一种计算机可读介质，所述计算机可读介
质存储有处理器可执行的指令，所述指令被所述处理器执行时使所述处理器执行前述的基于视频的AR融合处理方法。
[0015]本专利技术的有益效果是：本专利技术为解决传统的视频编辑手段均不能达到很好的添加外部道具来增加视频的表现力的作用，而且添加的外部道具也很容易识别出来，或者效果很突兀的问题，提供一种基于视频的AR融合处理方法、电子设备和存储介质。该方法包括：步骤S1，确立待后期制作处理的视频，从该视频中提取多个图像帧，每个图像帧的尺寸大小相同；步骤S2，逐一对每个图像帧进行内容识别，得到该图像帧中存在的主要对象，由此得到该视频中涉及的全部主要对象；步骤S3，从该视频中的全部主要对象中选取一个主要对象，并将该主要对象设定为目标对象；选取存在该目标对象的一个图像帧，并将该图像帧设定为操作帧；步骤S4，基于操作帧、目标对象在操作帧中的位置以及制作需求，选定操作帧中的部分区域为ROI区域，得到ROI区域的图像面积大小，以及ROI区域与目标对象的相对位置关系；步骤S5，将该ROI区域的位置映射是视频中的全部图像帧中；步骤S6，从3D模型图像库中获取待显示的3D模型图像，当视频中出现目标对象时，将该3D模型图像添加到ROI区域内，3D模型图像与视频融合显示，或者视频从始至终均作3D模型图像与视频融合显示。本专利技术中，为了实现对已完成拍摄的视频后期制作处理，首先对视频进行内容识别找出视频中涉及的全部的主要对象，然后确定视频的图像帧中的ROI的位置，3D模型图像添加到ROI区域内，3D模型图像与视频融合显示，增加视频内容的丰富度，由此实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的AR融合处理方法，其特征在于，所述基于视频的AR融合处理方法包括以下步骤：步骤S1，确立待后期制作处理的视频，从该视频中提取多个图像帧，每个图像帧的尺寸大小相同；步骤S2，逐一对每个图像帧进行内容识别，得到该图像帧中存在的主要对象，由此得到该视频中涉及的全部主要对象；步骤S3，从该视频中的全部主要对象中选取一个主要对象，并将该主要对象设定为目标对象；选取存在该目标对象的一个图像帧，并将该图像帧设定为操作帧；步骤S4，基于操作帧、目标对象在操作帧中的位置以及制作需求，选定操作帧中的部分区域为ROI区域，得到ROI区域的图像面积大小，以及ROI区域与目标对象的相对位置关系；步骤S5，将该ROI区域的位置映射是视频中的全部图像帧中；步骤S6，从3D模型图像库中获取待显示的3D模型图像，当视频中出现目标对象时，将该3D模型图像添加到ROI区域内，3D模型图像与视频融合显示，或者视频从始至终均作3D模型图像与视频融合显示。2.根据权利要求1所述的基于视频的AR融合处理方法，其特征在于，所述步骤S2中，逐一对每个图像帧进行内容识别时，调用YOLO模型，而后逐一将每个图像帧导入YOLO模型中，识别出每个图像帧中的主要对象。3.根据权利要求2所述的基于视频的AR融合处理方法，其特征在于，所述步骤S2中额，YOLO模型采用机器深度学习的方式获得，具体过程包括：步骤S21，设置YOLO模型的待定参数，将训练集输入到构建的YOLO模型进行运算；步骤S22，通过尺寸聚类方法生成锚框尺寸，将输入的每张训练图片分割成m*m网格，每个网格预测输出n个边框和p个类别概率值数据；步骤S23，将所有网格的输出数据与标记文件中数据进行比较，得到YOLO模型的预测值与标记文件的真实值之间的预测误差；步骤S24，基于预测误差，使用梯度下降方法，更新YOLO模型的参数，反复训练直至预测误差小于阈值。4.根据权利要求1、2或3所述的基于视频的AR融合处理方法，其特征在于，所述步骤S4中，当操作帧中仅存在目标对象时，ROI区域的备选位置为目标对象在操作帧中图层的位置，或者ROI区域的备选位置为操作帧中除目标对象外的...

【专利技术属性】
技术研发人员：刘勇，林晓鑫，鲜菲，何志豪，刘凯，
申请(专利权)人：凡游在线科技成都有限公司，
类型：发明
国别省市：