一种视频目标区域跟踪方法和视频平面广告植入方法技术

本发明专利技术公开了一种视频目标区域跟踪方法和视频平面广告植入方法，其中视频目标区域跟踪方法包括：获取待植入视频片段；从视频片段中选取任意一帧产品露出较全的图像作为标注帧图像；圈选出标注帧图像的广告植入坐标位置；将视频片段拆成帧序列图像，将每一帧图像设为目标帧图像；提取标注帧图像及各目标帧图像中的特征点并匹配特征点；基于匹配特征点，计算变换矩阵；基于变换矩阵及标注帧图像的坐标点，计算目标帧植入位置坐标点，对目标区域进行跟踪。本发明专利技术对标注帧的位置没有特殊要求；在目标区域和相邻区域无明显区别时，也能够对目标区域进行有效跟踪计算；有效提升变换矩阵计算的准确性，改善了抖动问题，提升了视频广告植入效率。

A method of video target area tracking and video plane advertisement implanting

【技术实现步骤摘要】
一种视频目标区域跟踪方法和视频平面广告植入方法
本专利技术属于视频目标区域追踪领域，特别涉及一种视频目标区域跟踪方法和视频平面广告植入方法。
技术介绍
视频广告植入是指，指定视频片段中的广告植入区域，将广告图片、广告视频等素材植入对应区域。视频片段中的植入区域，会随着视频拍摄镜头变换，对应的植入位置会发生仿射变换。视频广告植入的关键问题，在于计算视频帧序列中植入位置的平面坐标，即视频目标区域跟踪。常用的视频平面广告植入方法，是选择视频片段的第一帧，标注植入目标区域，提取目标区域，在视频帧序列中对进行视频目标区域跟踪，完成目标区域跟踪后，将广告素材投影到对应目标区域。现有的视频目标区域跟踪方法和视频平面广告植入方法具有以下缺点：第一，对标注帧位置有要求，一般需要标注视频片段的第一帧，对分割视频片段完整性要求比较严格，同时逐帧计算变换矩阵，如果帧序列中的某一帧出现异常，后面的异常会被放大，不能稳定跟踪目标区域。第二，对于目标区域和临近区域无明显区别的场景，无法对目标区域进行有效跟踪计算。第三，如果标注帧中含有和植入目标区域特征点间存在相对位移的较多的特征点，则会影响变换矩阵计算的准确性，导致抖动比较明显，影响观看效果。
技术实现思路
本专利技术的目的在于，针对上述现有技术的不足，提供一种视频目标区域跟踪方法和视频平面广告植入方法。为解决现有技术中对标注帧位置有要求及在目标区域和临近区域无明显区别时无法对目标区域进行有效跟踪计算的技术问题，本专利技术所采用的技术方案是：一种视频目标区域跟踪方法，包括：步骤A，获取待植入视频片段；其特点是还包括：步骤B，从所述视频片段中选取任意一产品露出较全的帧图像作为标注帧图像；步骤C，使用四边形区域圈定工具圈选出标注帧图像的广告植入坐标位置；步骤D，将视频片段拆成帧序列图像，将帧序列图像的每一帧图像设为目标帧图像；步骤E，提取标注帧图像及各目标帧图像中的特征点；步骤F，对标注帧图像及各目标帧图像中的特征点进行匹配；步骤G，基于匹配特征点，计算变换矩阵；步骤H，基于变换矩阵及标注帧图像的坐标点，计算目标帧植入位置坐标点，对目标区域进行跟踪。进一步地，为提升变换矩阵的计算精确度，本专利技术采用的方案是：所述步骤C与步骤D间还包括：获得标注帧图像中与目标区域间可能存在相对位移的区域U；所述步骤F与步骤G间还包括：过滤匹配特征点中标注帧图像中位于区域U中的特征点。作为一种优选方式，所述视频片段来源于广告场景识别或人工选择。作为一种优选方式，所述步骤B中，由人工从所述视频片段中选取露出植入产品较全的任意一帧图像作为标注帧图像。作为一种优选方式，获得区域U的方法包括：使用图像语义分割方法，自动将识别到的标注帧图像中的人、动物、交通工具所在的区域作为区域U。进一步地，自动识别到的区域经人工确认再作为区域U。进一步地，区域U中包括由人工添加指定的标注帧图像中的存在相对位移的区域。基于同一个专利技术构思，本专利技术还提供了一种视频平面广告植入方法，包括：首先，采用所述的视频目标区域跟踪方法对目标区域进行跟踪；然后，基于被跟踪的目标区域，对目标帧植入位置坐标点进行位置移动并投影广告。进一步地，在目标帧植入位置坐标点位置移动的过程中，对移动的位移做平滑处理，可以改善抖动问题。与现有技术相比，本专利技术提升了视频广告植入效率，具有以下有益效果：第一，对标注帧的位置没有特殊要求，可以选择视频片段中的任意一帧图像作为标注帧。第二，直接计算标注帧和目标帧的变换矩阵，能够解决目标检测任务，在目标区域和相邻区域无明显区别(如目标区域为白墙中的某个区域位置)时，也能够对目标区域进行有效跟踪计算。第三，采用图像语义分割方法识别和/或人工添加在标注帧中与植入区域可能存在相对位移的区域，并在计算转换矩阵之前过滤匹配特征点对中标注帧中存在相对位移区域的坐标点，可以有效提升变换矩阵计算的准确性。第四，在目标帧植入位置坐标点位置移动的过程中，对移动的位移做平滑处理，改善抖动问题。附图说明图1为本专利技术视频目标区域跟踪方法流程图。图2为本专利技术视频平面广告植入方法流程图。具体实施方式考虑视频广告植入场景，往往持续时间为3～15秒，拍摄场景和角度变化不大的情况，整体可以考虑选择视频片段中的任意一帧露出植入产品较全的图像，并标注植入位置，该帧为标注帧；将视频片段拆分成目标帧序列，通过提取计算标注帧和目标帧的特征点，通过特征点匹配，计算变换矩阵。采用帧与帧之间特征点匹配计算变换矩阵，能够解决目标区域和临近区域一致的场景中，目标区域检测问题。如图1所示，本专利技术所述视频目标区域跟踪方法包括：步骤1，获取待植入视频片段；其中，所述视频片段来源于广告场景识别或人工选择。步骤2，由人工或其它方式从所述视频片段中选取任意一帧露出植入产品较全的图像图像作为标注帧图像。步骤3，使用四边形区域圈定工具圈选出标注帧图像的广告植入坐标位置，确认参考平面植入的四个坐标点。四边形区域圈定工具初始为矩形框，支持矩形框整体移动及4个角坐标单独位置调整，并能够获取到标注植入区域的4个角坐标。步骤4，获得标注帧图像中与目标区域间可能存在相对位移的区域U；获得区域U的方法包括：使用图像语义分割方法，自动识别标注帧图像中的人、动物、交通工具所在的区域，自动识别到的区域经人工确认后作为区域U。同时，区域U中还可以包括由人工添加指定的标注帧图像中的存在相对位移的区域。步骤5，将视频片段拆成帧序列图像，将帧序列图像的每一帧图像设为目标帧图像，待确认植入坐标位置。步骤6，采用目标检测的方法，使用opencv集成方法，如akaza等，提取标注帧图像及各目标帧图像中的特征点。步骤7，采用FLANN匹配器，对标注帧图像及各目标帧图像中的特征点进行匹配。步骤8，过滤匹配特征点中标注帧图像中位于区域U中的特征点。步骤9，基于匹配特征点，计算变换矩阵。为了提升变换矩阵计算精确度，需要对标注帧进行处理，挑选出和标注植入区域存在相对位移的区域。本专利技术采用图像语义分割的方法，找出候选可能与目标区域存在相对位移的区域，如人、动物、交通工具等，人工对候选区域进行确认和新增。在计算变换矩阵时，从标注帧和目标帧之间的特征点匹配对中过滤掉标注帧中存在相对位移区域的特征点。使用该方法可以有效提升计算出变换矩阵精度。步骤10，基于变换矩阵及标注帧图像的坐标点，计算目标帧植入位置坐标点，对目标区域进行跟踪。如图2所示，本专利技术所述视频平面广告植入方法，包括：首先，采用所述的视频目标区域跟踪方法对目标区域进行跟踪。然后，基于被跟踪的目标区域，对目标帧植入位置坐标点进行位置移动并投影广告。在目标帧植入位置坐本文档来自技高网...

【技术保护点】
1.一种视频目标区域跟踪方法，包括：/n步骤A，获取待植入视频片段；/n其特征在于，还包括：/n步骤B，从所述视频片段中选取任意一帧图像作为标注帧图像；/n步骤C，使用四边形区域圈定工具圈选出标注帧图像的广告植入坐标位置；/n步骤D，将视频片段拆成帧序列图像，将帧序列图像的每一帧图像设为目标帧图像；/n步骤E，提取标注帧图像及各目标帧图像中的特征点；/n步骤F，对标注帧图像及各目标帧图像中的特征点进行匹配；/n步骤G，基于匹配特征点，计算变换矩阵；/n步骤H，基于变换矩阵及标注帧图像的坐标点，计算目标帧植入位置坐标点，对目标区域进行跟踪。/n

【技术特征摘要】
1.一种视频目标区域跟踪方法，包括：
步骤A，获取待植入视频片段；
其特征在于，还包括：
步骤B，从所述视频片段中选取任意一帧图像作为标注帧图像；
步骤C，使用四边形区域圈定工具圈选出标注帧图像的广告植入坐标位置；
步骤D，将视频片段拆成帧序列图像，将帧序列图像的每一帧图像设为目标帧图像；
步骤E，提取标注帧图像及各目标帧图像中的特征点；
步骤F，对标注帧图像及各目标帧图像中的特征点进行匹配；
步骤G，基于匹配特征点，计算变换矩阵；
步骤H，基于变换矩阵及标注帧图像的坐标点，计算目标帧植入位置坐标点，对目标区域进行跟踪。


2.如权利要求1所述的视频目标区域跟踪方法，其特征在于，
所述步骤C与步骤D间还包括：
获得标注帧图像中与目标区域间可能存在相对位移的区域U；
所述步骤F与步骤G间还包括：
过滤匹配特征点中标注帧图像中位于区域U中的特征点。


3.如权利要求1或2所述的视频目标区域跟踪方法，其特征在于，所述步骤A中，所述视频片段来源于广告场景识别或人工选择。
...

【专利技术属性】
技术研发人员：宋施恩，卢海波，肖恺吟，刘禹轩，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：湖南;43