本发明专利技术公开了一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法，包括：首先将两种浅层目标跟踪方法和一个深层通用目标跟踪器集成到一个统一的平面目标跟踪框架中，所述浅层目标跟踪方法包括一个平面目标跟踪器和一个通用目标跟踪器；最后利用基于网格运动统计的镜头边界检测方法对融合后的跟踪结果进行精化。还公开了一种基于深浅模型集成的视频中任意四边形平面目标跟踪系统、装置及其存储介质。本发明专利技术提出了一种无需人工干预，通过比较不同跟踪器之间的差异来融合不同跟踪器结果的集成方法，不同的跟踪算法能够同时发挥各自的优势，克服其它算法的缺点，大大提高平面目标跟踪的性能。平面目标跟踪的性能。平面目标跟踪的性能。
【技术实现步骤摘要】
基于深浅模型集成的视频中任意四边形平面目标跟踪方法及其系统
[0001]本专利技术涉及计算机视觉目标跟踪
，特别是涉及一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法及其系统。
技术介绍
[0002]视频中任意四边形平面目标跟踪的目的是除了知道第一帧的四个角坐标之外，没有其他先验知识的情况下准确、鲁棒地跟踪平面目标，这对于虚拟广告或其他现实应用具有重要意义。
[0003]视觉目标跟踪是计算机视觉领域的一个研究热点。根据跟踪目标，现有的视觉跟踪方法可分为一般的目标跟踪和平面目标跟踪。对于一般的目标跟踪，跟踪目标是物体最小边界框所包含的矩形区域，相邻帧中物体本身的视觉内容变化不大。然而，对于平面目标跟踪，目标通常是由四个任意点包围的不规则四边形区域。有时，跟踪目标可以是内容不断变化的计算机屏幕，甚至不是“真实物体”，包括以下几种情形：(1)任何物体，甚至随机指定区域都可能是跟踪目标；(2)目标的大小逐渐变小；(3)目标窗口外的视图是不断变化的。因此，虽然基于深度学习的视觉目标跟踪技术已经取得了很大的进展，但是大多数的研究集中在一般的目标跟踪上，不适合于平面目标跟踪。
[0004]因此亟需提供一种新型的视频中任意四边形平面目标跟踪方法来解决上述问题。
技术实现思路
[0005]本专利技术所要解决的技术问题是提供一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法、系统、装置及其存储介质，能够大大提高平面目标跟踪的性能。
[0006]为解决上述技术问题，本专利技术采用的第一个技术方案是：提供一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法，包括：
[0007]首先将两种浅层目标跟踪方法和一个深层通用目标跟踪器集成到一个统一的平面目标跟踪框架中，所述浅层目标跟踪方法包括一个平面目标跟踪器和一个通用目标跟踪器；
[0008]最后利用基于网格运动统计的镜头边界检测方法对融合后的跟踪结果进行精化。
[0009]在本专利技术一个较佳实施例中，基于深浅模型集成的视频中任意四边形平面目标跟踪方法，具体包括以下步骤：
[0010]假设视频某帧中任意平面四边形目标R在坐标系t中的四角坐标为坐标系t+1中R的四角坐标即
[0011]S1：利用平面目标跟踪器Gracker对R进行跟踪，结果表示为其中i∈[1,4]；
[0012]S2：以R的每个角为中心，建立一个长度为r的矩形，利用fDSST对这四个小矩形区
域进行跟踪，同理，在框架t+1中被跟踪矩形的中心也是被跟踪平面物体的角，记为其中i∈[1,4]；
[0013]S3：利用UDT追踪所述建立矩形的边界框，使用框架t和t+1的边界框计算单应矩阵P
u
，UDT跟踪结果为
[0014]S4：计算所有不同跟踪结果对之间的欧氏距离：d
GF
、d
FU
、d
GU
：
[0015][0016][0017][0018]若d
GF
>T1且d
FU
>T1且d
GU
>T1，T1是预定义的阈值，则UDT跟踪结果被视为集成结果；否则，比较d
GF
、d
FU
、d
GU
之间的大小，选择最小的值，并用构成该值的两个算法结果的平均值作为最后的结果；
[0019]S5：若t+1帧有镜头变化，则集合跟踪结果将被替换为其中是利用SIFT匹配跟踪方法对任意四边形平面目标跟踪的结果。
[0020]为解决上述技术问题，本专利技术采用的第二个技术方案是：提供一种基于深浅模型集成的视频中任意四边形平面目标跟踪系统，包括：
[0021]浅层目标跟踪模块，用于利用浅层目标跟踪器对视频中任意四边形进行目标跟踪；
[0022]深层通用目标跟踪模块，用于利用深层通用目标跟踪器对视频中任意四边形进行目标跟踪；
[0023]跟踪结果集成融合模块，用于将所述浅层目标跟踪模块和深层通用目标跟踪模块得到的跟踪结果进行融合，集成到一个统一的平面目标跟踪框架中；
[0024]集成结果细化模块，用于利用基于网格运动统计的镜头边界检测方法对融合后的跟踪结果进行细化。
[0025]在本专利技术一个较佳实施例中，所述浅层目标跟踪模块包括一个平面目标跟踪器和一个通用目标跟踪器。
[0026]在本专利技术一个较佳实施例中，所述集成结果细化模块对融合后的跟踪结果进行细化的判断条件是首先检测t+1帧是否有镜头变化。
[0027]进一步的，检测t+1帧是否有镜头变化的方法为：
[0028]给定帧t
‑
1，t，t+1，使用GMS算法计算[t
‑
1,t]和[t,t+1]的匹配关键点，其匹配数记为N
t
‑
1,t
和N
t,t+1
；设置预定义阈值T2，如果|N
t
‑
1,t
‑
N
t,t+1
|＞T2，表示帧t+1有镜头改变。
[0029]为解决上述技术问题，本专利技术采用的第三个技术方案是：提供一种基于深浅模型集成的视频中任意四边形平面目标跟踪装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行如上任一项所述方法。
[0030]本专利技术采用的第四个技术方案是：提供一种存储介质，其中存储有处理器可执行
的指令，所述处理器可执行的指令在由处理器执行时用于执行如上任一项所述方法。
[0031]本专利技术的有益效果是：
[0032](1)本专利技术提出了一种无需人工干预，通过比较不同跟踪器之间的差异来融合不同跟踪器结果的集成方法，不同的跟踪算法能够同时发挥各自的优势，克服其它算法的缺点，大大提高平面目标跟踪的性能；
[0033](2)由于高质量标记平面目标跟踪数据难以获得，因此在本专利技术的框架中选择的所有跟踪方法都不需要监督训练；
[0034](3)本专利技术在大规模真实电视节目数据集上的大量定性和定量实验结果验证了该集成方法的有效性。
附图说明
[0035]图1是本专利技术基于深浅模型集成的电视节目中任意四边形平面目标跟踪方法的流程图；
[0036]图2是通过消融研究对所构建的电视节目数据集利用本专利技术集成框架中使用的不同追踪器的比较示意图；
[0037]图3是利用本专利技术与两种最先进的基于监督深度学习的通用目标跟踪方法SiamRPN和SiamMask对所构建的电视节目数据集进行目标跟踪的比较示意图；
[0038]图4是所述基于深浅模型集成的电视节目中任意四边形平面目标跟踪系统框图。
具体实施方式
[0039]下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法，其特征在于，首先将两种浅层目标跟踪方法和一个深层通用目标跟踪器集成到一个统一的平面目标跟踪框架中，所述浅层目标跟踪方法包括一个平面目标跟踪器和一个通用目标跟踪器；最后利用基于网格运动统计的镜头边界检测方法对融合后的跟踪结果进行精化。2.根据权利要求1所述的基于深浅模型集成的视频中任意四边形平面目标跟踪方法，其特征在于，包括以下步骤：；假设视频某帧中任意平面四边形目标R在坐标系t中的四角坐标为坐标系t+1中R的四角坐标即S1：利用平面目标跟踪器Gracker对R进行跟踪，结果表示为其中i∈[1,4]；S2：以R的每个角为中心，建立一个长度为r的矩形，利用fDSST对这四个小矩形区域进行跟踪，同理，在框架t+1中被跟踪矩形的中心也是被跟踪平面物体的角，记为其中i∈[1,4]；S3：利用UDT追踪所述建立矩形的边界框，使用框架t和t+1的边界框计算单应矩阵P
u
，UDT跟踪结果为S4：计算所有不同跟踪结果对之间的欧氏距离：d
GF
、d
FU
、d
GU
：：：若d
GF
>T1且d
FU
>T1且d
GU
>T1，T1是预定义的阈值，则UDT跟踪结果被视为集成结果；否则，比较d
GF
、d
FU
、d
GU
之间的大小，选择最小的值，并用构成该值的两个算法结果的平均值作为最后的结果；S5：若t+1帧有镜头变化，则集合跟踪结果将被替换为其中是利用SIFT匹配跟踪方法对任意四边形平面目标跟踪的结果。3.根据权利要求2所述的基于深浅模型集成的视频中任意四边形平面目标跟踪方法，其特征在于，检测t+1帧是否有镜头变化的方法为：给定帧t
‑
1，t，t+1，使用GMS算法计算[t
‑
1,t]和[t,t+1]的匹配关键点，其匹配数记为N
t
‑
1,t
和N
t,t+1
；设置预定义阈值T2，如果|N
t
‑
1,t
‑<...
【专利技术属性】
技术研发人员：吕刚，梅益，年福东，徐玉珊，周铜，赵浩，
申请(专利权)人：合肥学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。