【技术实现步骤摘要】
本申请属于视频图像处理与计算机视觉，尤其涉及一种基于时空验证的视频目标匹配方法、装置、设备及介质。
技术介绍
1、给定目标的模板图像，视频目标匹配旨在图像序列或视频中识别并定位该目标，为后续视频内容的进一步分析理解提供先决条件，是视频监控、无人探测、图像制导等应用领域重要的研究课题。
2、在实际应用环境中，由于给定的目标模板图像数量较少甚至仅给定单张模板图像，无法实施基于机器学习的目标检测识别方法。目前已有的解决方法多采用基于特征匹配的方式，寻找目标模板图像与场景图像之间的对应关系，通过几何约束估计目标在场景图像中的位置。由于模板图像与场景图像的拍摄姿态可能存在较大差距，特征匹配方法需要克服目标姿态变化、尺度缩放、旋转等难题，对特征点检测和特征描述提出很大挑战，通常需要引入图像滤波、尺度金字塔、旋转方向归一化等策略，带来较为庞大的计算开销。
3、在实现本公开实施例的过程中发现，受到实际应用场景中计算能力的限制，特征匹配方法仅能较为有限地使用图像滤波、尺度金字塔等高计算复杂度策略，容易受到光照条件、拍摄姿态等因素的影响，造成匹配精度下降。此外，实际应用场景复杂多变，仅考虑特征点局部邻域的特征匹配方法易受复杂背景干扰，带来特征点误匹配问题，从而影响目标整体匹配精度，甚至造成目标匹配失败。
技术实现思路
1、为了解决上述现有技术的不足，本申请提供一种基于时空验证的视频目标匹配方法、装置、设备及介质，可在仅给定单张模板图像的前提下，实现复杂背景中特定目标的快速识别定
2、为了实现上述目的，本专利技术采用以下技术：
3、一种基于时空验证的视频目标匹配方法，包括步骤：
4、模板构建阶段，给定目标模板图像，计算图像区域的纹理特征，在特征空间内建立基于单帧模板匹配的目标函数并进行最优化求解，获得能够识别定位目标的最优相关滤波器；
5、空间搜索阶段，对场景图像进行特征提取，使用所述相关滤波器进行全局相关滤波，对滤波响应输出进行非极大值抑制操作检测局部极值，将滤波响应大于预定响应阈值的局部极值位置作为候选目标位置以选择出多个候选目标；
6、时间验证阶段，使用数据关联方法估计预定时间窗口内候选目标的短时运动轨迹，根据时间一致性准则评估目标轨迹的置信度，筛选出轨迹置信度大于等于预定置信阈值的目标作为通过时间验证的候选目标；
7、空间验证阶段，提取所述通过时间验证的候选目标在当前场景图像中的局部图像邻域，使用所述相关滤波器进行局部相关滤波，根据滤波响应输出估计候选目标的最终置信度并进行排序，获得当前场景图像中的目标匹配结果。
8、进一步，计算图像区域的纹理特征包括：选择预定的cell大小，对每个cell统计其梯度方向的直方图，直方图数值使用梯度幅值进行加权；对每个cell的梯度方向直方图进行局部归一化操作；最终获得大小按照cell缩小的二维多通道纹理特征图。
9、进一步，在特征空间内建立基于单帧模板匹配的目标函数的过程包括：
10、记目标模板图像的纹理特征为x＝[x1,...,xk]，其中是目标模板图像特征图的第k个通道，共有k个通道，t是目标模板图像单通道特征图向量化后的大小；能够识别定位目标的最优相关滤波器亦由多个通道组成，记为h＝[h1,...,hk]，其中是相关滤波器的第k个通道，d是目标大小，基于单帧模板匹配的目标函数表示为：
11、
12、其中，是使用二维高斯分布构建的预期输出，p是一个d×t的二值矩阵，表示从目标模板图像中提取目标，[δτj]表示循环位移操作，xk[δτj]表示对第k通道特征图xk施加步长为j的循环位移，λ表示正则系数，正则项用于约束相关滤波器的复杂度，表示向量的2范数，表示hk的转置。
13、进一步，最优化求解在频域中迭代进行；对目标模板图像进行多尺度缩放，重复求解得到多个尺度下的相关滤波器，求解过程离线进行。
14、进一步，使用所述相关滤波器进行全局相关滤波的过程包括：
15、记场景图像的纹理特征为z＝[z1,...,zk]，其中是第k通道场景图像特征图，s是场景图像单通道特征图向量化后的大小，通道数量k与目标模板图像特征提取过程保持一致，使所述相关滤波器h＝[h1,...,hk]对场景图像的纹理特征进行通道独立的相关操作，并按通道求和，获得滤波响应输出
16、
17、其中，符号*表示相关操作，是第k通道相关滤波器按照场景图像单通道特征图大小s的扩展，
18、
19、其中，p′是一个d×s的二值矩阵，表示从场景图像中提取目标，其转置矩阵表示上述提取过程的逆操作，即补零填充操作。
20、进一步，对滤波响应输出进行非极大值抑制操作检测局部极值，将滤波响应大于预定响应阈值的局部极值位置作为候选目标位置以选择出多个候选目标，包括：
21、按照响应值从大到小的顺序遍历滤波响应输出，判断当前位置的响应值是否大于预定响应阈值：
22、若否，则结束遍历；
23、若是，则判断当前位置的响应值是否大于其8个邻域位置的响应值，若是，则标记为局部极值位置并将其8个邻域位置的响应值置零；若否，则继续遍历过程；
24、遍历结束后获得的局部极值位置对应场景图像中目标可能出现的位置，即为空间搜索阶段获得的候选目标位置，记为c＝{c1,...,cn}，其中cn表示第n个候选目标的位置和大小，n表示候选目标数量。
25、进一步，时间验证阶段中，使用数据关联方法估计预定时间窗口内候选目标的短时运动轨迹时，建立上一时刻已有目标轨迹与当前时刻候选目标之间的关联代价矩阵，通过匈牙利算法求解代价最小的最优对应关系；根据对应关系更新上一时刻已有目标轨迹，并为无对应关系的候选目标新增新的目标轨迹；
26、然后根据时间一致性准则评估目标轨迹的置信度，根据置信度进行排序筛选，并将置信度小于预定置信阈值的已有目标轨迹删除，以筛选出轨迹置信度大于等于预定置信阈值的目标作为通过时间验证的候选目标。
27、进一步，建立上一时刻已有目标轨迹与当前时刻候选目标之间的关联代价矩阵的过程包括：
28、记当前时刻t通过空间搜索获得的候选目标为其中nt表示当前时刻t通过空间搜索获得的候选目标数量；记上一时刻(t-1)已有目标轨迹为其中表示上一时刻(t-1)第m个已有目标轨迹，mt-1表示上一时刻(t-1)已有目标轨迹数量；
29、已有目标轨迹包含该目标在一定时间窗口内的历史信息，其中表示第m个已有目标轨迹在时刻(t-1)的位置和大小，表示目标轨迹总长度，表示目标轨迹与候选目标成功关联的次数，表示目标轨迹成功关联的候选目标的总置信度；
30、关联代价矩阵为，
31、
32、其中，π是大小为mt-1本文档来自技高网...
【技术保护点】
1.一种基于时空验证的视频目标匹配方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于时空验证的视频目标匹配方法，其特征在于，在特征空间内建立基于单帧模板匹配的目标函数的过程包括：
3.根据权利要求2所述的基于时空验证的视频目标匹配方法，其特征在于，使用所述相关滤波器进行全局相关滤波的过程包括：
4.根据权利要求1所述的基于时空验证的视频目标匹配方法，其特征在于，对滤波响应输出进行非极大值抑制操作检测局部极值，将滤波响应大于预定响应阈值的局部极值位置作为候选目标位置以选择出多个候选目标，包括：
5.根据权利要求1所述的基于时空验证的视频目标匹配方法，其特征在于，时间验证阶段中，使用数据关联方法估计预定时间窗口内候选目标的短时运动轨迹时，建立上一时刻已有目标轨迹与当前时刻候选目标之间的关联代价矩阵，通过匈牙利算法求解代价最小的最优对应关系；根据对应关系更新上一时刻已有目标轨迹，并为无对应关系的候选目标新增新的目标轨迹；
6.根据权利要求5所述的基于时空验证的视频目标匹配方法，其特征在于，建立上一时刻已有目标轨迹与当前
7.根据权利要求6所述的基于时空验证的视频目标匹配方法，其特征在于，根据对应关系更新上一时刻已有目标轨迹，并为无对应关系的候选目标新增新的目标轨迹，包括：
8.一种基于时空验证的视频目标匹配装置，其特征在于，包括：
9.一种电子设备，包括：至少一个处理器和存储器；其中，所述存储器存储有计算机执行指令；其特征在于，在所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1～8中任意一项所述的基于时空验证的视频目标匹配方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1～8中任意一项所述的基于时空验证的视频目标匹配方法。
...【技术特征摘要】
1.一种基于时空验证的视频目标匹配方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于时空验证的视频目标匹配方法，其特征在于，在特征空间内建立基于单帧模板匹配的目标函数的过程包括：
3.根据权利要求2所述的基于时空验证的视频目标匹配方法，其特征在于，使用所述相关滤波器进行全局相关滤波的过程包括：
4.根据权利要求1所述的基于时空验证的视频目标匹配方法，其特征在于，对滤波响应输出进行非极大值抑制操作检测局部极值，将滤波响应大于预定响应阈值的局部极值位置作为候选目标位置以选择出多个候选目标，包括：
5.根据权利要求1所述的基于时空验证的视频目标匹配方法，其特征在于，时间验证阶段中，使用数据关联方法估计预定时间窗口内候选目标的短时运动轨迹时，建立上一时刻已有目标轨迹与当前时刻候选目标之间的关联代价矩阵，通过匈牙利算法求解代价最小的最优对应关系；根据对应关系更新上一时刻已有目标轨迹，并为无对应关系的候选目标新增...
【专利技术属性】
技术研发人员：杨敏，贯顺，张燚，常江，刘科，
申请(专利权)人：北京轩宇空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。