【技术实现步骤摘要】
本专利技术涉及视频测量，具体地说是一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法。
技术介绍
1、高速视频测量是一种高效、低成本的工程方法，通过图像采集和处理对物体的位置、速度、加速度、形变等参数进行精确的测量和分析。由于其高精度、非接触性、无损伤性，它在土木工程、环境科学和工业检测等领域得到了广泛的应用。
2、为了获取建筑或构筑物关键位置点的准确动态响应数据，通常需要在这些位置布设目标点。其中圆形标志因其具有旋转不变性，常被作为特征标志使用。而在摄影时，由于存在一定的摄影角度，圆形标志在成像后将会呈现出具有5个自由度的椭圆形式。与仅有2个自由度的线或点相比，这种椭圆形式具有更强的稳健性。因此在摄影测量领域和计算机视觉领域，圆形标志已经广泛应用。通过高速相机对建筑或构筑物健康监测，会产生大量的影像序列数据。因此，如何快速准确地识别和跟踪这些影像序列中的椭圆形目标点对于数据处理效率和目标点的三维解算精度具有重要意义，直接影响着数据处理的效率以及目标点三维解算的精确性。
3、现有技术中，对于传统的椭圆形目标点识别算法需要操作员手动设定搜索区域，并且仅利用浅层图像信息如纹理、边缘和灰度处理等，这样容易受到背景和光照条件的影响，可能将非目标圆形物体错误地识别为图像中的标记。而深度学习方法具有同时检测浅层和深层特征的优势，包括单阶段和两阶段两大类，如r-cnn、fast r-cnn和faster r-cnn以及单阶段的yolo系列，通过一个神经网络直接预测目标的位置和类别，但在实际的高速视频测量中，其仍旧
4、因此，需要设计一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，通过tracking-by-detection(tbd)多目标跟踪算法框架在自动化、准确性、多目标跟踪能力、自适应特征提取、实时性和鲁棒性方面具有的明显优势，实现对高速视频测量中椭圆形目标点的全自动化精确跟踪和定位，克服了传统方法在复杂情况下的局限性，为高速视频测量提供了更便捷和可靠的解决方案。
技术实现思路
1、本专利技术旨在改善现有技术的缺陷，并提供一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，通过tracking-by-detection(tbd)多目标跟踪算法框架在自动化、准确性、多目标跟踪能力、自适应特征提取、实时性和鲁棒性方面具有的明显优势，实现对高速视频测量中椭圆形目标点的全自动化精确跟踪和定位，克服了传统方法在复杂情况下的局限性，为高速视频测量提供了更便捷和可靠的解决方案。
2、为了实现上述目的，本专利技术提供了一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法：
3、包括以下步骤：
4、s1，针对室内、室外、暗环境、小目标以及环形干扰等复杂环境，对yolov8进行了一系列改进，旨在提升模型的整体性能和泛化能力；并使用改进后的yolov8算法对每一帧图像中的圆形标记进行检测；
5、s2，基于tbd的多目标跟踪框架，通过卡尔曼滤波和匈牙利匹配算法来预测、匹配并关联上一步中检测结果，实现对标记的连续跟踪；
6、s3，将数学形态学和椭圆几何属性特征应用于跟踪结果集成，通过消除图像边缘检测的非椭圆边缘信息提取出椭圆轮廓，并采用最小二乘法拟合椭圆中心，实现对椭圆目标的亚像素级别定位。
7、s1具体包括：
8、s1-1，加入bi-level routing attention即bra，在粗糙区域级别过滤掉大部分不相关的键值对，只保留小部分路由区域，在路由区域的联合中应用细粒度的token-to-token注意力，用于实现更灵活的计算分配和内容感知，使其具备动态的查询感知稀疏性；
9、s1-2，通过实验的基础在yolov8的三个最佳位置将bra结构加入颈部，进一步提升检测性能和特征表达能力；
10、s1-3，选择wise-iou v3损失函数来代替yolov8中原本的ciou损失函数，公式为：
11、
12、rwiou∈[1,e)将显着放大普通质量锚框的liou，liou∈[0,1]将显着降低高质量锚框的rwiou，并且当锚框与目标框重合良好时，其重点关注中心点之间的距离；wg,hg是最小封闭区域的尺寸；为了防止rwiou产生阻碍收敛的梯度，wg,hg与计算图分离即通过上标*表示；
13、锚框的离群程度用liou与动量为m的指数移动平均数的比值来表征：
14、
15、其中，离群值小意味着锚框质量高，为其分配一个小的梯度增益，用于将bbr集中在普通质量的锚框上；为离群值较大的锚框分配较小的梯度增益将有效防止较大的有害梯度来自低质量的样本；构造一个非单调聚焦系数β并将其应用于wiou v1：
16、
17、其中，α,δ是超参数，δ在β＝δ时使得r＝1；由于是动态的，锚框的质量划分标准也是动态的，这让wise-iou v3能够在每一个时刻做出最符合当前情况的梯度增益分配策略。
18、s2具体包括：
19、s2-1，初始化：初始帧的检测结果即边界框集合为b1，目标跟踪器集合为t，对于每个检测到的边界框bi∈b1创建一个新的目标跟踪器ti∈t,并初始化跟踪器的状态向量xi和协方差矩阵pi，使用初始边界框的位置和速度作为初始状态；
20、s2-2，对于每个后续帧：第t帧的检测结果即边界框集合为bt，目标跟踪器集合t一直在更新，对于每个目标跟踪器ti∈t，使用卡尔曼滤波的预测步骤，更新目标的状态向量x′i和协方差矩阵p′i，公式为：
21、
22、xi是目标跟踪器ti的状态向量，pi是协方差矩阵，f是状态转移矩阵，q是过程噪声协方差矩阵；在目标跟踪任务中，目标的状态变量表示为x,y,a,h,vx,vy,va,vh，其中x,y表示目标框的中心坐标，a表示目标框的高宽比，h表示目标框的高，vx,vy,va,vh分别表示对应变量的速度；
23、构建关联矩阵c,其中c[i,j]表示目标跟踪器ti与边界框bj之间的iou；使用匈牙利算法从关联矩阵c中选择最佳的关联关系r，使得关联的总体成本最小化；匈牙利算法根据iou计算目标与边界框之间的相似度，对于每个关联对(i,j)∈r,使用卡尔曼滤波的更新步骤，更新目标跟踪器的状态向量和协方差矩阵,公式如下：
24、
25、zi是当前帧中对应的观测值即边界框的位置，h是观测矩阵，r是观测噪声协方差矩阵；
26、对于未关联的目标跟踪器ti∈t，标记目标跟踪器为丢失状态并移除；对于新检测到的边界框bj∈本文档来自技高网...
【技术保护点】
1.一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，其特征在于，所述S1具体包括：
3.根据权利要求1所述的用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，其特征在于，所述S2具体包括：
4.根据权利要求1所述的用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，其特征在于，所述S3具体包括：
【技术特征摘要】
1.一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法，其特征在于，所述s1具体包括：
3....
【专利技术属性】
技术研发人员：刘祥磊，张昱琦，王闰杰，李胜龙，陈羽馨，姚远，
申请(专利权)人：北京建筑大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。