一种图像目标检测漏检插值方法技术

本发明专利技术提供了一种图像目标检测漏检插值方法，包括以下步骤：通过标定计算图像像素坐标系到世界坐标系的单应矩阵H，计算当前检测目标的像素点对应的世界坐标系的物理位置；通过图像检测算法检测目标2D框信息；将目标2D框信息变换为3D框信息；根据关联矩阵对全局跟踪列表状态进行转移，转移到当前检测时刻状态；遍历全局跟踪目标，获取当前时刻未被检测值关联的全局跟踪目标；计算出目标在像素坐标系中的位置；绘制目标的2D框，实现当前时刻未检测目标的插值处理。本申请针对现有技术中图像目标检测受检测算法以及外部环境(光照、遮挡、天气)等影响，容易存在漏检的情况，本方案主要针对这种漏检进行处理，实现对漏检目标进行插值补齐。补齐。补齐。

【技术实现步骤摘要】
一种图像目标检测漏检插值方法


[0001]本专利技术涉及图像处理
，具体涉及一种图像目标检测漏检插值方法。

技术介绍

[0002]目标检测技术方案涉及机器视觉、传感器标定等技术，以上技术是当前成熟技术方案，各类行业和场景都会进行使用，目前随着边缘目标检测，自动驾驶等领域的智能普及，检测算法运动需求越来越大。
[0003]图像目标检测受检测算法以及外部环境(光照、遮挡、天气)等影响，容易存在漏检的情况.

技术实现思路

[0004]本专利技术的目的在于提供一种图像目标检测漏检插值方法，以期解决
技术介绍
中存在的问题。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]一种图像目标检测漏检插值方法，包括以下步骤：
[0007]通过标定计算图像像素坐标系到世界坐标系的单应矩阵H，计算当前检测目标的像素点对应的世界坐标系的物理位置；
[0008]通过图像检测算法检测目标2D框信息；
[0009]将目标2D框信息变换为3D框信息；
[0010]根据关联矩阵对全局跟踪列表状态进行转移，转移到当前检测时刻状态；
[0011]遍历全局跟踪目标，获取当前时刻未被检测值关联的全局跟踪目标；
[0012]计算出目标在像素坐标系中的位置；
[0013]绘制目标的2D框，实现当前时刻未检测目标的插值处理。
[0014]在一些实施例中，所述2D框信息表示方式为左上角和右下角的像素点：(u0,v0,u1,v1)，其中(u0,v0)为左上角像素点，(u1,v1)为右下角像素点。
[0015]在一些实施例中，将目标2D框信息变换为3D框信息；包括：通过2D框信息，计算目标框底边中心点Uc(uc,vc)，其中，uc＝(u0+u1)/2，vc＝v1；然后通过该像素点(uc,vc,1)左乘H矩阵，P＝H*Uc，得到3D的物理位置P(x,y,z)，其中归一化后的P1(x/z，y/z，1)为检测的目标距离参考点的实际物理距离。
[0016]在一些实施例中，所述关联矩阵包括：
[0017]计算图像的2D框交并比，交并比是指两个目标2D框交集和并集的比值，交集是指重叠区域；
[0018]计算目标特征向量相似度：通过计算检测目标和跟踪目标的余弦相似度，得到两个目标特征的相似度信息；
[0019]将交并比和特征向量相似度作加权求和，得到最终的相似度信息，然后根据匈牙利匹配矩阵算法，得到全局跟踪目标和当前检测目标的关联矩阵。
[0020]在一些实施例中，所述对全局跟踪列表状态进行转移，转移到当前检测时刻状态；包括：
[0021]目标运动模型处理是根据关联矩阵和当前检测结果，将当前全局跟踪目标状态转移到当前检测的时刻，运动模型通常采用卡尔曼滤波器，具体处理方法包括以下内容：
[0022]计算检测时间和当前全局跟踪目标的状态时间差，T；
[0023]对于检测目标和全局跟踪目标关联匹配上的情况：将全局跟踪目标的状态，通过卡尔曼滤波器构造的运动模型预测下T时刻之后的状态，S1x＝S0x+V0x*T，S1y＝S0y+V0y*T，然后将检测目标计算得到的3d信息作为观测值，对状态进行修正；得到检测时刻的最终状态。
[0024]对于未关联上的检测目标，创建全局跟踪目标和对应的运动模型；
[0025]对于未关联上的全局跟踪目标，通过运动模型预测到T时候之后的3D状态，即检测时刻的状态；
[0026]编译全局跟踪目标，对一定时间阈值以上未被关联的全局目标进行删除。
[0027]在一些实施例中，计算出目标在像素坐标系中的位置；包括：
[0028]编译全局跟踪目标列表，筛选出当前时刻未被关联上的全局目标；
[0029]根据筛选的全局目标的3D信息，计算目标在图像中的投影点，计算方式为：Uc＝H逆*Pc；H逆为相机标定矩阵中单应矩阵H的逆矩阵，Pc为当前时刻的3D信息，通过以上计算出图像中的一个点，该点为当前为检测目标的2D框底边中心点。
[0030]在一些实施例中，绘制目标的2D框，实现当前时刻未检测目标的插值处理；包括：
[0031]根据计算得到的像素点Uc(uc,vc)，结合存储的目标的2D框信息(u0,v0,u1,v1)，计算得到当前时刻目标的2D位置，新的U0＝uc
‑
(u1
‑
u0)/2,V0＝vc
‑
(v1
‑
v0)，U1＝uc
‑
(u1+u0)/2，V1＝v1；最终实现了未检测目标的插值显示。
[0032]本申请所提供的一种图像目标检测漏检插值方法具有的有益效果包括但不限于：
[0033]本申请的技术方案通过相机标定，得到图像坐标到世界坐标的转换矩阵；建立全局目标跟踪列表，将当前检测的目标与全局目标进行关联，计算得到关联矩阵；然后根据关联矩阵维护全局跟踪列表，同时将全局目标状态转移到当前检测时刻(3D信息)；完成之后从全局跟踪列表中筛选出当前时刻未被检测目标关联的目标，该部分目标即为漏检的目标，通过该部分目标3D信息及标定矩阵，计算该目标在当前时刻中的图像位置，结合目标的2D框信息，实现该漏检目标在图像中的插值和显示。
附图说明
[0034]图1为本专利技术实施例所述一种图像目标检测漏检插值方法的流程示意图
[0035]图2为本专利技术实施例所述的训练流程图。
[0036]图3为本专利技术实施例所述的推断流程图。
具体实施方式
[0037]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0038]相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。
[0039]以下将结合图1
‑
3对本申请实施例所涉及的一种图像目标检测漏检插值方法进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。
[0040]实施例1：
[0041]一种图像目标检测漏检插值方法，其技术方案包括以下内容：
[0042]1、相机标定
[0043]相机模型中常见四个平面坐标系：
[0044]a、图像像素坐标系(u,v)：以像素为单位，是以图像的左上方为原点的图
[0045]像坐标系；
[0046]b、图像物理坐标系(也叫像平面坐标系)(x,y)：以毫米为单位，用物理单位表示图像像素位置，定义坐标系OXY，原点O定义在相机Zc轴与图像平面交点；
[0047][0048]c、相机坐标系(Xc,Yc,Zc)：以毫米为单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像目标检测漏检插值方法，其特征在于，包括以下步骤：通过标定计算图像像素坐标系到世界坐标系的单应矩阵H，计算当前检测目标的像素点对应的世界坐标系的物理位置；通过图像检测算法检测目标2D框信息；将目标2D框信息变换为3D框信息；根据关联矩阵对全局跟踪列表状态进行转移，转移到当前检测时刻状态；遍历全局跟踪目标，获取当前时刻未被检测值关联的全局跟踪目标；计算出目标在像素坐标系中的位置；绘制目标的2D框，实现当前时刻未检测目标的插值处理。2.根据权利要求1所述的一种图像目标检测漏检插值方法，其特征在于，所述2D框信息表示方式为左上角和右下角的像素点：(u0,v0,u1,v1)，其中(u0,v0)为左上角像素点，(u1,v1)为右下角像素点。3.根据权利要求1所述的一种图像目标检测漏检插值方法，其特征在于，将目标2D框信息变换为3D框信息；包括：通过2D框信息，计算目标框底边中心点Uc(uc,vc)，其中，uc＝(u0+u1)/2，vc＝v1；然后通过该像素点(uc,vc,1)左乘H矩阵，P＝H*Uc，得到3D的物理位置P(x,y,z)，其中归一化后的P1(x/z，y/z，1)为检测的目标距离参考点的实际物理距离。4.根据权利要求1所述的一种图像目标检测漏检插值方法，其特征在于，所述关联矩阵包括：计算图像的2D框交并比，交并比是指两个目标2D框交集和并集的比值，交集是指重叠区域；计算目标特征向量相似度：通过计算检测目标和跟踪目标的余弦相似度，得到两个目标特征的相似度信息；将交并比和特征向量相似度作加权求和，得到最终的相似度信息，然后根据匈牙利匹配矩阵算法，得到全局跟踪目标和当前检测目标的关联矩阵。5.根据权利要求1所述的一种图像目标检测漏检插值方法，其特征在于，所述对全局跟踪列表状态进行转移，转移到当前检测时刻状态；包括：目标运动模型处理是根据关联矩...

【专利技术属性】
技术研发人员：罗小娅，李柯，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：