基于双目深度感知和车辆位置的货车外廓尺寸测量方法技术

基于双目深度感知和车辆位置的货车外廓尺寸测量方法，属于车辆检测技术领域，采用无人机搭载双目相机的方式，获取清晰的车辆图像，基于张正友标定法对双目相机进行标定，得到相机内外参数，利用先验知识、车速检测和图像处理方法计算车辆长度和宽度信息；利用双目相机深度感知和RTK模块计算车辆高度信息；利用通信模块将得到的车辆外廓尺寸信息传输给无人机飞行控制器，方便路政执法人员查看；基于双目深度感知和车辆位置信息将车辆的三维信息转化为一维求解，有效降低了算法复杂度，提高了检测实时性与可操作性。本发明专利技术解决了现有车辆外廓尺寸检测场地固定、检测设备不便于携带、无法实现流动检测的问题。

【技术实现步骤摘要】
基于双目深度感知和车辆位置的货车外廓尺寸测量方法
本专利技术属于车辆检测
，特别是涉及到一种基于双目深度感知和车辆位置信息的货车外廓尺寸测量方法。
技术介绍
车辆外廓尺寸检测是超限运输检测过程中关键的一环，由于传统的人工检测方法检测精度不高，耗时较长，极易造成车主和检测人员的矛盾和冲突，已成为超限治理工作中迫切需要解决的关键问题。目前，国内对车辆外廓尺寸的测量普遍采用龙门架式红外光幕组合激光雷达测量法和龙门架式激光雷达组合计算机视觉测量法，红外光幕组合激光雷达测量法，采样的频率受现有产品的限制，测宽时需要在地面安装红外光幕接收器，不利于维护且难于达到较高的测量精度；激光雷达组合计算机视觉测量法，这种测量方法的硬件成本有所降低，但测量的采样率一样难于提高且占用场地较大，传统的检测技术存在较大的局限性。无人机平台相较于传统检测技术具有便携、成本低、适合流动执法、作用距离远、视场范围广、可扩展性强等优点。因此，现有技术中亟需一种新的技术方案采用无人机平台搭载双目相机进行货车外廓尺寸的检测。
技术实现思路
本专利技术所要解决的技术问题是：提供基于双目深度感知和车辆位置的货车外廓尺寸测量方法，解决了现有车辆外廓尺寸检测场地固定，无法实现流动检测的问题；利用双目视觉进行车辆的三维尺寸测量，具有非接触式高频测量，实时性高以及测量精度高的优点。基于双目深度感知和车辆位置的货车外廓尺寸测量方法，其特征是：包括以下步骤，且以下步骤顺次进行，步骤一、在直线道路上，根据车道线划定虚拟线圈，虚拟线圈纵向平行于道路方向，横向垂直于道路方向；虚拟线圈的数量设置为2，分别记为虚拟线圈1和虚拟线圈2，并计算虚拟线圈1和虚拟线圈2内的初始像素值；步骤二、将无人机搭载双目相机，悬停在道路上方高度H处，目标车辆进入虚拟线圈1后，虚拟线圈1被激活，相邻两帧虚拟线圈1内的像素值之差进行灰度跳变，以灰度跳变作为判断准则，记录此时的视频帧数n1；步骤三、通过双目视觉深度感知，获取每一帧图像感兴趣区域中视差的最大值d1max、d2max、d3max……dnmax；步骤四、根据步骤二获得的视差最大值dnmax,计算车辆高度h；步骤五、当目标车辆进入虚拟线圈2后，激活虚拟线圈2，相邻两帧虚拟线圈2内的像素值之差进行灰度跳变，以灰度跳变作为判断准则，记录此时的帧数n2；步骤六、通过虚拟线圈检测车速，根据校正后的车速v计算车辆长度l；步骤七、根据设定的虚拟线圈像素长度a、车道线宽度和经过图像处理后的左相机主图像计算车辆宽度w；步骤八、将所述步骤四～步骤七获得的车辆外廓尺寸信息传输给无人机飞行控制器。所述步骤三视差值获得的方法为，对获取的双目图像进行图像预处理，利用张正友标定法对双目相机进行标定，获取双目相机内外参数，建立图像像素坐标与空间中对应点的世界坐标的映射关系；消除畸变，进行极线校正；采用FADNet进行立体匹配，生成视差图；所述感兴趣区域为目标车辆货厢区域，当货厢最前端位于无人机正下方时，记为目标车辆高度测量阶段的第一帧，比较得到第一帧图像中视差最大值记为d1max，依次得到d2max、d3max……dnmax。所述步骤四车辆高度h的计算方法为，根据三角测量原理，车辆高度h的计算公式如下：其中：H为无人机悬停高度；B为双目相机基线长度；f为双目相机焦距，dnmax为步骤三获得第n帧图像中视差最大值。所述步骤六车辆长度l的计算方法为，虚拟线圈1内像素值再次发生跳变时的视频帧数记为n′1,虚拟线圈2内像素值再次发生跳变时的视频帧数记为n′2,虚拟线圈1和2左上角顶点在像素坐标系的坐标分别为根据像素坐标系与世界坐标系的映射关系，如公式(2)所示，求解对应的世界坐标系坐标，记为其中，fx、fy、x0、y0为双目相机内部参数，旋转矩阵(R)、平移矩阵(T)为双目相机外部参数，zc为双目深度感知获得的深度，xw,yw,zw为世界坐标系下的坐标，xpix,ypix为像素坐标系下的坐标。视频帧率为F，则车速v的计算公式如下：其中v1是利用车头先后经过两个虚拟线圈计算得到的车速；v2是利用车尾先后经过两个虚拟线圈计算得到的车速；车辆长度l的计算公式如下：其中l1是利用车头先后经过虚拟线圈1计算得到的车长；l2是利用车尾先后经过虚拟线圈2计算得到的车长。所述步骤七车辆宽度w的获得方法为，车道线宽度根据国标《GB5768.3-2009道路交通标志和标线》确定；首先将主图像变换到HSV空间，通过设置合适的阈值，提取货厢；其次，应用斑点分析和直线检测提取货厢轮廓，计算得到车辆宽度极值的像素尺寸，再对原图像中的车道线进行边缘检测、直线检测等图像处理，得到车道线宽度的像素尺寸，最后通过图像像素坐标与世界坐标的转换矩阵和车道线宽度，求解车辆宽度w。所述步骤八的无人机飞行控制器用于实时控制无人机并显示无人机飞行状态，车辆外廓尺寸信息求解完成，通过无人机载控制系统中的通信模块实时传输给无人机飞行控制器。通过上述设计方案，本专利技术可以带来如下有益效果：基于双目深度感知和车辆位置的货车外廓尺寸测量方法，打破传统检测方法的局限性，利用无人机平台，搭载双目相机，实现流动式、便携式外廓尺寸检测，且提高检测精度和检测效率，对遏止车辆非法改装，以及违法超限运输，推进车辆超限治理工作具有重要意义。进一步的，基于双目测距和车辆位置信息，将车辆三维尺寸转换为一维求解，算法复杂度低，对硬件要求低，但却具有实时性高以及测量精度高的优点。无人机只需悬停测量，操纵简单，对飞手要求低，且该装置体积小，质量轻，方便路政执法人员携带。附图说明以下结合附图和具体实施方式对本专利技术作进一步的说明：图1为本专利技术基于双目深度感知和车辆位置的货车外廓尺寸测量方法流程示意图。图2为本专利技术基于双目深度感知和车辆位置的货车外廓尺寸测量方法无人机载控制系统的组成框图。图3为本专利技术基于双目深度感知和车辆位置的货车外廓尺寸测量方法车速检测流程示意图。具体实施方式基于双目深度感知和车辆位置的货车外廓尺寸测量方法，包括以下步骤，步骤一、在直线道路上根据已知长度的车道线划定虚拟线圈，虚拟线圈纵向平行于道路方向，横向垂直于道路方向。虚拟线圈的数量设置为2，分别记为虚拟线圈1和2，位置和线圈大小可动态调整。为了避免多车辆目标引起误检验，两个虚拟线圈间的距离较近，减小车辆通过时间间隔。无人机悬停在道路上方高度H处，当目标车辆进入虚拟线圈1后，计算虚拟线圈1内的初始像素值，当车辆经过虚拟线圈时，相邻两帧虚拟线圈内的像素值之差会有跳变，将这个跳变作为判断准则。虚拟线圈1内像素值发生跳变时的视频帧数记为n1。步骤二、利用双目视觉深度感知，对获取的双目图像进行图像预处理，利用张正友标定法对双目相机进行标定，获取双目相本文档来自技高网...

【技术保护点】
1.基于双目深度感知和车辆位置的货车外廓尺寸测量方法，其特征是：包括以下步骤，且以下步骤顺次进行，/n步骤一、在直线道路上，根据车道线划定虚拟线圈，虚拟线圈纵向平行于道路方向，横向垂直于道路方向；虚拟线圈的数量设置为2，分别记为虚拟线圈1和虚拟线圈2，并计算虚拟线圈1和虚拟线圈2内的初始像素值；/n步骤二、将无人机搭载双目相机，悬停在道路上方高度H处，目标车辆进入虚拟线圈1后，虚拟线圈1被激活，相邻两帧虚拟线圈1内的像素值之差进行灰度跳变，以灰度跳变作为判断准则，记录此时的视频帧数n

【技术特征摘要】
1.基于双目深度感知和车辆位置的货车外廓尺寸测量方法，其特征是：包括以下步骤，且以下步骤顺次进行，
步骤一、在直线道路上，根据车道线划定虚拟线圈，虚拟线圈纵向平行于道路方向，横向垂直于道路方向；虚拟线圈的数量设置为2，分别记为虚拟线圈1和虚拟线圈2，并计算虚拟线圈1和虚拟线圈2内的初始像素值；
步骤二、将无人机搭载双目相机，悬停在道路上方高度H处，目标车辆进入虚拟线圈1后，虚拟线圈1被激活，相邻两帧虚拟线圈1内的像素值之差进行灰度跳变，以灰度跳变作为判断准则，记录此时的视频帧数n1；
步骤三、通过双目视觉深度感知，获取每一帧图像感兴趣区域中视差的最大值d1max、d2max、d3max······dnmax；
步骤四、根据步骤三获得的视差最大值dnmax,计算车辆高度h；
步骤五、当目标车辆进入虚拟线圈2后，激活虚拟线圈2，相邻两帧虚拟线圈2内的像素值之差进行灰度跳变，以灰度跳变作为判断准则，记录此时的帧数n2；
步骤六、通过虚拟线圈检测车速，根据校正后的车速v计算车辆长度l；
步骤七、根据设定的虚拟线圈像素长度a、车道线宽度和经过图像处理后的左相机主图像计算车辆宽度w；
步骤八、将所述步骤四～步骤七获得的车辆外廓尺寸信息传输给无人机飞行控制器。


2.根据权利要求1所述的基于双目深度感知和车辆位置的货车外廓尺寸测量方法，其特征是：所述步骤三视差值获得的方法为，对获取的双目图像进行图像预处理，利用张正友标定法对双目相机进行标定，获取双目相机内外参数，建立图像像素坐标与空间中对应点的世界坐标的映射关系；消除畸变，进行极线校正；采用FADNet进行立体匹配，生成视差图；所述感兴趣区域为目标车辆货厢区域，当货厢最前端位于无人机正下方时，记为目标车辆高度测量阶段的第一帧，比较得到第一帧图像中视差最大值记为d1max，依次得到d2max、d3max······dnmax。


3.根据权利要求1所述的基于双目深度感知和车辆位置的货车外廓尺寸测量方法，其特征是：所述步骤四车辆高度h的计算方法为，
根据三角测量原理，车辆高度h的计算公式如下：



其中：H为无人机悬停高度；B为双目相...

【专利技术属性】
技术研发人员：李世武，韩丽鸿，孙文财，李明阳，刘阳，王凤儒，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22