一种全景监控下基于视觉的叉车速度监测方法和系统技术方案

本申请公开了一种全景监控下基于视觉的叉车速度监测方法和系统，其中全景监控下基于视觉的叉车速度监测方法，包括：得到针对每个相机的单应性矩阵；采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，获得叉车像素区域；采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；根据叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。本申请的方法和系统，可实现多个相机的跨境头跟踪，提高叉车速度监测的精度。

A Vision-based Forklift Velocity Monitoring Method and System under Panoramic Monitoring

【技术实现步骤摘要】
一种全景监控下基于视觉的叉车速度监测方法和系统
本申请属于仓储物流领域，具体涉及一种全景监控下基于视觉的叉车速度监测方法和系统。
技术介绍
叉车速度监测是仓储管理中的重要环节，限制叉车超速对仓储运维安全有着重要的意义。随着全景监控系统逐渐应用于仓储管理，安装的大量摄像头为叉车速度监测提供了丰富的图像信息。视觉速度监测的方式就是采用相机对车辆行驶图片进行采集，通过机器视觉算法对车辆进行识别和跟踪，根据帧间车辆移动位置与帧率计算出车辆移动的速度。目前，基于计算机视觉的速度监测主要采用单个相机对车辆进行拍摄，当车辆行驶在整个环境中时，没有跨镜头跟踪与检测速度；且当前视觉速度监测的算法均采用车辆整体图像匹配，当车辆与相机镜头发生变化时会引入较大的三维测算误差，从而影响速度监测的精度。
技术实现思路
本申请的目的在于提供一种全景监控下基于视觉的叉车速度监测方法和系统，实现多个相机的跨境头跟踪，提高叉车速度监测的精度。为实现上述目的，本申请所采取的技术方案为：一种全景监控下基于视觉的叉车速度监测方法，所述的全景监控下基于视觉的叉车速度监测方法，包括以下步骤：获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。作为优选，所述获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵，包括：在地面设置若干个标志物，分别提取标志物的实际的点位置和其在各个相机的图像中的点位置，并将各相机对应的标志物所提取的实际的点位置和图像中的点位置进行匹配，得到匹配点对，分别将匹配点对写入两个初始匹配点集中；采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集；对内点点集中的各匹配点对进行最小二乘计算，得到最终针对每个相机的单应性矩阵。作为优选，所述采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集，包括：预设最大迭代次数M，并初始化内点点集Π为空集将匹配点对写入两个初始匹配点集中得到的两个初始匹配点集为Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，其中k＝1,2,…,n，从两初始匹配点集中对应取出3个匹配点对，并利用3个匹配点对估计单应性矩阵H；计算两初始匹配点集中剩余的匹配点对对所述单应性矩阵H的拟合程度，通过Sampson误差滤除外点，所述的Sampson误差为：‖δ2‖＝εT(JJT)ε；其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵；令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：ε＝XkT×HXk；其中，ε为度量集合距离，XkT为Xk的转置矩阵，H为单应性矩阵，J度量集合距离的偏微分矩阵；若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π；循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M。作为优选，所述采用帧间差分法获得叉车的前景像素区域，包括：对相机获得的叉车图像进行帧间差分法计算，若差分像素值不为0，则当前像素为前景区域像素；否则当前像素不是前景区域像素；对所述前景区域像素进行聚类，得到若干个前景像素集，每个像素集大于1600像素；对各所述前景像素集求凸包络，获得若干块前景像素区域。作为优选，所述对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM算法训练优化HOG算法，采用优化后的HOG算法对所述前景像素区域进行轮廓匹配，获得叉车像素区域，包括：利用HOG算子提取轮廓时，首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量；在原图上取像素点(x,y)，并根据以下公式计算该像素点的梯度大小和方向：Gx(x,y)＝H(x+1,y)-H(x-1,y)；Gy(x,y)＝H(x,y+1)-H(x,y-1)；其中，Gx(x,y)，Gy(x,y)，H(x,y)分别表示像素点(x,y)处的水平方向梯度，垂直方向梯度和像素值；并进一步计算像素点(x,y)处的梯度幅度和梯度方向为：其中，G(x,y)表示像素点(x,y)处的梯度幅度，α(x,y)表示像素点(x,y)处的梯度方向；根据计算得到的梯度幅度和梯度方向获取原图中的特征向量，并将特征向量输入至SVM分类器中判断特征向量提取是否精确，根据判断结果优化HOG算子，采用优化后的HOG算子对各所述前景像素区域进行轮廓匹配，获得若干个叉车像素区域。作为优选，所述将特征向量输入至SVM分类器中判断特征向量提取是否精确，包括：考虑到特征向量不一定是线性可分的，因此将特征向量通过核函数转换到高维空间进行线性分割，核函数采用高斯核：其中，xi、yi为两个特征向量样本，ξ高斯方差系数。作为优选，所述采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪，包括：首先计算积分图像，积分图像中像素(x,y)的值为原图的左上角位置至像素(x,y)所在位置之间的灰度值之和；其次对像素进行滤波，并得到Hessian矩阵为：其中，σ为高斯滤波标准差系数，Lxy、Lyx、Lyy、Lxx为灰度图像I(x,y)的二阶偏微分与高斯函数在像素点(x,y)处的卷积；根据Hessian矩阵得到图像的特征点，并将特征点与对应叉车预设的特征进行匹配，若匹配数量大于阈值则表示多个相机对该叉车的跨境头跟踪成功，并进一步计算叉车的速度；否则结束本次叉车速度监测并产生错误信息。作为优选，所述根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素获得车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度，包括：若多个相机对该叉车的跨境头跟踪成功，则根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，得到前轮与地面的接触点像素(u1,v1)，和后轮与地面的接触点像素(u2,v2)；利用对应相机的单应性矩阵得到像素(u1,v1)和像素(u2,v2)在地面的实际位置点，计算公式为：其中，x，y是车轮与地面接触点的实际位置，u，v是车轮与地面接触本文档来自技高网...

【技术保护点】
1.一种全景监控下基于视觉的叉车速度监测方法，其特征在于，所述的全景监控下基于视觉的叉车速度监测方法，包括以下步骤：获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。

【技术特征摘要】
1.一种全景监控下基于视觉的叉车速度监测方法，其特征在于，所述的全景监控下基于视觉的叉车速度监测方法，包括以下步骤：获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。2.如权利要求1所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵，包括：在地面设置若干个标志物，分别提取标志物的实际的点位置和其在各个相机的图像中的点位置，并将各相机对应的标志物所提取的实际的点位置和图像中的点位置进行匹配，得到匹配点对，分别将匹配点对写入两个初始匹配点集中；采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集；对内点点集中的各匹配点对进行最小二乘计算，得到最终针对每个相机的单应性矩阵。3.如权利要求2所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集，包括：预设最大迭代次数M，并初始化内点点集Π为空集将匹配点对写入两个初始匹配点集中得到的两个初始匹配点集为Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，其中k＝1,2,…,n，从两初始匹配点集中随机取出的3个匹配点对，并利用3个匹配点对估计单应性矩阵H；计算两初始匹配点集中剩余的匹配点对对所述单应性矩阵H的拟合程度，通过Sampson误差滤除外点，所述的Sampson误差为：‖δ2‖＝εT(JJT)ε；其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵；令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：ε＝XkT×HXk；其中，ε为度量集合距离，XkT为Xk的转置矩阵，H为单应性矩阵，J度量集合距离的偏微分矩阵；若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π；循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M。4.如权利要求1所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述采用帧间差分法获得叉车的前景像素区域，包括：对相机获得的叉车图像进行帧间差分法计算，若差分像素值不为0，则当前像素为前景区域像素；否则当前像素不是前景区域像素；对所述前景区域像素进行聚类，得到若干个前景像素集，每个前景像素集大于1600像素；对各所述前景像素集求凸包络，获得若干块前景像素区域。5.如权利要求4所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM算法训练优化HOG算法，采用优化后的HOG算法对所述前景像素区域进行轮廓匹配，获得叉车像素区域，包括：利用HOG算子提取轮廓时，首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量；在原图上取像素点(x,y)，并根据以下公式...

【专利技术属性】
技术研发人员：王延海，李明，高瞻，冯悦鸣，屠晓栋，丁一岷，沈中元，李岩，柴连兴，李畅昊，
申请(专利权)人：国网浙江省电力有限公司嘉兴供电公司，
类型：发明
国别省市：浙江,33