AGV智能泊车系统交互区停车行为的视觉检测方法技术方案

本发明专利技术公开了一种AGV智能泊车系统交互区停车行为的视觉检测方法，该方法是通过视觉准确识别AGV智能泊车系统交互区中的车辆目标，对车辆目标处于静止状态时的车身斜向角度、车身位置等信息进行提取和分析，实现对各种停车行为的有效识别，并对车辆的停车行为规范与否作出判定，为自动泊车机器人对车辆的搬运提供有效信息，从而有效提高AGV泊车系统管理的智能化水平。

Visual detection method of parking behavior in interactive area of AGV intelligent parking system

【技术实现步骤摘要】
AGV智能泊车系统交互区停车行为的视觉检测方法
本专利技术涉及智能停车系统设计及管理的
，尤其是指一种AGV智能泊车系统交互区停车行为的视觉检测方法。
技术介绍
目前，随着全国机动车保有量快速增长，停车难的问题日益突出。AGV智能泊车系统可以有效缓解停车难的问题，然而该系统交互区的停车状态各式各样，自动泊车机器人在没到达车辆附近时，仅仅靠装在自身上的传感器，难以迅速判断车辆在交互区中的具体位置及车身的斜向角度，会影响到系统的工作效率。另外，由于泊车系统的交互区还会受环境条件影响导致泊车机器人的正常工作空间受限，泊车机器人无论如何都没法钻进车底，这就意味着车辆的某些停车状态，如车身斜向角度过大、车身超出交互区工作界线等等，会影响到系统的正常运作。本专利技术将不影响到自动泊车机器人正常作业的停车行为定义为规范停车行为，否则定义为违规停车行为。因此，本专利技术希望能通过设计一种AGV智能泊车系统交互区停车行为的视觉检测方法，提取车辆在交互区的准确位置，并对车辆的停车行为规范与否作出判定，为自动泊车机器人对车辆的搬运提供有效信息。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种AGV智能泊车系统交互区停车行为的视觉检测方法，具有结构简单、使用方便、成本较低等特点，通过视觉准确识别AGV智能泊车系统交互区中的车辆目标，对车辆目标处于静止状态时的车身斜向角度、车身位置等信息进行提取和分析，实现对各种停车行为的有效识别，并对车辆的停车行为规范与否作出判定，为自动泊车机器人对车辆的搬运提供有效信息，从而有效提高AGV泊车系统管理的智能化水平。为实现上述目的，本专利技术所提供的技术方案为：AGV智能泊车系统交互区停车行为的视觉检测方法，包括以下步骤：1)通过设置于AGV智能泊车系统交互区正上方的摄像机采集包含完整的AGV智能泊车系统交互区的视频信息，并将视频信息传输给计算机，进而通过计算机对视频帧进行预处理；2)采用运动目标检测算法获取前景图像，对前景图像进行轮廓提取，并计算每个轮廓的最小外接矩形的面积，同时设定车辆面积的阈值范围；若存在轮廓的最小外接矩形的面积超出车辆面积的阈值范围，则判定轮廓为非车辆目标；若存在轮廓的最小外接矩形的面积在车辆面积的阈值范围之内，则判定轮廓为车辆目标，轮廓的最小外接矩形为车身最小外接矩形，轮廓的最小外接矩形的角度为车身斜向角度；3)得到车辆目标后，计算连续视频帧的车辆目标的质心坐标和质心坐标位移的平均值，同时设定位移阈值；若平均值大于位移阈值，则判定车辆目标为运动状态；若平均值小于或等于位移阈值，则判定车辆目标为静止状态；采用像素坐标系作为图像中所有坐标值所在的共同坐标系，像素坐标系原点在图像左上角，横向为x轴，横坐标值向右递增，纵向为y轴，纵坐标值向下递增；4)判定车辆目标为静止状态后，利用此状态下得到的车身最小外接矩形和车身斜向角度，计算出车身最小外接矩形的四个顶点的坐标；5)设定AGV智能泊车系统交互区的横、纵坐标阈值范围和车身斜向角度允许阀值；在车辆目标静止状态下，若车身最小外接矩形的四个顶点的坐标都在AGV智能泊车系统交互区的横、纵坐标阈值范围之内，且车身斜向角度在车身斜向角度允许阀值内，则判定为规范停车行为；若车身最小外接矩形的四个顶点的坐标不完全在AGV智能泊车系统交互区的横、纵坐标阈值范围，或车身斜向角度超出车身斜向角度允许阀值，则判定为违规停车行为。在步骤1)中，摄像机安装在AGV智能泊车系统交互区正上方，以俯视角度采集包含完整的AGV智能泊车系统交互区的视频信息，并将视频信息传输给计算机。在步骤2)中，采用运动目标检测算法获取前景图像，对前景图像进行轮廓提取，得到轮廓集合S＝{Ci|i＝1,2,3,…,n}，其中，Ci表示S中的第i个轮廓，n表示S中轮廓的数量；计算S中每个轮廓的最小外接矩形Ri，i＝1,2,3,…,n，将不满足条件：T1≤Ai≤T2的轮廓从S中剔除，从而获得车辆目标，其中，Ai表示Ri的面积，T1和T2分别表示设定的车辆面积的最小和最大的阈值。在步骤3)中，根据以下式子计算出车辆目标的质心坐标PC(xPC,yPC)：式中，A表示车辆目标所占据的像素点区域；K表示A区域内像素点的总数；xm和ym分别表示A区域内像素点的横坐标值和纵坐标值；根据以下式子计算出连续k帧的质心坐标位移的平均值s：式中，(xi+1,yi+1)、(xi,yi)分别表示质心在第i+1帧和第i帧的坐标；将s与设定的位移阈值T3进行比较，若s≤T3，则判定车辆目标为静止状态，否则判定为运动状态。在步骤4)中，所述像素坐标系下，x轴按逆时针旋转，首先遇到车身最小外接矩形的第一条边定义为LH，另一条与LH相互垂直的边定义为LW，而车身斜向角度θ就是x与LH边的夹角，θ的取值范围为[0°，90°)；静止状态下，根据车身不同的斜向角度分为车身左偏、车身右偏、车身正直三种状态；当LH＞LW时，车身右偏；当LH＜LW时，分两种情况：θ＞0°时，车身左偏，θ＝0°时，车身正直；车身最小外接矩形的四个顶点坐标中，取纵坐标值最大的顶点定义为P0(xP0,yP0)，如果存在两个顶点的纵坐标值为最大的情况下，取纵坐标值最大且横坐标值最小的顶点定义为P0(xP0,yP0)，其余三个顶点以P0(xP0,yP0)为起点，按顺时针排序依次定义为P1(xP1,yP1)、P2(xP2,yP2)、P3(xP3,yP3)；利用车身最小外接矩形边LH、LW，车身斜向角度θ和车辆目标的质心坐标PC(xPC,yPC)，计算出车身最小外接矩形四个顶点的坐标P0(xP0,yP0)、P1(xP1,yP1)、P2(xP2,yP2)、P3(xP3,yP3)：在步骤5)中，所述像素坐标系下，x轴按逆时针旋转，首先遇到车身最小外接矩形的第一条边定义为LH，另一条与LH相互垂直的边定义为LW，而车身斜向角度θ就是x与LH边的夹角，θ的取值范围为[0°，90°)；静止状态下，根据车身不同的斜向角度分为车身左偏、车身右偏、车身正直三种状态。当LH＞LW时，车身右偏；当LH＜LW时，分两种情况：θ＞0°时，车身左偏，θ＝0°时，车身正直；车身最小外接矩形的四个顶点坐标中，取纵坐标值最大的顶点定义为P0(xP0,yP0)，如果存在两个顶点的纵坐标值为最大的情况下，取纵坐标值最大且横坐标值最小的顶点定义为P0(xP0,yP0)，其余三个顶点以P0(xP0,yP0)为起点，按顺时针排序依次定义为P1(xP1,yP1)、P2(xP2,yP2)、P3(xP3,yP3)；设定AGV智能泊车系统交互区的横坐标阈值范围为[xPP1,xPP2]、纵坐标阈值范围为[yPP1,yPP2]和车身斜向角度允许阀值θP，θP为车辆行车方向所在的轴线与车身正直时所在的轴线形成的锐角夹角的绝对值；根据以下式子来判断车身最小外接矩形的四个顶点坐标P0(xP0,yP0)、P1(xP1,yP1)、P本文档来自技高网...

【技术保护点】
1.AGV智能泊车系统交互区停车行为的视觉检测方法，其特征在于，包括以下步骤：/n1)通过设置于AGV智能泊车系统交互区正上方的摄像机采集包含完整的AGV智能泊车系统交互区的视频信息，并将视频信息传输给计算机，进而通过计算机对视频帧进行预处理；/n2)采用运动目标检测算法获取前景图像，对前景图像进行轮廓提取，并计算每个轮廓的最小外接矩形的面积，同时设定车辆面积的阈值范围；若存在轮廓的最小外接矩形的面积超出车辆面积的阈值范围，则判定轮廓为非车辆目标；若存在轮廓的最小外接矩形的面积在车辆面积的阈值范围之内，则判定轮廓为车辆目标，轮廓的最小外接矩形为车身最小外接矩形，轮廓的最小外接矩形的角度为车身斜向角度；/n3)得到车辆目标后，计算连续视频帧的车辆目标的质心坐标和质心坐标位移的平均值，同时设定位移阈值；若平均值大于位移阈值，则判定车辆目标为运动状态；若平均值小于或等于位移阈值，则判定车辆目标为静止状态；采用像素坐标系作为图像中所有坐标值所在的共同坐标系，像素坐标系原点在图像左上角，横向为x轴，横坐标值向右递增，纵向为y轴，纵坐标值向下递增；/n4)判定车辆目标为静止状态后，利用此状态下得到的车身最小外接矩形和车身斜向角度，计算出车身最小外接矩形的四个顶点的坐标；/n5)设定AGV智能泊车系统交互区的横、纵坐标阈值范围和车身斜向角度允许阀值；在车辆目标静止状态下，若车身最小外接矩形的四个顶点的坐标都在AGV智能泊车系统交互区的横、纵坐标阈值范围之内，且车身斜向角度在车身斜向角度允许阀值内，则判定为规范停车行为；若车身最小外接矩形的四个顶点的坐标不完全在AGV智能泊车系统交互区的横、纵坐标阈值范围，或车身斜向角度超出车身斜向角度允许阀值，则判定为违规停车行为。/n...

【技术特征摘要】
1.AGV智能泊车系统交互区停车行为的视觉检测方法，其特征在于，包括以下步骤：
1)通过设置于AGV智能泊车系统交互区正上方的摄像机采集包含完整的AGV智能泊车系统交互区的视频信息，并将视频信息传输给计算机，进而通过计算机对视频帧进行预处理；
2)采用运动目标检测算法获取前景图像，对前景图像进行轮廓提取，并计算每个轮廓的最小外接矩形的面积，同时设定车辆面积的阈值范围；若存在轮廓的最小外接矩形的面积超出车辆面积的阈值范围，则判定轮廓为非车辆目标；若存在轮廓的最小外接矩形的面积在车辆面积的阈值范围之内，则判定轮廓为车辆目标，轮廓的最小外接矩形为车身最小外接矩形，轮廓的最小外接矩形的角度为车身斜向角度；
3)得到车辆目标后，计算连续视频帧的车辆目标的质心坐标和质心坐标位移的平均值，同时设定位移阈值；若平均值大于位移阈值，则判定车辆目标为运动状态；若平均值小于或等于位移阈值，则判定车辆目标为静止状态；采用像素坐标系作为图像中所有坐标值所在的共同坐标系，像素坐标系原点在图像左上角，横向为x轴，横坐标值向右递增，纵向为y轴，纵坐标值向下递增；
4)判定车辆目标为静止状态后，利用此状态下得到的车身最小外接矩形和车身斜向角度，计算出车身最小外接矩形的四个顶点的坐标；
5)设定AGV智能泊车系统交互区的横、纵坐标阈值范围和车身斜向角度允许阀值；在车辆目标静止状态下，若车身最小外接矩形的四个顶点的坐标都在AGV智能泊车系统交互区的横、纵坐标阈值范围之内，且车身斜向角度在车身斜向角度允许阀值内，则判定为规范停车行为；若车身最小外接矩形的四个顶点的坐标不完全在AGV智能泊车系统交互区的横、纵坐标阈值范围，或车身斜向角度超出车身斜向角度允许阀值，则判定为违规停车行为。


2.根据权利要求1所述的AGV智能泊车系统交互区停车行为的视觉检测方法，其特征在于：在步骤1)中，摄像机安装在AGV智能泊车系统交互区正上方，以俯视角度采集包含完整的AGV智能泊车系统交互区的视频信息，并将视频信息传输给计算机。


3.根据权利要求1所述的AGV智能泊车系统交互区停车行为的视觉检测方法，其特征在于：在步骤2)中，采用运动目标检测算法获取前景图像，对前景图像进行轮廓提取，得到轮廓集合S＝{Ci|i＝1,2,3,…,n}，其中，Ci表示S中的第i个轮廓，n表示S中轮廓的数量；计算S中每个轮廓的最小外接矩形Ri，i＝1,2,3,…,n，将不满足条件：T1≤Ai≤T2的轮廓从S中剔除，从而获得车辆目标，其中，Ai表示Ri的面积，T1和T2分别表示设定的车辆面积的最小和最大的阈值。


4.根据权利要求1所述的AGV智能泊车系统交互区停车行为的视觉检测方法，其特征在于：在步骤3)中，根据以下式子计算出车辆目标的质心坐标PC(xPC,yPC)：



式中，A表示车辆目标所占据的像素点区域；K表示A区域内像素点的总数；xm和ym分别表示A区域内像素点的横坐标值和纵坐标值；
根据以下式子计算出连续k帧的质心坐标位移的平均值s：



式中，(xi+1,yi+1)、(...

【专利技术属性】
技术研发人员：杜启亮，朱伟枝，向照夷，田联房，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东;44