一种视觉信息防抖方法、仓储库位状态管理方法及系统技术方案

本发明专利技术提供了一种视觉信息防抖方法、仓储库位状态管理方法及系统，其中该视觉信息防抖方法步骤包括：步骤S1：在各预设时刻采集场景图像帧；在场景图像帧中识别目标物体，以获取其位置和尺寸信息建立包围框并计算目标物体的切向矢量，以计算目标物体对应在各个预设时刻的运动场量；步骤S2：将某时刻与之前相邻时刻的运动场量进行滤波计算，以获取某时刻的最终运动场量及其未来临近时刻预测的运动场量；步骤S3：将步骤S2获得的运动场量通过曲线拟合出平滑的分段曲线方程，以供获取目标物体任意时刻的运动场量，籍此以解决视觉信息存在时延抖动的问题。抖动的问题。抖动的问题。

【技术实现步骤摘要】
一种视觉信息防抖方法、仓储库位状态管理方法及系统


[0001]本专利技术涉及机器视觉技术，尤其涉及采用目标跟踪技术对仓库库位状态进行管理的方法及其管理系统。

技术介绍

[0002]随着AGV/AMR技术及物流、仓储和工业行业的快速发展，工厂对于智能物流及仓库管理的需要显著增加。早年间，应对库位管理的主要方法/技术包括两种类型：人工记录和光电传感器检测的方法。人工记录的方法不仅容易出错，也不易扩大生产规模(效率低下)，对于成本的降低也是巨大挑战，随之而来的用传感器检测库位上货物状态的技术孕育而生，因其高效、快速和自动化特性，极大的助力了库位管理应用场景的快速发展。
[0003]但同时随着机器视觉技术的迅速发展，采用光电传感器检测的弊端也因此显现：如施工量大，维护成本高，信息量单一，配置呆板等。相比之下，采用机器视觉+深度学习技术手段对库位进行大面积的，实时的，准确的检测优势更加明显，利用现场布置的几台摄像头和1台视觉服务器，即可完成正常的库位管理，相较于动辄十几、几十甚至上百、上千个光电传感器而言，施工简单、维护简单但却更加灵活。
[0004]因此使用机器视觉+深度学习手段将成为智能库位检测一个方法和研究热点。但是机器视觉因其固有的特点(无法保证100%准确率)，使得在应用该技术在检测时，会遭遇库位状态的不稳定(错误)、抖动(突变)问题，导致其为AGV/AMR任务提供的信息错误，最终导致搬运任务无法完成，甚至更严重的物品损坏，交通事故等问题。
[0005]其根本原因在于，视觉“实时”检测也是离散化的，其被限定在固定帧率上工作，因此包含较小的时延抖动。

技术实现思路

[0006]为此，本专利技术的主要目的在于提供一种视觉信息防抖方法、仓储库位状态管理方法及系统，以解决视觉信息存在时延抖动的问题。
[0007]为了实现上述目的，根据本专利技术的第一个方面，提供了一种视觉信息防抖方法，其步骤包括：步骤S1：在各预设时刻采集场景图像帧；在场景图像帧中识别目标物体，以获取其位置和尺寸信息建立包围框并计算目标物体的切向矢量，以计算目标物体对应在各个预设时刻的运动场量；步骤S2：将某时刻与之前相邻时刻的运动场量进行滤波计算，以获取某时刻的最终运动场量及其未来临近时刻预测的运动场量；步骤S3：将步骤S2获得的运动场量通过曲线拟合出平滑的分段曲线方程，以供获取目标物体任意时刻的运动场量。
[0008]为了实现上述目的，并在视觉信息与库位状态之间建立稳定的状态识别关系，根据本专利技术的第二个方面还提供了一种仓储库位状态管理方法，其步骤包括：
步骤B1：在各预设时刻采集场景图像帧；在场景图像帧中提取库位区域及各库位的角点坐标，并识别其中目标物体，以获取其位置和尺寸信息建立包围框并计算目标物体的切向矢量，以计算目标物体对应在各个预设时刻的运动场量；步骤B2：将某时刻与其之前相邻时刻的运动场量进行滤波计算，以获取某时刻的最终运动场量及其未来临近时刻预测的运动场量；步骤B3：将步骤B2获得的运动场量通过曲线拟合出平滑的分段曲线方程，以供获取目标物体任意时刻的运动场量；步骤B4：根据步骤B3获取目标物体某时刻的运动场量所对应的包围框，并将其与所有库位分别建立包络角，以判断各库位的包络线与目标物体的切向矢量所形成的夹角关系；步骤B5：根据库位存货信息与步骤B4获取的夹角关系，判断库位状态。
[0009]在可能的优选实施方式中，所述步骤B1中还包括，当采集的场景图像帧存在畸变时，根据相机的内参和畸变参数，将库位区域及各库位的角点坐标进行矫正的步骤。
[0010]在可能的优选实施方式中，所述步骤B1中采用目标跟踪网络方案识别目标物体k在时刻t的位置信息和尺寸信息S
t
，以建立包围框(，S
t
)，并计算对应的切向矢量，以获取目标物体k在t时刻的运动场量Ω
kt
为()
k
。
[0011]在可能的优选实施方式中，所述步骤B2中所述滤波计算采用卡尔曼滤波算法。
[0012]在可能的优选实施方式中，所述步骤B3中，需在步骤B2中至少计算获取5个连续的运动场量后，再通过三阶贝塞尔曲线拟合出平滑的分段曲线方程，以供获取目标物体任意时刻的运动场量。
[0013]在可能的优选实施方式中，所述包络角的建立步骤包括：以目标物体包围框的中心点向各库位的角点分别辐射线条，选取其中两条辐射线条所能组成的最大夹角作为包络角，并以该包络角的两条辐射线条作为包络线。
[0014]在可能的优选实施方式中，所述步骤B5中，夹角关系的判断步骤包括：根据目标物体k的切向矢量与各库位左右包络线的夹角关系、，形成如下位置关系的判断：为正，为负，则在包络角内，且同向，即正包络角内；为负，为正，则在包络角内，且反向，即负包络角内；为正，为正，则不在包络角内；为负，为负，则不在包络角内；为0，为0，则为0物体静止。
[0015]在可能的优选实施方式中，所述步骤B5中，库位状态的判断步骤包括：若库位内有货物，且为0，且无其他目标物体与之形成的在正包络角内，则库位状态为库满；
若库位内有货物，且在正包络角内，则库位状态为入满库；若库位内无货物，且在正包络角内，则库位状态为入库；若库位内无货物，且在负包络角内，则库位状态为出库；若库位内无货物，且为0，且无其他货物与之形成的在包络角内，则库位状态为库空。
[0016]为了实现上述目的，并在视觉信息与库位状态之间建立稳定的状态识别关系，根据本专利技术的第三个方面还提供了一种仓储库位状态管理系统，其包括：存储单元，用于存储如上任一所述仓储库位状态管理方法步骤的程序，以供控制单元，识别单元，处理单元，信息输出单元，适时调取执行；其中所述控制单元，用于协调：相机，用于在各预设时刻采集场景图像帧；识别单元，用于从场景图像帧中提取库位区域及各库位的角点坐标，并识别其中目标物体，以获取其位置和尺寸信息建立包围框；处理单元，用于根据包围框数据计算目标物体的切向矢量，以供进一步计算目标物体对应在各个预设时刻的运动场量；之后将某时刻与其之前相邻时刻的运动场量进行滤波计算，以获取某时刻的最终运动场量及其未来临近时刻预测的运动场量，以供与曲线拟合出平滑的分段曲线方程，以此来获取目标物体任意时刻的运动场量及其所对应的包围框，以供将其与所有库位分别建立包络角；其中存储单元中存有库位包络线与目标物体的切向矢量的夹角关系判断依据，以及夹角关系与库位存货信息间对应库位状态的判断依据；所述处理单元调取存储单元的判断依据，判断出库位状态并更新；信息输出单元，用于向机器人调度系统发送库位状态信息。
[0017]通过本专利技术提供的该视觉信息防抖方法、仓储库位状态管理方法及系统，理论上搭建了亚像素级运动模型，通过目标物体的运动场量来描述货物的连续运动，采用分段多阶曲线拟合和平滑货物路径，通过滤波算法实现路径稳定，并通过拟合曲线估计亚像素级的物体的连续运动场，从而将目标物体的运动场量精确到亚像素级别，由此有效解决了视觉信息存在时延抖动的问题。...

【技术保护点】

【技术特征摘要】
1.一种视觉信息防抖方法，其特征在于步骤包括：步骤S1：在各预设时刻采集场景图像帧；在场景图像帧中识别目标物体，以获取其位置和尺寸信息建立包围框并计算目标物体的切向矢量，以计算目标物体对应在各个预设时刻的运动场量；步骤S2：将某时刻与之前相邻时刻的运动场量进行滤波计算，以获取某时刻的最终运动场量及其未来临近时刻预测的运动场量；步骤S3：将步骤S2获得的运动场量通过曲线拟合出平滑的分段曲线方程，以供获取目标物体任意时刻的运动场量。2.一种仓储库位状态管理方法，其特征在于步骤包括：步骤B1：在各预设时刻采集场景图像帧；在场景图像帧中提取库位区域及各库位的角点坐标，并识别其中目标物体，以获取其位置和尺寸信息建立包围框并计算目标物体的切向矢量，以计算目标物体对应在各个预设时刻的运动场量；步骤B2：将某时刻与其之前相邻时刻的运动场量进行滤波计算，以获取某时刻的最终运动场量及其未来临近时刻预测的运动场量；步骤B3：将步骤B2获得的运动场量通过曲线拟合出平滑的分段曲线方程，以供获取目标物体任意时刻的运动场量；步骤B4：根据步骤B3获取目标物体某时刻的运动场量所对应的包围框，并将其与所有库位分别建立包络角，以判断各库位的包络线与目标物体的切向矢量所形成的夹角关系；步骤B5：根据库位存货信息与步骤S4获取的夹角关系，判断库位状态。3.根据权利要求2所述的仓储库位状态管理方法，其特征在于，所述步骤B1中还包括，当采集的场景图像帧存在畸变时，根据相机的内参和畸变参数，将库位区域及各库位的角点坐标进行矫正的步骤。4.根据权利要求2所述的仓储库位状态管理方法，其特征在于，所述步骤B1中采用目标跟踪网络方案识别目标物体k在时刻t的位置信息和尺寸信息S
t
，以建立包围框(，S
t
)，并计算对应的切向矢量，以获取目标物体k在t时刻的运动场量Ω
kt
为()
k
。5.根据权利要求2所述的仓储库位状态管理方法，其特征在于，所述步骤B2中所述滤波计算采用卡尔曼滤波算法。6.根据权利要求2所述的仓储库位状态管理方法，其特征在于，所述步骤B3中，需在步骤B2中至少计算获取5个连续的运动场量后，再通过三阶贝塞尔曲线拟合出平滑的分段曲线方程，以供获取目标物体任意时刻的运动场量。...

【专利技术属性】
技术研发人员：李华伟，赵越，邓辉，石岩，陈忠伟，王益亮，李虎，陈丁，陆蕴凡，
申请(专利权)人：上海仙工智能科技有限公司，
类型：发明
国别省市：