一种基于深度相机的机场自助托运行李的检测方法技术

该发明专利技术公开了一种基于深度相机的机场自助托运行李的检测方法，属于机器视觉工业技术领域。提供一种机器视觉检测方案，包括光学方案的设计以及检测算法的流程。解决现有技术中缺乏行李规格尺寸检测和检测精度低的问题。本发明专利技术利用双深度相机进行三维点云拼接的方法，降低了值机系统机器的高度同时覆盖最大行李尺寸范围，有效地实现了机场行李外观检测与场景分类识别，实现了旅客值机时行李自助托运的功能，从而可以减少机场的人力资源成本，提高工作效率。

【技术实现步骤摘要】
一种基于深度相机的机场自助托运行李的检测方法
本专利技术属于机器视觉工业
，具体描述为一种基于深度相机的机场自助行李托运的关键技术方案。
技术介绍
自助行李托运技术在国内仍不成熟，大多都缺少行李的规格、尺寸、体积以及形状以及搬运难易程度的检测。无论国际还是国内，解决这类检测物体外观与分类的问题，多采用机器视觉的方法，然而对行李物品来说，普通工业相机对行李的外观很难做到精确把控。深度相机是机器视觉发展过程中一项意义重大的技术产品，其应用领域十分广泛，在智能人机交互、人脸技术、三维重建、机器人、AR等领域全面开花。目前国内已有使用深度相机进行行李检测的方案，但是单个深度相机会存在视场范围有限的局限性，此外如何提高算法的精度以及降低复杂度更是一直以来的难点。
技术实现思路
本专利技术的目的在于提供一种机器视觉检测方案，包括光学方案的设计以及检测算法的流程。解决现有技术中缺乏行李规格尺寸检测和检测精度低的问题。参考民航二所的检测需求，主要有以下几点：①能够检测行李形态，并向上位机发送检测结果。行李形态：软包、圆形物品、不规则物品(婴儿车、高尔夫球袋、购物用塑料等等)、行李箱。②能够检测多包行李，并向上位机发送结果。多包行李指：两件(含两件)以上的行李连续放入或者并排放入输送机。③能够检测软包行李是否装在行李框内，并向上位机发送结果。④检测行李尺寸，包含长宽高信息，并向上位机发送结果。为了达到上述目的，本专利技术的解决方案是一种基于深度相机的机场自助托运行李的检测方法，包括如下步骤：步骤1：在自主托运机传送带的正上方顺传送方向依次设置两个深度相机，传送带的上方两侧各设置一根条形光源；步骤2：通过两台深度相机采集到行李的3维点云进行点云拼接，然后将3维点云转化为2维深度图，降低处理的数据量以提高速度，并对2维深度图进行预处理，预处理包括：降噪和平滑处理；步骤3：通过预处理后的2维深度图像判断有无行李框；步骤4：通过预处理后的步骤2得到的2维深度图像结合SVM算法判断是否有多件行李；若有多件行李直接反馈给旅客行李超过1件，不符合托运规定，若只有1件行李则进行步骤5；步骤5：通过预处理后的2维深度图像结合行李面积与行李旋转外接矩形的面积比以及行李的长宽高来判断行李是软包还是硬包；在有行李框的情况下：若是硬包则直接反馈给旅客硬包行李不用装框，若为软包则进行步骤7；在没有行李框的情况下：若是硬包则进行步骤6，若是软包则反馈给旅客软包行李需要装框；步骤6：通过预处理后的2维深度图像并对物体高度对应像素分辨率进行数学建模，来对行李尺寸进行检测，尺寸符合要求进行步骤7，尺寸不符合要求进行则反馈给旅客行李尺寸不符合要求；步骤7：通过托运，反馈各项检测结果。进一步的，所述步骤2中，采用基于特征提取的点云融合方法，该方法分为初始融合和精确融合两个阶段；初始融合阶段，是提取两个点云之间的特征寻找特征对应点，借助特征对应点计算转换矩阵；精确融合阶段是把上个步骤计算的转换矩阵作为该阶段的初始值，然后借助精确融合算法进行融合；具体步骤为：步骤2-1：提取两个点云之间的3D-SIFT关键点；3D-SIFT关键点能够采用最少的点来表示全局特征；步骤2-2：计算特征匹配点：采用kd-tree算法，结合步骤2-1得到的3D-SIFT关键点，对源点云中的每一个特征点，寻找目标点云中出与其相应的特征匹配点；步骤2-3：转换矩阵的求解：刚体变换矩阵反应的是两个不同点云之间的空间位置关系，其求解算法的稳定性直接影响着点云融合结果；刚体变换矩阵为H，H矩阵可如下表示：其中R代表旋转矩阵，T代表平移向量，V代表透视变换向量，S代表整体的比例因子；因为待匹配的图片得到的点云数据只存在旋转和平移变换，不存在形变，所以将V设为零向量，比例因子s＝1；其中，旋转矩阵R和平移矩阵T可以通过以下公式来表示：刚性变换矩阵中涉及到六个未知数α、β、γ、tx、ty、tz；要唯一确定这六个未知参数，需要六个线性方程，即至少需要在待匹配点云重叠区域找到3组对应点对，且3组对应点对不能共线，才可以得到这几个未知数的值，进而完成刚性矩阵的参数估计；针对刚体变换矩阵采用如下方法进行求解；首先定义数据集，构造算法中需要用到的数学模型；定义两个点集，点集P和Q，将P作为源点集，Q作为目标点集，其中P＝{p1,p2,p3,…,pn},Q＝{q1,q2,q3,…,qn},pi,qi∈R3，假设(pi,qi)为一系列的对应点；计算两个点集的协方差，分别用和来表示，其中n表示点集中点的个数，两个点集的协方差矩阵用如下公式来计算公式中p和q分别表示两个点集的质心；采用如下公式计算质心：对两个点集的协方差矩阵进行奇异值分解，则旋转矩阵R和平移矩阵T可以通过如下公式来计算：其中，U和V都是正交阵，U和V均满足UUT＝I，VVT＝I。D是对角阵，主对角线上的每个元素都称为奇异值；可以用A表示SVD(CovPQ)，由矩阵奇异值分解的推导过程可知，ATA的标准化的特征向量组成的矩阵就是V，AAT的标准化的特征向量组成的矩阵就是U，ATA的特征值的正平方根组成的对角阵就是D；公式中D还必须满足以下公式的约束条件：计算出的旋转量R和平移量T然后构造出最终的转换矩阵H。步骤2-4：点云近似最近点精确融合算法：分别在待匹配的源点云P和目标点云Q中，按照一定的约束条件，找到最邻近点(pi，qi)，然后计算出最优匹配参数R和t，使得误差函数最小；误差函数为E(R，T)为：步骤2-4-1：在源点云P中取点集pi∈P；步骤2-4-2：找出目标点云Q中的对应点集qi∈Q，使得||qi-pi||＝min；步骤2-4-3：计算旋转矩阵R和平移矩阵T，使得误差函数E(R，t)最小；步骤2-4-4：对pi使用上一步求得的旋转矩阵R和平移矩阵T进行旋转和平移变换，得到新对应的点集pi’＝{pi’＝Rpi+t,pi∈P}；步骤2-4-5：计算pi’与对应点集qi的平均距离d；d的计算公式如下：步骤2-4-6：如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算；否则返回第2-4-2步，直到满足收敛条件为止。初始融合算法的是将两个处于不同的视角、不同位置的点云数据，通过计算转换矩阵，统一到相同的坐标系中，缩小两个点云之间视角、距离的差异；但是这种方法，只能把不同的点云大致对齐；精确融合阶段就是在初始融合的基础之上，用精确融合算法进行处理，进一步缩小不同点云之间的距离直到重合在一起，从而将不同的的点云融合；迭代最近点算法(ICP)是很经典的点云融合算法，可以获得非常精确的配准效果，且在较好的初值情况下，可以得到很好的算法收敛性；进一步的，所述步骤3的具体方法为：步骤3-1：采用双阈值法对2维深度图像进行二值化，较大的阈本文档来自技高网...

【技术保护点】
1.一种基于深度相机的机场自助托运行李的检测方法，包括如下步骤：/n步骤1：在自主托运机传送带的正上方顺传送方向依次设置两个深度相机，传送带的上方两侧各设置一根条形光源；/n步骤2：通过两台深度相机采集到行李的3维点云进行点云拼接，然后将3维点云转化为2维深度图，降低处理的数据量以提高速度，并对2维深度图进行预处理，预处理包括：降噪和平滑处理；/n步骤3：通过预处理后的2维深度图像判断有无行李框；/n步骤4：通过预处理后的步骤2得到的2维深度图像结合SVM算法判断是否有多件行李；若有多件行李直接反馈给旅客行李超过1件，不符合托运规定，若只有1件行李则进行步骤5；/n步骤5：通过预处理后的2维深度图像结合行李面积与行李旋转外接矩形的面积比以及行李的长宽高来判断行李是软包还是硬包；/n在有行李框的情况下：若是硬包则直接反馈给旅客硬包行李不用装框，若为软包则进行步骤7；/n在没有行李框的情况下：若是硬包则进行步骤6，若是软包则反馈给旅客软包行李需要装框；/n步骤6：通过预处理后的2维深度图像并对物体高度对应像素分辨率进行数学建模，来对行李尺寸进行检测，尺寸符合要求进行步骤7，尺寸不符合要求进行则反馈给旅客行李尺寸不符合要求；/n步骤7：通过托运，反馈各项检测结果。/n...

【技术特征摘要】
1.一种基于深度相机的机场自助托运行李的检测方法，包括如下步骤：
步骤1：在自主托运机传送带的正上方顺传送方向依次设置两个深度相机，传送带的上方两侧各设置一根条形光源；
步骤2：通过两台深度相机采集到行李的3维点云进行点云拼接，然后将3维点云转化为2维深度图，降低处理的数据量以提高速度，并对2维深度图进行预处理，预处理包括：降噪和平滑处理；
步骤3：通过预处理后的2维深度图像判断有无行李框；
步骤4：通过预处理后的步骤2得到的2维深度图像结合SVM算法判断是否有多件行李；若有多件行李直接反馈给旅客行李超过1件，不符合托运规定，若只有1件行李则进行步骤5；
步骤5：通过预处理后的2维深度图像结合行李面积与行李旋转外接矩形的面积比以及行李的长宽高来判断行李是软包还是硬包；
在有行李框的情况下：若是硬包则直接反馈给旅客硬包行李不用装框，若为软包则进行步骤7；
在没有行李框的情况下：若是硬包则进行步骤6，若是软包则反馈给旅客软包行李需要装框；
步骤6：通过预处理后的2维深度图像并对物体高度对应像素分辨率进行数学建模，来对行李尺寸进行检测，尺寸符合要求进行步骤7，尺寸不符合要求进行则反馈给旅客行李尺寸不符合要求；
步骤7：通过托运，反馈各项检测结果。


2.如权利要求1所述的一种基于深度相机的机场自助托运行李的检测方法，其特征在于所述步骤2中，采用基于特征提取的点云融合方法，该方法分为初始融合和精确融合两个阶段；初始融合阶段，是提取两个点云之间的特征寻找特征对应点，借助特征对应点计算转换矩阵；精确融合阶段是把上个步骤计算的转换矩阵作为该阶段的初始值，然后借助精确融合算法进行融合；具体步骤为：
步骤2-1：提取两个点云之间的3D-SIFT关键点；
步骤2-2：计算特征匹配点：采用kd-tree算法，结合步骤2-1得到的3D-SIFT关键点，对源点云中的每一个特征点，寻找目标点云中出与其相应的特征匹配点；
步骤2-3：转换矩阵的求解：刚体变换矩阵反应的是两个不同点云之间的空间位置关系，其求解算法的稳定性直接影响着点云融合结果；刚体变换矩阵为H，H矩阵可如下表示：



其中R代表旋转矩阵，T代表平移向量，V代表透视变换向量，S代表整体的比例因子；因为待匹配的图片得到的点云数据只存在旋转和平移变换，不存在形变，所以将V设为零向量，比例因子s＝1；其中，旋转矩阵R和平移矩阵T可以通过以下公式来表示：






刚性变换矩阵中涉及到六个未知数α、β、γ、tx、ty、tz；要唯一确定这六个未知参数，需要六个线性方程，即至少需要在待匹配点云重叠区域找到3组对应点对，且3组对应点对不能共线，才可以得到这几个未知数的值，进而完成刚性矩阵的参数估计；针对刚体变换矩阵采用如下方法进行求解；
首先定义数据集，构造算法中需要用到的数学模型；定义两个点集，点集P和Q，将P作为源点集，Q作为目标点集，其中P＝{p1,p2,p3,…,pn},Q＝{q1,q2,q3,…,qn},pi,qi∈R3，假设(pi,qi)为一系列的对应点；计算两个点集的协方差，分别用和来表示，其中n表示点集中点的个数，两个点集的协方差矩阵用如下公式来计算



公式中p和q分别表示两个点集的质心；采用如下公式计算质心：



对两个点集的协方差矩阵进行奇异值分解，则旋转矩阵R和平移矩阵T可以通过如下公式来计算：



其中，U和V都是正交阵，U和V均满足UUT＝I，VVT＝I。D是对角阵，主对角线上的每个元素都称为奇异值；可以用A表示SVD(CovPQ)，由矩阵奇异值分解的推导过程可知，ATA的标准化的特征向量组成的矩阵就是V，AAT的标准化的特征向量组成的矩阵就是U，ATA的特征值的正平方根组成的对角阵就是D；公式中D还必须满足以下公式的约束条件：



计算出的旋...

【专利技术属性】
技术研发人员：刘霖，朱嘉宸，肖璇璐，张静，刘娟秀，杜晓辉，倪光明，刘永，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51