一种利用多摄像头实现大范围物品识别的方法技术

本发明专利技术公开了一种利用多摄像头实现大范围物品识别的方法，涉及人工智能的图像识别技术领域，本发明专利技术包括以下步骤：S1在被识别区域上设置架体，所述架体下端设有连接组件，连接组件下端设有若干采集摄像头S2：对所述采集摄像头先进行分参数标定，然后在进行色彩标定，S3：对每对相邻所述采集摄像头进行双目校正；S4：对每个所述采集摄像头图像进行物品识别；S5：对于每个所述采集摄像头的识别结果，过滤掉阈值低的识别结果S6：对每对相邻摄像头的重叠区域，进行结果拟合，S7：对于识别到的物品，判断是否有堆叠完成物品识别。本发明专利技术为一种利用多摄像头实现大范围物品识别的方法，识别精度高，并能有效识别某些被遮挡和堆叠的物品。并能有效识别某些被遮挡和堆叠的物品。

【技术实现步骤摘要】
一种利用多摄像头实现大范围物品识别的方法


[0001]本专利技术涉及人工智能的图像识别
，特别涉及一种利用多摄像头实现大范围物品识别的方法，并能识别某些被遮挡和堆叠的物品。

技术介绍

[0002]随着科技的不断发展，机器人在多个领域中都有了应用，例如：医疗领域、工业领域、教育领域等。尤其在工业领域中，工业机器人对工业零件进行抓取，然后完成在流水线上的工件加工、零件装备等流程。在机器人工作流程中，机器人抓取技术的成熟程度至关重要。机器人的自主抓取大多数是基于视觉技术来控制，但是在复杂环境下，识别定位的效果大大下降，从而降低抓取的效率。所以，提供目标物品精确的坐标是现在急需解决的问题，因此就需要用到大范围物品位置识别方法。
[0003]现有技术中，利用计算机图像识别技术，特别是基于深度学习神经网络的人工智能技术，识别普通RGB摄像头成像范围内的物体，已经在许多行业广泛应用。但是对许多商用场景，仍然有三大问题尚待解决。问题1：摄像头离物体比较近，或者需要识别的区域(角度)比较大时，如何准确识别到所有物体现有技术中，一种技术路线是采用广角(鱼眼)摄像头，将所需识别范围都尽可能看到。但是这种防范方式有以下问题：扩展性差、如所需成识别范围超过广角摄像头成像范围，则此技术路线仍然不满足要求；广角摄像头成像物体为畸变图形，尤其处于成像边缘时畸变非常明显，极大影响识别的准确率。提升识别准确率的普遍手段是对畸变图形打更多标签并重新训练神经网络，工作量大；另一种技术路线是采用多个摄像头协同工作，确保所有识别区域都能至少被一个摄像头“看”到，计算机软件将所有摄像头的识别结果统一拟合，形成最终输出，这种方式的难点是如何准确拟合所有摄像头的识别结果，例如：如图7所示，如同一个物体在不同摄像头都被识别到，如果去掉重复结果，图7中，由于矮物体和高物体在两个摄像头都被识别到，所以在拟合时需要去掉重复的识别结果。问题2：由于摄像头角度问题，某些(矮)物体可能被其他(高)物体在某个方向遮挡，对于如何识别到此类被遮挡物体的问题，基于单摄像头的技术方案没有有效的方法，但是利用多个安装在不同角度的摄像头，可以看到被遮挡物体，从而被识别到，例如图8所示，矮物体在摄像头N成像中被高物体遮挡，如果只是用单摄像头N做识别，则矮物体无法被识别到。但如果利用摄像头M和摄像头N同时识别，由于摄像头M可以完整看到矮物体，对两个摄像头的识别结果做正确的拟合，最终可以同时准确识别到矮物体和高物体。问题3：如果某些物体被其他物体在正上方完全遮挡(堆叠)，如何能识别被遮挡物体，或者预警有物体被遮挡？对于此类问题，无论是基于单摄像头或是多摄像头的识别技术都没有特别有效的识别方法，因此有必要提出一种新的解决方案。
[0004]现有的多摄像头实现大范围物品识别方法存在识别效果差，无法精确识别被遮挡的物体，以及无法精确识别被堆叠的物品的问题，为此，我们提出一种利用多摄像头实现大范围物品识别的方法。

技术实现思路

[0005]本专利技术的主要目的在于提供一种利用多摄像头实现大范围物品识别的方法，可以有效解决
技术介绍
中的问题。
[0006]为实现上述目的，本专利技术采取的技术方案为：一种利用多摄像头实现大范围物品识别的方法，包括以下步骤：
[0007]S1：在被识别区域上设置架体，所述架体下端设有连接组件，若干所述连接组件等间距阵列分布，所述连接组件下端设有若干采集摄像头，本步骤确保每个识别区域都有至少两个相邻摄像头拍摄到；
[0008]S2：对所述采集摄像头先进行分参数标定，然后再进行色彩标定，
[0009]S3：对每对相邻所述采集摄像头进行双目校正；
[0010]S4：对每个所述采集摄像头图像进行物品识别；将每个所述采集摄像头的图像输入到计算机上的人工智能图像识别网络，获得该图像中所有识别到的物体，对于识别到的物体i，其表述为Oi＝(ci,pi,xi,yi,wi,hi)，式中：ci表示物体类别，pi表示识别置信度，xi,yi为物体的矩形框左上角坐，wi,hi为物体矩形框的宽度和高度；
[0011]S5：对于每个所述采集摄像头的识别结果，过滤掉置信度低的物品，所述采集摄像头C识别到的物体Oi,如果pi<置信度阈值，则从识别结果中删除此物品，进而使得对于每个所述采集摄像头C，都获得一个识别结果集φ；
[0012]S6：对每对相邻摄像头的重叠区域，进行结果拟合，拟合的具体步骤如下：
[0013]S601：对于任意一个所述采集摄像头C识别到的物体Oi,计算Oi所在区域A，和对应的相邻的所述采集摄像头C成像区域共分割为4部分：左上A0，左下A1，右上A2以及右下A3，每个区域和前后左右相邻的所述采集摄像头重叠，计算Oi和区域Ak(k＝0,1,2,3)的重叠系数γ公式为：进而计算Oi所在区域的公式为，由上式得到Oi和Ak的重叠系数最大，则认为Oi属于此区域Ak；
[0014]S602：当Oi属于区域A，对于和A相邻的每个摄像头C
’
,获得其在区域A之内所有识别到的类别为ci的物品，用φ
’
表示，C
’
的识别结果是否属于A的判别，步骤S601中的公式进行计算，进而找到相邻所述采集摄像头在区域A内也识别到的类别为ci的物品，本步骤主要用于确认在下一步确认是否是重复识别；
[0015]S603：计算Oi和φ
’
内所有识别到物品的最佳匹配，对于φ
’
内的识别结果Oj,其和Oi的匹配计算为：计算Oi和φ
’
的最佳匹配物品为：若最佳匹配不存在，例如为空，或者最佳匹配的值<最小重叠阈值，则将Oi保留在所述采集摄像头C中的识别结果中，由于Oi和最佳匹配物品(记录为O
’
i)中，删除其中任意一个，另一个结果为重复结果，若pi＞p
’
i,表示Oi的置信度高，则保留Oi，将O
’
i从C
’
的识别结果中删除，如果pi≤p
’
i,也就是说O
’
i的置信度高，则保留O
’
i，将Oi从C
’
的识别结果中删除，本步骤同时记录(C,Oi)和(C
’
,O
’
i)的对应关系，用于后续步骤计算物品的高度信息，最佳匹配不存在的情况，会是以下原因之一：一个物品没有被相邻摄像头识别到，原因是图像识别漏检，一个物品可能在相邻采集摄像头C
’
由于角度关系被遮挡，没被识别到，此种情况下，此物品被采集摄像头C识别，多采集摄像头方案完美解决了此问题；此步骤完成后，所有重复识别的物
品都已经被删除，在某个角度被遮挡的物品也已经被识别到，总的识别结果可以表示为所有摄像头识别结果相加，本步骤描述了专利技术的多摄像头结果拟合算法，去掉重复识别结果，同时保留因为某些角度被遮挡而未能识别到的物品；
[0016]S7：对于识别到的物品，判断是否有堆叠：利用双目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用多摄像头实现大范围物品识别的方法，其特征在于：包括以下步骤：S1：在被识别区域上设置架体(1)，所述架体(1)下端设有连接组件(2)，若干所述连接组件(2)等间距阵列分布，所述连接组件(2)下端设有若干采集摄像头；S2：对所述采集摄像头先进行分参数标定，然后再进行色彩标定，S3：对每对相邻所述采集摄像头进行双目校正；S4：对每个所述采集摄像头图像进行物品识别；将每个所述采集摄像头的图像输入到计算机上的人工智能图像识别网络，获得该图像中所有识别到的物体，对于识别到的物体i，其表述为Oi＝(ci,pi,xi,yi,wi,hi)，式中：ci表示物体类别，pi表示识别置信度，xi,yi为物体的矩形框左上角坐，wi,hi为物体矩形框的宽度和高度；S5：对于每个所述采集摄像头的识别结果，过滤掉置信度低的物品，所述采集摄像头C识别到的物体Oi,如果pi<置信度阈值，则从识别结果中删除此物品，进而使得对于每个所述采集摄像头C，都获得一个识别结果集φ；S6：对每对相邻摄像头的重叠区域，进行结果拟合，拟合的具体步骤如下：S601：对于任意一个所述采集摄像头C识别到的物体Oi,计算Oi所在区域A，和对应的相邻的所述采集摄像头C成像区域共分割为4部分：左上A0，左下A1，右上A2以及右下A3，每个区域和前后左右相邻的所述采集摄像头重叠，计算Oi和区域Ak(k＝0,1,2,3)的重叠系数γ公式为：进而计算Oi所在区域的公式为，由上式得到Oi和Ak的重叠系数最大，则认为Oi属于此区域Ak；S602：当Oi属于区域A，对于和A相邻的每个摄像头C
’
,获得其在区域A之内所有识别到的类别为ci的物品，用φ
’
表示，C
’
的识别结果是否属于A的判别，步骤S601中的公式进行计算，进而找到相邻所述采集摄像头在区域A内也识别到的类别为ci的物品；S603：计算Oi和φ
’
内所有识别到物品的最佳匹配，对于φ
’
内的识别结果Oj,其和Oi的匹配计算为：计算Oi和φ
’
的最佳匹配物品为：若最佳匹配不存在，或者最佳匹配的值<最小重叠阈值，则将Oi保留在所述采集摄像头C中的识别结果中，由于Oi和最佳匹配物品(记录为O
’
i)中，若pi＞p
’
i,表示Oi的置信度高，则保留Oi，将O
’
i从C
’
的识别结果中删除，如果pi≤p
’
i,也就是说O
’
i的置信度高，则保留O
’
i，将Oi从C
’
的识别结果中删除；S7：对于识别到的物品，判断是否有堆叠：利用双目视觉技术计算物体距离的原理描述如下：对于实际物体的一个点(X,Y,Z)，如在左摄像头图像中的位于(xL,yL)，如果能准确找到其在右摄像头的位置(xR,yR)，则其离摄像头的距离为：式子中，B为左右摄像头之间的物理距离，f为两个采集摄像头一致的焦距，且设定两个采集摄像头经过双目校正后yL＝yR，利用双目视觉技术计算物体距离的难点在于找到左右(相邻)摄像头的匹配点，给定(xL,yL)，通过色彩匹配拟合找到正确的(xR,yR)，在步骤S6中，对于对每个摄像头C识别到的物品Oi，已经找到其在相邻摄像头C
’
中为O
’
i，进而直接计算物品的距离，设C和C
’
为横向相邻，且距离为Dw,物品在这两个摄像头的位置分别为(xi,yi,wi,hi)和(x
’
i,y
’
i,
w
’
i,h
’
i)，则可计算物品中心Zc距离摄像头的距离为，设采集摄像头距离物品被识别区域距离为D，则物品的高度为H＝D
‑
Zc，如已知物品类别ci的先验高度为Hi，且H明显大于Hi，则可推算出物品有...

【专利技术属性】
技术研发人员：杨晓枫，贺徵廷，
申请(专利权)人：上海凯景信息技术有限公司，
类型：发明
国别省市：