一种基于YOLO检测和特征匹配的商品识别方法技术

本发明专利技术提供了一种基于YOLO检测和特征匹配的商品识别方法。本发明专利技术将两个摄像头的特征点信息结合，可修正原有的商品置信度。本发明专利技术在原有的YOLO网络基础上，通过分别检测两个摄像头采集的图像，并增加一个新的置信度改进模块，设计了打分策略，根据特征匹配的结果调整最终商品的置信度。置信度改进模块包括特征点匹配模块和置信度计算模块。特征点匹配模块根据YOLO检测出商品的有效帧以及其包含的检测框坐标信息和商品置信度信息，提取特征点，并将两个视角的商品图像进行特征点匹配，输出匹配结果；置信度计算模块结合YOLO网络和特征点匹配模块输出的信息，根据设定的打分策略，对商品置信度进行加权融合，决定最终的商品置信度。度。度。

【技术实现步骤摘要】
一种基于YOLO检测和特征匹配的商品识别方法


[0001]本专利技术涉及一种基于YOLO检测和特征匹配的商品识别方法，属于计算机视觉领域。

技术介绍

[0002]随着新零售的发展，无人售货柜成为新的零售趋势。在智能售货柜的门框边缘上安装两个摄像头，用户拿取商品的过程中同时识别用户所抓取的商品类别以及数目，从而生成用户消费的账单。此方法对于货柜内的商品陈列没有限制，可以最大限度的利用货柜内的有效体积，降低运营成本。然而拿取的商品数据在单一视角下会存在遮挡等导致识别准确率低的问题，所以我们需要对两个摄像头采集到的商品数据分别检测，将得到的置信度信息根据特征点匹配情况进行加权融合，从而有助于后续计算用户最终消费结果。
[0003]目前已有的商品识别方法所针对的视频数据中目标物完整清晰，无遮挡。并且是在静态情况下检测陈列在售货柜中的商品，而不是根据用户拿取商品的过程进行动态检测，此时单一摄像头下的目标检测结果就可以当作最终预测。Zhang H，Li D等人
[1]根据不同角度构建了155153张商品数据集，使用标签和边界框手动注释了包含十种商品的数据图像。但是此研究是利用红外激光传感器检测消费者的手，从而在开关门时拍摄售货柜中的商品图片，用户打开柜门拍摄第一张图片，取出饮料时拍摄第二张，根据两张图片静态检测智能柜中的商品，如附图1所示，两张图片中的目标物完整没有存在遮挡，针对此类数据集商品识别比较简单，但是需要配合传感器使用。Fan D，Yang D等人
[2]提供了一种将深度学习和图像匹配联合使用提高匹配精确度的思路，二者可以结合起来用于提高商品识别的准确率。Liu L，Cui J等人
[3]使用双目摄像头进行商品识别，基于YOLOv3的模型设计了一种新的目标检测网络。
[0004]但是，我们的商品数据具有以下特点：商品位于售货柜中，客户拿取商品时动态识别商品类别，手部遮挡商品信息。如图2图3所示，单一视角下可能会出现错检、漏检等问题。
[0005]由于智能柜结算是根据用户购买时的视频信息判定，所以在存在遮挡时有商品识别率低的问题，所以我们根据两个不同视角的摄像头得到的预测值进行加权处理，并设置图像特征点匹配模块，对于两个摄像头识别出的物品进行特征点匹配，从而解决单个摄像头的漏检问题，这样可以提高商品识别的准确性，以达成对现有的商品识别方法改进的目的。
[0006]参考文献：
[0007][1]Zhang H，Li D，Ji Y，et al.Toward new retail:Abenchmark dataset for smart unmanned vending machines[J].IEEETransactions on Industrial informatics，2019，16(12):7722
‑
7731.
[0008][2]Fan D，Yang D，Zhang Y.Satellite image matchingmethod based on deep convolutional neural network[J].Journal ofGeodesy and Geoinformation Science，2019，2(2):90.
[0009][3]Liu L，Cui J，Huan Y，et al.A Design of SmartUnmanned Vending Machine for New Retail Based on BinocularCamera and Machine Vision[J].IEEE Consumer ElectronicsMagazine，2021.

技术实现思路

[0010]现有商品识别方法适用于商品图片中目标物完整、遮挡较少的情况，这与智能柜中的商品的图片情况不同，客户拿取商品时手部会大量遮挡商品信息，左右摄像头各自识别时可能会出现错检、漏检等问题，对于后续判定客户所购买商品的消费账单会有很大影响。本专利技术针对此问题，在原有的YOLO网络分别检测两个摄像头采集的图像的基础上，增加一个新的置信度改进模块，根据特征匹配的结果，设计打分策略，从而调整最后的商品置信度。
[0011]本专利技术采用的技术方案主要由以下三部分构成：商品目标检测模块、商品图像特征匹配模块以及置信度预测模块。商品目标检测模块是通过卷积神经网络从整张图像中预测商品的类别和坐标位置，并且预测目标框中还包含商品的置信度和分类的可能性等信息。特征点匹配模块结合YOLO检测出商品的有效帧以及其包含的检测框坐标信息和商品置信度信息，并将两个视角的商品图像进行特征点匹配，输出匹配结果。分数计算模块结合上述YOLO网络和特征点匹配模块输出的信息，根据设定的打分策略，对商品的置信度进行加权融合，从而决定最终的商品置信度。
[0012]本专利技术的具体方案如附图3所示。
[0013]步骤1：智能柜商品目标检测
[0014]此步骤的目的是通过卷积神经网络从整张图像中预测商品的类别和坐标位置，并且预测目标框中还包含商品的置信度和分类的可能性等信息。
[0015]步骤1.1同时获取左右摄像头图像帧：两个前端边缘设备分别在用户拿取商品的时间段内同时采样，统一发送给云上服务器。
[0016]步骤1.2YOLO目标检测：将左右摄像头分别采集到的图像都作为输入传给YOLO网络模型，通过特征提取网络对输入的商品图像进行特征提取，得到一定尺寸的特征图，输出的特征图中可以提取到有关于类别数、置信度和预测框坐标以及宽高等信息。
[0017]步骤2：商品图像匹配
[0018]此模块的目的是利用左右两个摄像头的图像信息，记录两个视角下匹配成功的特征点个数以及特征点坐标等相关信息，为后续逐帧计算商品置信度做准备。
[0019]步骤2.1图像转灰度图：将商品图像转为灰度图，可以减少计算量并且为后续的特征点检测提供基础。
[0020]步骤2.2特征点检测：采用FAST算法检测特征点，特征点泛指图像灰度值发生剧烈变化的点或者在图像边缘曲率较大的点，能够反应图像本质特征，标识图像中的目标物体。
[0021]步骤2.3计算特征描述子：根据步骤2.2提取的关键点作为圆心，使用BRIEF描述子建立坐标系，对前一步提取出的特征点的周围图像区域进行描述。
[0022]步骤2.4特征匹配：经过步骤2.2和步骤2.3后，采用角点匹配，对于匹配成功的特征点记录其坐标，邻域直径，方向以及个数等信息，方便后续结合YOLO检测框预测商品置信度。
[0023]步骤3：商品置信度预测
[0024]此步骤的目的是使用特征点匹配网络的检测结果，对YOLO检测的商品置信度进行特调整，对每一帧的信息进行加权融合得到最终的商品置信度信息。
[0025]步骤3.1逐帧计算商品置信度：我们将每一帧左右两个摄像头检测出的商品置信度与特征点匹配个数结合从而加权求和来得到最终得分。
[0026]步骤3.2汇总计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YOLO检测和特征匹配的商品识别方法，其特征在于包括以下步骤：步骤1：智能柜商品目标检测通过卷积神经网络从整张图像中预测商品的类别和坐标位置，并且预测目标框中还包含商品的置信度和分类的可能性；步骤1.1同时获取左右摄像头图像帧：两个前端边缘设备分别在用户拿取商品的时间段内同时采样，统一发送给云上服务器；步骤1.2YOLO目标检测：将左右摄像头分别采集到的图像都作为输入传给YOLO网络模型，通过特征提取网络对输入的商品图像进行特征提取，得到特征图，输出的特征图中提取到有关于类别数、置信度和预测框坐标以及宽高；步骤2：商品图像匹配利用左右两个摄像头的图像信息，记录两个视角下匹配成功的特征点个数以及特征点坐标；步骤2.1图像转灰度图：步骤2.2特征点检测：采用FAST算法检测特征点；步骤2.3计算特征描述子：根据步骤2.2提取的特征点作为圆心，使用BRIEF描述子建立坐标系，对前一步提取出的特征点的周围图像区域进行描述；步骤2.4特征匹配：经过步骤2.2和步骤2.3后，采用角点匹配，对于匹配成功的特征点记录其坐标，邻域直径，方向以及个数；步骤3：商品置信度预测使用特征点匹配网络的检测结果，对YOLO检测的商品置信度进行特调整，对每一帧的信息进行加权融合得到最终的商品置信度信息；步骤3.1逐帧计算商品置信度：将每一帧左右两个摄像头检测出的商品置信度与特征点匹配个数结合从而加权求和来得到最终得分；步骤3.2汇总计算商品置信度：将步骤3.1输出的每一帧得到的置信度求平均并进行归一化处理得到最终的商品置信度。2.根据权利要求1所述的方法，其特征在于包括以下步骤：步骤1：智能柜商品目标检测通过卷积神经网络从整张图像中预测商品的类别和坐标位置；步骤1.1同时获取左右摄像头图像帧：左，右摄像头分别在用户开门，用户拿取商品，用户关门这段时间，均选择每隔相同间隔，在同一时刻采样，分别汇总记录后发送给云上的服务器m帧；云上的服务器收到后对2
×
m张图像后按照时间顺序进行编号，并且依次输入到YOLO网络中；步骤2.2YOLO目标检测：将左右摄像头分别采集到的图像帧都作为输入传给YOLO网络模型；在YOLO网络的输入端进行商品图像预处理后送入Backbone主干网络，将商品图像进行切片操作，用于提取商品中特征；然后送入Neck网络，该网络采用FPN+PAN结构最后在输出端采用GIOU_Loss作为损失函数，最后使用非极大抑制筛选目标框；此时记录下商品的类别信息、置信度以及目标框的坐标信息；步骤2：商品图像匹配利用左右两个摄像头的图像信息，记录两个视角下在匹配成功的特征点个数以及坐
标，为后续逐帧计算商品置信度做准备；步骤2.1图像转灰度图：每个像素的颜色由R、G、B三种颜色通道构成，每个通道取值为0～255，在进行特征点检测时计算量大，采用加权平均值法得到灰度图像效果较好，即采用如下公式：R＝G＝B＝(ω
R
R+ω
G
G+ω
B
B)(1)其中R、G、B分别代表R通道、G通道、B通道，ω
R
、ω
G
、ω
B
分别代表三个通道的各自的权重值；步骤2.2特征点检测：采用FAST算法检测特征点，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别足够大，则认为该候选点为一个特征点；使用公式(1)进行选取特征点P.N＝∑|I(X)
‑
I(P)|&gt;ε<...

【专利技术属性】
技术研发人员：李建强，宋秉谕，陈柳乐，高正凯，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：