一种人工智能自动收银方法技术

本发明专利技术旨在提供一种无需粘贴任何标签，不受位置和姿态的干扰、识别率高且对商品物体识别具有多重保障的人工智能自动收银方法。该方法包括以下步骤：商品物体放置到称重传感器平台上，称重传感器平台触发摄像头对放置在称重传感器平台上的商品物体进行x次拍照，得到x张照片；使用卷积神经网络进行商品识别训练，建立基于卷积神经网络框架的商品识别模型；将获得的x张照片依次输入到商品识别模型进行商品识别；根据检测到的商品类别和个数获得商品总重量，将该数值与所述称重传感器平台获得的商品实际总重量进行比较，如比较值一致，则认定商品物体识别正确，输出商品物体列表和价格，并显示支付二维码。本发明专利技术应用于自动结算领域。

【技术实现步骤摘要】
一种人工智能自动收银方法
本专利技术涉及自动结算领域，特别涉及一种在无人商店中的人工智能自动收银方法。
技术介绍
现有技术中，自助收银台有通过RFID进行商品识别的，也有通过视觉方法检测物体特征，并通过模板进行匹配进而确定商品类别。但这两种方法分别存在如下问题。通过RFID进行商品识别，有如下弊端：粘贴RFID标签需要额外的人工和物料成本；RFID标签易受距离等影响互相干扰，从而降低识别率；果蔬等商品无法粘贴RFID标签。通过视觉方法检测商品物体特征的方法也存在如下一些不足：物体特征需要人为指定或干预；模板匹配鲁棒性差，光照和形变会严重影响识别率。综上所述，现有的自助收银方法存在需粘贴RFID标签，人工成本较高；受到位置摆放的影响，识别率低；即使出现商品物体与实际价格不一致，但很多时候都无法暂停或者结束结算，造成系统混乱。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的不足，提供一种无需粘贴任何标签，不受位置和姿态的干扰、识别率高且对商品物体识别具有多重保障的人工智能自动收银方法。本专利技术所采用的技术方案是：本专利技术方法在人工智能自动收银台上进行，在所述人工智能自动收银台上设置有称重传感器平台和摄像头，该方法包括以下步骤：（1）将待检测商品物体放置到称重传感器平台上，称重传感器平台检测到重量改变，触发所述摄像头对放置在称重传感器平台上的商品物体进行x次拍照，得到x张照片，x为大于等于1的自然数；（2）使用卷积神经网络进行商品识别训练，建立基于卷积神经网络框架的商品识别模型；（3）将获得的x张照片依次输入到商品识别模型进行商品的图像边缘及颜色特征提取，得到含有商品特征的x张特征图，以每一张特征图中的每一个点作为中心，生成R个候选框，其中R为大于1的自然数；（4）通过所述商品识别模型的区域建议网络的softmax分类器将获得的候选框分为前景和背景，将区域建议网络预测出的候选框的两个对角点的坐标值和其真实候选框坐标值来比较，得到预测候选框相对于真实候选框的相对偏移量；（5）通过获得的前景和偏移量，得到商品物体初选的目标区域，对目标区域进行采样，提取所述商品识别模型感兴趣区域的颜色和边缘特征，颜色和边缘特征通过区域建议网络的全连接层与softmax分类器得到每个目标区域属于哪个类别；（6）判定检测识别次数是否为x，当为x时，返回x次识别结果中检测商品数量最多的一次结果；否则，将下一张图片送入商品识别模型进行检测识别过程；（7）如有商品物体不能识别，则需要更换姿势摆放，然后重复步骤（2）；（8）根据检测到的商品类别和个数获得商品总重量，并将该数值与所述称重传感器平台获得的商品实际总重量进行比较，如检测获得的商品总重量数值与称重传感器平台获得的商品实际总重量的差值处于设定的阀值内，则认定商品物体识别正确，输出商品物体列表和价格，并在显示屏上显示支付二维码；否则，重复步骤（7）；（9）根据显示屏上显示的支付二维码，商品采购者通过扫码完成支付。进一步地，所述步骤（3）中，R个候选框的生成过程如下：a.将采集到的图像P*Q缩放至M*N，其中P、Q、M、N为图像的像素值；b.将缩放后的图像送入卷积神经网络提取图像边缘和颜色特征，特征图大小为a*b，其中a、b为特征图的像素值；c.以a*b特征图上的每一点为中心，生成A个候选框区域，其中候选框区域的面积分别为S1，S2，…，Sx，其中x为特征图数目，且每一个面积中框的长宽比例有y种，得到A=x*y，候选框的数目为R=a*b*A个。又进一步地，所述步骤（8）中，如商品物体识别不正确，在所述显示屏上显示检测框，向用户提示需调整商品物体位置和/或姿态，如图片中出现非商品物体，显示屏向用户给出取走非商品物体的提示，然后进行步骤（7），直至商品识别正确。再又进一步地，所述步骤（8）中，设定的检测获得的商品总重量数值与称重传感器平台获得的商品实际总重量的差值阀值为称重传感器平台获得的商品实际总重量的0.2％～2％。此外，所述称重传感器平台获得的商品实际总重量为，其中，k表示待检测商品的类别数，m表示第i类商品重量，n表示第i类商品个数；检测获得的商品总重量为，其中，P表示实际检测出的商品类别数，m表示第j类商品重量，n表示第j类商品个数。本专利技术的有益效果是：通过称重传感器平台和摄像头的设置，省去了粘贴RFID标签带来的人工和物料成本，直接通过视觉的方法来对商品进行检测识别；使用神经网络进行商品识别，无需人工指定特征，不受位置、形变等的干扰，使用基于卷积神经网络框架的商品识别模型，对商品形变和光照的鲁棒性强，识别率高；识别过程中结合重力传感器能进一步提升最终识别结果，结合重力传感器提升整体检测识别精度，在识别有错的情况下会提示重新摆放，不会进入结算页面；该方法能准确识别出商品，并显示二维码以供结算，该方法在无法识别商品的情况下，会提示重新摆放商品位置，不会显示二维码，该方法对于一些非卖物体，会提示用户拿走，然后系统重新识别剩余商品。所以，本专利技术方法无需粘贴任何标签，不受位置和姿态的干扰、识别率高且对商品物体识别具有多重保障。具体实施方式本专利技术方法在人工智能自动收银台上进行。在所述人工智能自动收银台上设置有称重传感器平台和摄像头，该方法包括以下步骤：（1）将待检测商品物体放置到称重传感器平台上，称重传感器平台检测到重量改变，触发所述摄像头对放置在称重传感器平台上的商品物体进行x次拍照，得到x张照片，x为大于等于1的自然数。所述称重传感器平台获得的商品实际总重量为，其中，k表示待检测商品的类别数，m表示第i类商品重量，n表示第i类商品个数；检测获得的商品总重量为，其中，P表示实际检测出的商品类别数，m表示第j类商品重量，n表示第j类商品个数。（2）使用卷积神经网络进行商品识别训练，建立基于卷积神经网络框架的商品识别模型。（3）将获得的x张照片依次输入到商品识别模型进行商品的图像边缘及颜色特征提取，得到含有商品特征的x张特征图，以每一张特征图中的每一个点作为中心，生成R个候选框，其中R为大于1的自然数；R个候选框的生成过程如下：a.将采集到的图像P*Q缩放至M*N，其中P、Q、M、N为图像的像素值；b.将缩放后的图像送入卷积神经网络提取图像边缘和颜色特征，特征图大小为a*b，其中a、b为特征图的像素值；c.以a*b特征图上的每一点为中心，生成A个候选框区域，其中候选框区域的面积分别为S1，S2，…，Sx，其中x为特征图数目，且每一个面积中框的长宽比例有y种，得到A=x*y，候选框的数目为R=a*b*A个。（4）通过所述商品识别模型的区域建议网络的softmax分类器将获得的候选框分为前景和背景，将区域建议网络预测出的候选框的两个对角点的坐标值和其真实候选框坐标值来比较，得到预测候选框相对于真实候选框的相对偏移量。（5）通过获得的前景和偏移量，得到商品物体初选的目标区域，对目标区域进行采样，提取所述商品识别模型感兴趣区域的颜色和边缘特征，颜色和边缘特征通过区域建议网络的全连接层与softmax分类器得到每个目标区域属于哪个类别。所述步骤（5）之后还包括纠偏步骤：对步骤（4）和步骤（5）的过程建立损失函数，通过反向传播和梯度下降方法使得损失函数达到最小值，其过程如下：损失函数公式为其中，本文档来自技高网...

【技术保护点】
1.一种人工智能自动收银方法，该方法在人工智能自动收银台上进行，其特征在于：在所述人工智能自动收银台上设置有称重传感器平台和摄像头，该方法包括以下步骤：（1）将待检测商品物体放置到称重传感器平台上，称重传感器平台检测到重量改变，触发所述摄像头对放置在称重传感器平台上的商品物体进行x次拍照，得到x张照片，x为大于等于1的自然数；（2）使用卷积神经网络进行商品识别训练，建立基于卷积神经网络框架的商品识别模型；（3）将获得的x张照片依次输入到商品识别模型进行商品的图像边缘及颜色特征提取，得到含有商品特征的x张特征图，以每一张特征图中的每一个点作为中心，生成R个候选框，其中R为大于1的自然数；（4）通过所述商品识别模型的区域建议网络的softmax分类器将获得的候选框分为前景和背景，将区域建议网络预测出的候选框的两个对角点的坐标值和其真实候选框坐标值来比较，得到预测候选框相对于真实候选框的相对偏移量；（5）通过获得的前景和偏移量，得到商品物体初选的目标区域，对目标区域进行采样，提取所述商品识别模型感兴趣区域的颜色和边缘特征，颜色和边缘特征通过区域建议网络的全连接层与softmax分类器得到每个目标区域属于哪个类别；（6）判定检测识别次数是否为x，当为x时，返回x次识别结果中检测商品数量最多的一次结果；否则，将下一张图片送入商品识别模型进行检测识别过程；（7）如有商品物体不能识别，则需要更换姿势摆放，然后重复步骤（2）；（8）根据检测到的商品类别和个数获得商品总重量，并将该数值与所述称重传感器平台获得的商品实际总重量进行比较，如检测获得的商品总重量数值与称重传感器平台获得的商品实际总重量的差值处于设定的阀值内，则认定商品物体识别正确，输出商品物体列表和价格，并在显示屏上显示支付二维码；否则，重复步骤（7）；根据显示屏上显示的支付二维码，商品采购者通过扫码完成支付。...

【技术特征摘要】
1.一种人工智能自动收银方法，该方法在人工智能自动收银台上进行，其特征在于：在所述人工智能自动收银台上设置有称重传感器平台和摄像头，该方法包括以下步骤：（1）将待检测商品物体放置到称重传感器平台上，称重传感器平台检测到重量改变，触发所述摄像头对放置在称重传感器平台上的商品物体进行x次拍照，得到x张照片，x为大于等于1的自然数；（2）使用卷积神经网络进行商品识别训练，建立基于卷积神经网络框架的商品识别模型；（3）将获得的x张照片依次输入到商品识别模型进行商品的图像边缘及颜色特征提取，得到含有商品特征的x张特征图，以每一张特征图中的每一个点作为中心，生成R个候选框，其中R为大于1的自然数；（4）通过所述商品识别模型的区域建议网络的softmax分类器将获得的候选框分为前景和背景，将区域建议网络预测出的候选框的两个对角点的坐标值和其真实候选框坐标值来比较，得到预测候选框相对于真实候选框的相对偏移量；（5）通过获得的前景和偏移量，得到商品物体初选的目标区域，对目标区域进行采样，提取所述商品识别模型感兴趣区域的颜色和边缘特征，颜色和边缘特征通过区域建议网络的全连接层与softmax分类器得到每个目标区域属于哪个类别；（6）判定检测识别次数是否为x，当为x时，返回x次识别结果中检测商品数量最多的一次结果；否则，将下一张图片送入商品识别模型进行检测识别过程；（7）如有商品物体不能识别，则需要更换姿势摆放，然后重复步骤（2）；（8）根据检测到的商品类别和个数获得商品总重量，并将该数值与所述称重传感器平台获得的商品实际总重量进行比较，如检测获得的商品总重量数值与称重传感器平台获得的商品实际总重量的差值处于设定的...

【专利技术属性】
技术研发人员：朱非甲，马玉涛，王春燕，张航，万群，
申请(专利权)人：珠海博明视觉科技有限公司，
类型：发明
国别省市：广东,44