【技术实现步骤摘要】
本专利技术涉及物联网及人工智能，更具体地说，涉及一种智能购物车商品退货识别方法及系统。
技术介绍
1、目前各种大型购物超市商品种类数以万计，很多商品规格相同，但价格相差几元甚至上百元。用户在使用智能购物车自助购物过程中，若全程行为不受控会给超市带来了一定的风险，全过程监控和识别用户行为和商品信息，又将导致成本的巨大增加。尤其是在商品加入智能购物车后，对用户的退货行为准确识别对于超市防损最为关键。部分智能购物车提供用户主动删除屏幕上购物列表的商品即可退货的方案，这给防损带来了漏洞，可能会给超市带来损失。如单纯扫码识别退货商品，则可能出现扫码的是一类商品，实际退货的是另一商品的情况。
2、中国专利申请，cn 106672042 a，公开日2017年5月17日，记载了智能购物车以及该购物车购物和退货过程的判断方法。在该专利技术中，用户使用智能购物车购物时，如需退货，要先操作电脑进入退货程序，再从购物车中取出商品，接着扫码确认需要退购该件商品，随后判断智能购物车的称重变化与退货行为相符方能完成一次退货操作。该专利技术提供的判断方法对用户退货行为识别的准确性得到了提高，但增加了用户的时间成本，体验欠佳。
技术实现思路
1、1. 要解决的技术问题
2、针对现有技术中存在的智能购物车无法在退货操作中兼顾准确安全和方便快捷的问题，本专利技术提供了一种能够基于智能购物车准确识别用户退购商品的方法，它可以实现退货操作的优化，准确便捷地识别用户退购的商品，提升用户体验并降低货损的
3、2. 技术方案
4、本专利技术的目的通过以下技术方案实现。
5、本专利技术中所述的智能购物车，至少配备有一上设购物筐的购物车车体，车体上设置有处理器、秤重装置、商品条码扫描器和图像采集设备。其中购物筐的筐口下方设一虚拟平面，为h1平面；称重装置置于购物筐底，商品条码扫描器的扫描口与h1平面重叠，图像采集设备置于h1平面上方用于监控h1平面及其上方空间的运动物体。
6、本专利技术的第一方面，提供了一种智能购物车退货商品识别方法，步骤如下：
7、采集智能购物车退货商品图像。提取退货商品图像中的识别标记如条形码或二维码。优选的，提取识别标记时，使用的条码检测算法为zbar、east、ocr、或orb技术。若提取到至少一个识别标记，综合相似度得分z设置为1，返回该识别标记对应的商品信息及z值，结束退货商品识别流程。
8、若未提取到识别标记，则提取图像中的文字与该用户已加购的商品名称使用余弦相似度计算方法进行比对，得到文字比对相似度t，t取值范围为0-1；使用预训练的卷积神经网络提取退货商品图像和已加购的商品图像的深层特征，计算图形特征比对形似度p，p的取值范围为0-1。
9、进一步的，提取图像中文字的方法为：通过文字检测器east找到图像中的文字区域，对检测到的每个文字区域，使用tesseract 作为ocr（光学字符识别）工具提取文字内容。
10、进一步的，计算图形特征比对形似度p的方法为：使用预训练的卷积神经网络提取退货商品图形特征，可选且不限于 vgg， resnet 等主流机器学习技术，提取商品图像深层特征；对已加购的商品图像使用同样的卷积神经网络提取特征；采用变化检测、卷积神经网络和欧式距离组合的技术方案计算退货商品图像与已加购的商品每个图像的特征之间的距离，并对该距离值进行标准化得到距离l，图像相似度p=1-l。
11、根据文字比对相似度t及图形特征比对形似度p，得到综合相似度得分z。
12、（1）
13、文字权重为v，图形特征权重为u；u和v取值范围为[0，1]，且u+v=1；较优的，v取值0.4，u取值为0.6。
14、返回已购商品中对应最高z值的商品信息以及该z值，结束退货商品识别过程。
15、本专利技术的第二方面，提供了一种智能购物车取出商品行为判定方法，步骤如下：
16、图像采集设备持续监测h1平面，采集连续图像信息；处理图像信息，判断用户是否有手持物品从h1平面以下持续稳定向上移动的行为；若有，则启动称重系统开始称重，称重持续a秒。若用户手持物品从h1平面以下向上运动后称重系统连续监测a秒确认重量减少，则判定用户从购物车中取出商品。使用本专利技术第一方面的智能购物车退货商品识别方法，识别用户取出的商品。
17、优选的，用mediapipe手部关键点检测结合lucas-kanade （l-k） 光流算法来判定用户是否有手持物品从h1平面以下持续稳定向上移动的行为，步骤如下：
18、使用手部关键点检测模型处理图像，获取手部的关键点。优选的，使用mediapipe的手部关键点检测模型处理视频帧，获取手部的关键点。
19、根据手部关键点确定包含手持物品的候选区域。
20、使用边缘检测或色彩分割的图像处理技术，在候选区域内检测物品。
21、若检测到物品，选择物品上的边缘或其他明显的特征作为物品特征点，同时，选择手部的关键点作为手部特征点；若未检测到物品，只选择手部的关键点作为特征点。
22、对每一对连续图像，使用l-k方法计算物品特征点和手部特征点的光流；分析物品特征点光流矢量与地面垂直方向的组件，如果超过80%的物品特征点沿地面垂直方向向上运动，则表明在该连续图像中有物品向上移动；分析物品特征点移动的起始位置，判断物品移动是否开始于h1平面下方；若物品从h1平面下方开始移动且方向为沿地面垂直方向向上运动时，可以进一步确认该对连续图像中手部跟随物品向上移动；
23、分析所有连续图像中物品及手部运动方式，若超过70%的判断结果为手部跟随物品向上移动，则确认该视频中有手持物品从h1平面以下持续稳定向上移动的行为。
24、本专利技术的第三方面，提供了一种智能购物车退货行为识别方法，具体包括如下步骤：
25、预启动退购流程：信息采集模块持续采集h1平面图像信息，检测到用户手持物品从h1平面以下向上运动时，预判用户可能取出已加购商品，预启动退购流程。
26、退货商品信息采集：图像采集单元，如摄像头，实时将采集的图像发送给商品信息分类模块，当监测到商品离开h1平面以上，停止拍照。
27、退货商品识别：商品信息分类模块应用本专利技术第一方面提供的智能购物车退货商品识别方法，对拍摄的图像进行退货商品识别，将匹配结果上报给到购物决策服务模块；退货商品识别过程中，若提取到拍摄图像中的商品识别标记，通知摄像头停止拍摄。
28、监测电子秤状态：当信息采集模块的称重单元监测到电子秤减少一个稳定重量值，则判定用户取出了商品，确认启动退购流程，并将重量识别结果给到购物决策模块。
29、购物决策服务模块综合重量和图像识别的结果，决策退购的商品信息：若重量和图像的结果一致，则直接给出图像识别结果，进入退购流程；否则，提示用户扫码退购，进入退购流程。
30、判断重本文档来自技高网...
【技术保护点】
1.一种智能购物车退货商品识别方法，步骤如下：
2.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，所述识别标记为条形码或二维码。
3.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，U为0.6，V为0.4。
4.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，提取识别标记时，使用的检测算法为ZBar、EAST、OCR或ORB。
5.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，文字比对相似度计算使用余弦相似度计算方法。
6.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，计算图形特征比对形似度P的方法为：计算退货商品图像与已加购的每个商品图像的特征之间的距离并进行标准化，得到距离L，图像相似度P=1-L。
7.根据权利要求6所述的一种智能购物车退货商品识别方法，其特征在于，预训练的卷积神经网络为VGG或ResNet，计算退货商品图像与已加购的每个商品图像的特征之间的距离的算法为变化检测算法、卷积神经网络算法或欧式距离算法。p>
8.一种智能购物车取出商品行为判定方法，步骤如下：
9.根据权利要求8所述的一种智能购物车取出商品行为判定方法，其特征在于，判断用户是否有手持物品从H1平面以下持续稳定向上移动的行为的方法为：
10.一种智能购物车退货行为识别方法，步骤如下：
11.根据权利要求10所述的一种智能购物车退货行为识别方法，其特征在于，判断重量和图像的结果一致的方法为：针对图像识别的结果进行重量匹配度计算，若重量匹配度X大于等于重量匹配度边界值M，则筛选图像识别的商品信息，进入退购流程；否则，不给出识别的商品信息，提示用户扫码退购，进入退购流程；
12.一种智能购物车系统，执行权利要求10或11任一项所述的一种智能购物车退货行为识别方法，其特征在于，包括：
...【技术特征摘要】
1.一种智能购物车退货商品识别方法，步骤如下：
2.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，所述识别标记为条形码或二维码。
3.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，u为0.6，v为0.4。
4.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，提取识别标记时，使用的检测算法为zbar、east、ocr或orb。
5.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，文字比对相似度计算使用余弦相似度计算方法。
6.根据权利要求1所述的一种智能购物车退货商品识别方法，其特征在于，计算图形特征比对形似度p的方法为：计算退货商品图像与已加购的每个商品图像的特征之间的距离并进行标准化，得到距离l，图像相似度p=1-l。
7.根据权利要求6所述的一种智能购物车退货商品识别方法，其特征在于，预训练的卷...
【专利技术属性】
技术研发人员：张春园，徐步兵，
申请(专利权)人：南京亿猫信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。