自动售货装置中AI识别出货信息的方法及应用制造方法及图纸

本发明专利技术提供了自动售货装置中AI识别出货信息的方法及应用，涉及智能售货技术领域。所述方法包括步骤：接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；通过取物托盘使货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据；比对之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。本发明专利技术能够在出货阶段早期就及时地发现错误的出货操作，降低出货检测过程对用户时间的占用，提高出货可靠性和效率；且识别精度高，产品适用性广。

Method and application of AI identifying shipping information in vending device

The invention provides a method and application of AI identifying shipping information in an automatic vending device, and relates to the technical field of intelligent vending. The method comprises the following steps: receiving the purchase information of the goods, controlling the lifting and traverse mechanism in the vending device to start to drive the pick-up tray connected with the lifting and traverse mechanism to reach the cargo lane where the goods are located; Make the goods in the cargo way leave the cargo way and catch the goods through the pick-up tray; And triggering the image acquisition device on the retrieval tray to obtain the retrieval tray image data before and after the goods enter the retrieval tray; Comparing the image data of the pick-up tray before and after, the goods in tray information is obtained, and the goods in tray information includes whether the goods are successfully in the tray and the goods in the tray information. The invention can timely find the wrong shipping operation in the early stage of the shipping stage, reduce the occupation of user time in the shipping detection process, and improve the shipping reliability and efficiency; It has high recognition accuracy and wide product applicability.

【技术实现步骤摘要】
自动售货装置中AI识别出货信息的方法及应用
本专利技术涉及智能售货

技术介绍
自助售货机的机柜通常由货架组成，货架可以包括多行多列货道。传统货道的货物出货方式有电动推杆出货、履带出货、弹簧螺旋出货等，通过上述出货装置将货物推出后，货物经自由落体进入取货仓中。考虑到有些货物(比如易碎的玻璃瓶装产品)是不能自由掉落的，又出现了采用升降台接货的形式，此时，货物被从货道推出后进入自动升降台，再由自动升降台运送货物至取货仓，就能避免从高处自由落体方式引发的货物损坏。无论是利用上述哪一类自动售货机时，都有需要对货物出货情况进行检测，以便销售方核对库存、追溯货物购买信息等。目前，现有自动售货机检测货物掉落和货物被取出时，通常依靠售货柜载物云台两侧的对射光电板来完成。然而，存在如下缺陷：难以检测较小货物、透明货物、细长货物；同时，由于光电对射板容易收到干扰，比如强烈的太阳光，或者出货仓内有未取出的杂物，导致检测结果出现误判。另一方面，在利用自动售货机购物时，可能出现出货货物与购买订单不符的情况——比如取到的货物与购买的货物不匹配、多出货、少出货、甚至不出货等。由于已经出货的旧商品无法直接在售货机上进行退回和更换，购买用户要么重新购买想要的商品，要么提出售后等待工作人员前来处理，影响正常使用，降低了用户体验。基于上述问题，现有技术也提供了具有回收功能的自动售货机，以中国专利zl201921316116.0为例，其公开了一种自动售货机货斗：所述货斗内放置输送机构，输送机构两端分别设置入货口和出货口，所述输送机构至少包括正向运动模式和反向运动模式，当所述输送机构处于正向运动模式时，所述输送机构将货物朝向所述出货口运输，当所述输送机构处于反向运动模式时，所述输送机构将货物朝向所述入货口运输。然而，上述技术方案是在货物在落入货斗后再进行货物识别处理和是否回收的判断（此时处于出货阶段末期，货物出货过程已经基本完成，传统的自动售货机中顾客已经可以在货斗中取货了），显然会拉长顾客的购物等待时间，降低了自动售货机的出货效率，也影响了用户体验。综上所述，如何提供一种识别精度高、产品适用性广且对出货效率影响小的出货检测方法是当前亟待解决的技术问题。
技术实现思路
本专利技术的目的在于：克服现有技术的不足，提供了自动售货装置中AI识别出货信息的方法及应用。本专利技术利用取物托盘使货道中的目标货物离开所在货道并接住货物，并触发取物托盘上的图像采集装置获取货物进入取物托盘之前和之后的取物托盘图像数据，通过比对得到货物入盘信息。如此，能够在出货阶段早期就及时地发现错误的出货操作，降低出货检测过程对用户时间的占用，提高出货可靠性和效率；且图像检测方式识别精度高，产品适用性广，能够适用于各种贩卖产品。为实现上述目标，本专利技术提供了如下技术方案：一种自动售货装置中AI识别出货信息的方法，包括如下步骤：接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；通过前述取物托盘使前述货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据；比对前述之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。进一步，所述货物入盘信息包括货物入盘标识信息，所述货物入盘标识信息包括入盘成功标识和入盘失败标识；当货物入盘信息为货物入盘失败时，向购买用户和/或售货装置管理方用户发送故障提醒信息。进一步，当货物入盘信息为货物入盘成功时，还包括如下步骤：获取入盘的货物信息，以及用户的购买订单信息；将入盘的货物信息与购买订单中的购买产品信息进行比对，判断入盘的货物是否匹配购买产品；判定匹配时，通过升降横移机构驱动取物托盘移动到售货装置的取货口以出货；否则，通过升降横移机构驱动取物托盘移动到售货装置的回收仓以回收不匹配货物。进一步，所述图像采集装置为对应着接物盘安装的摄像头，摄像头与控制器连接并接收控制器的控制；通过摄像头拍摄货物进入取物托盘之前和之后的取物托盘图像数据。进一步，所述接物盘的载物面设置为黑色，所述摄像头位于接物盘的固定方位上且摄像头的焦距设置为恒定值，所述摄像头固定对焦在接物盘中央区域；比对前述之前和之后的取物托盘图像数据得到货物入盘信息的步骤如下：对货物进入取物托盘之前的取物托盘图像数据进行图像截取处理，根据黑色的载物面区域获取接物盘区域坐标；基于前述接物盘区域坐标对货物进入取物托盘之后的取物托盘图像数据进行图像截取处理以去除接物盘区域之外的无关区域，获得货物进入取物托盘之后的接物盘区域图像；对前述接物盘区域图像进行边缘轮廓检测，根据检测出的边缘轮廓判断接物盘中是否存在货物；判定接物盘中存在货物时，触发识别入盘的货物信息。进一步，识别入盘的货物信息的步骤包括：根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域；对前述中央货物图块区域进行OCR以识别货物上的文字和/或图形信息，获取前述文字和/或图形信息对应的关键字和/或关键图形标识；将前述关键字和/或关键图形标识，与预设的产品关键字和/或产品标识进行比对，获取该货物对应的产品名称和/或编号信息；将前述产品名称和/或编号信息与对应的购买订单信息中的产品名称和/或编号进行比对；比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。进一步，识别入盘的货物信息的步骤包括：根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域，对货物图块区域进行图像截取处理后得到具有货物边缘轮廓的待比对货物图像；判断前述待比对货物图像是否需要进行角度调整以摆正；判定需要进行角度调整时，对待比对货物图像进行旋转操作以获得摆正图像，否则直接执行如下步骤；将前述摆正图像与对应的购买订单中的产品在预设数据库内的标准产品图像进行比对；比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。进一步，售货装置中的货架采用阵列式货道，售货装置的控制器或关联服务器中存储有货道的行列信息以及对应的摆放货物信息；所述升降横移机构对应着前述阵列式货道设置，升降横移机构包括X轴横移轨道、Y轴升降轨道和Z轴横移轨道以及对应的X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构，X轴横移驱动结构、Y轴升降驱动结构和Z轴横移驱动结构与控制器连接并接收控制器的控制；驱动取物托盘到达前述货物所在货道的步骤包括：获取前述货物在售货装置中的摆放货道信息，所述摆放货道信息包括摆放货道的行信息和列信息；根据前述摆放货道的行信息和列信息，通过X轴横移驱动结构和Y轴升降驱动结构驱动取物托盘整体相对货架在X轴方向横向移动和/或Y轴方向竖向移动以使取物托盘到达前述对应的行列位置；以及，所述货道为本文档来自技高网...

【技术保护点】
1.一种自动售货装置中AI识别出货信息的方法，其特征在于包括步骤：/n接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；/n通过前述取物托盘使前述货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据；/n比对前述之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。/n

【技术特征摘要】
1.一种自动售货装置中AI识别出货信息的方法，其特征在于包括步骤：
接收货物的购买信息，控制售货装置中的升降横移机构启动以驱动与升降横移机构连接的取物托盘到达前述货物所在货道；
通过前述取物托盘使前述货道中的货物离开所在货道并接住货物；以及，触发取物托盘上的图像采集装置以获取货物进入取物托盘之前和之后的取物托盘图像数据；
比对前述之前和之后的取物托盘图像数据得到货物入盘信息，所述货物入盘信息包括货物是否入盘成功的信息和入盘的货物信息。


2.根据权利要求1所述的方法，其特征在于：所述货物入盘信息包括货物入盘标识信息，所述货物入盘标识信息包括入盘成功标识和入盘失败标识；
当货物入盘信息为货物入盘失败时，向购买用户和/或售货装置管理方用户发送故障提醒信息。


3.根据权利要求1所述的方法，其特征在于：当货物入盘信息为货物入盘成功时，还包括如下步骤：
获取入盘的货物信息，以及用户的购买订单信息；
将入盘的货物信息与购买订单中的购买产品信息进行比对，判断入盘的货物是否匹配购买产品；
判定匹配时，通过升降横移机构驱动取物托盘移动到售货装置的取货口以出货；否则，通过升降横移机构驱动取物托盘移动到售货装置的回收仓以回收不匹配货物。


4.根据权利要求1所述的方法，其特征在于：所述图像采集装置为对应着接物盘安装的摄像头，摄像头与控制器连接并接收控制器的控制；通过摄像头拍摄货物进入取物托盘之前和之后的取物托盘图像数据。


5.根据权利要求4所述的方法，其特征在于：所述接物盘的载物面设置为黑色，所述摄像头位于接物盘的固定方位上且摄像头的焦距设置为恒定值，所述摄像头固定对焦在接物盘中央区域；比对前述之前和之后的取物托盘图像数据得到货物入盘信息的步骤如下：
对货物进入取物托盘之前的取物托盘图像数据进行图像截取处理，根据黑色的载物面区域获取接物盘区域坐标；
基于前述接物盘区域坐标对货物进入取物托盘之后的取物托盘图像数据进行图像截取处理以去除接物盘区域之外的无关区域，获得货物进入取物托盘之后的接物盘区域图像；
对前述接物盘区域图像进行边缘轮廓检测，根据检测出的边缘轮廓判断接物盘中是否存在货物；
判定接物盘中存在货物时，触发识别入盘的货物信息。


6.根据权利要求5所述的方法，其特征在于：识别入盘的货物信息的步骤包括：
根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域；
对前述中央货物图块区域进行OCR以识别货物上的文字和/或图形信息，获取前述文字和/或图形信息对应的关键字和/或关键图形标识；
将前述关键字和/或关键图形标识，与预设的产品关键字和/或产品标识进行比对，获取该货物对应的产品名称和/或编号信息；
将前述产品名称和/或编号信息与对应的购买订单信息中的产品名称和/或编号进行比对；
比对一致时，判定出货货物匹配购买产品；否则判定出货货物不匹配购买产品。


7.根据权利要求5所述的方法，其特征在于：识别入盘的货物信息的步骤包括：
根据检测出的边缘轮廓，将接物盘区域图像划分为外围黑色图块区域和中央货物图块区域，对货物图块区域进行图像截取处理后得到具有货物边缘轮廓的待比对货物图像；
判断前述待比对货物图像是否需要进行角度调整以摆正；
判定需要进行角度调整时，对待比对货物图像进行旋转操作以获得摆正图像，否则直接执行如下步骤；

【专利技术属性】
技术研发人员：刘荣鑫，陈剑，
申请(专利权)人：上海云央网络科技有限公司，
类型：发明
国别省市：上海;31