陈列柜控制方法、设备、介质及陈列柜技术

本公开实施例公开了一种陈列柜控制方法、设备、介质及陈列柜，所述方法包括：获取由柜门图像采集装置采集的柜门图像以及由柜体图像采集装置采集的多张柜体图像；获取柜门图像中与手部对应的拿取区域图像，并对拿取区域图像进行物品识别，以获取第一物品识别结果；获取目标物品的目标移动轨迹，并根据目标移动轨迹在第三目标柜体图像中截取目标物品区域图像；根据目标物品区域图像进行物品识别，以获取第二物品识别结果；根据第一物品识别结果以及第二物品识别结果进行匹配，以获取匹配物品识别结果。该技术方案能够根据匹配物品识别结果较为准确的确定从陈列柜中移出或移入的物品，提高了识别从陈列柜中移出或移入的物品的可靠性。性。性。

【技术实现步骤摘要】
陈列柜控制方法、设备、介质及陈列柜


[0001]本公开涉及控制
，具体涉及一种陈列柜控制方法、设备、介质及陈列柜。

技术介绍

[0002]近年来，商家或者企业存放物品时，为了便于用户了解物品信息，可以将物品放置于陈列柜中，以实现对商品同时进行储存及展示。当用户需要将物品从陈列柜中移出，或向陈列柜中放入物品时，用户可以自行将陈列柜打开，并执行相应的操作。在这种场景中，可以由陈列柜对陈列柜中的物品进行图像采集，并将采集到的数据上传，以便其他设备或系统例如服务器、云端等可以根据陈列柜上传的图像确定从陈列柜移出或移入物品的用户，或从陈列柜中移出或移入的物品等，从而进行统计。

技术实现思路

[0003]本公开实施例提供一种陈列柜控制方法、设备、介质及陈列柜，用于解决相关技术中根据图像识别结果无法较为准确的确定从陈列柜中移出或移入的物品的问题。
[0004]第一方面，本公开实施例中提供了一种陈列柜控制方法。
[0005]具体的，陈列柜控制方法，包括：
[0006]获取由柜门图像采集装置采集的柜门图像以及由柜体图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种陈列柜控制方法，其特征在于，所述方法包括：获取由柜门图像采集装置采集的柜门图像以及由柜体图像采集装置采集的多张柜体图像，所述柜门图像采集装置设置在陈列柜的柜门处，所述柜体图像采集装置设置在所述陈列柜的柜体处；获取所述柜门图像中与手部对应的拿取区域图像，并对所述拿取区域图像进行物品识别，以获取第一物品识别结果；获取目标物品的目标移动轨迹，并根据所述目标移动轨迹在第三目标柜体图像中截取目标物品区域图像，所述目标物品为在第一目标柜体图像中的位置与在第二目标柜体图像中的位置不同的物品，所述第一目标柜体图像、所述第二目标柜体图像以及所述第三目标柜体图像均属于所述多张柜体图像，所述第三目标柜体图像的采集时间在所述第一目标柜体图像的采集时间与所述第二目标柜体图像的采集时间之间；根据所述目标物品区域图像进行物品识别，以获取第二物品识别结果；根据所述第一物品识别结果以及所述第二物品识别结果进行匹配，以获取匹配物品识别结果。2.根据权利要求1所述的陈列柜控制方法，其特征在于，所述获取所述柜门图像中与手部对应的拿取区域图像，包括：获取预先训练的手部检测模型，并将所述柜门图像输入所述手部检测模型，以获取所述手部检测模型输出的手部检测信息，所述手部检测信息用于指示所述柜门图像中手部的位置；根据所述手部检测信息获取所述拿取区域图像；所述对所述拿取区域进行物品识别，以获取第一物品识别结果，包括；获取预先训练的第一物品类别检测模型，并将所述拿取区域图像输入所述第一物品类别检测模型，以获取所述第一物品类别检测模型输出的所述第一物品识别结果。3.根据权利要求2所述的陈列柜控制方法，其特征在于，所述方法还包括；获取由扫码装置采集的扫码信息，并根据所述扫码信息确定被扫码物品，所述扫码装置设置在所述柜门或柜体上；响应于所述第一物品识别结果与所述被扫码物品不匹配，获取手部标注信息以及被扫码物品第一标注信息中至少一项，所述手部标注信息用于指示所述柜门图像与所述被扫码物品对应的手部的位置，所述被扫码物品第一标注信息用于指示所述柜门图像中的所述被扫码物品；将所述柜门图像作为输入，将所述手部标注信息作为输出，对所述手部检测模型进行训练；和/或，根据所述被扫码物品第一标注信息在所述柜门图像中截取被扫码物品第一区域图像，并将所述被扫码物品第一区域图像作为输入，将所述被扫码物品的物品信息作为输出，对所述第一物品类别检测模型进行训练。4.根据权利要求3所述的陈列柜控制方法，其特征在于，所述将所述柜门图像作为输入，将所述手部标注信息作为输出，对所述手部检测模型进行训练之前，所述方法还包括：接收第一边缘服务器发送的第一更新权值参数，并根据第一更新权值参数对所述手部检测模型进行更新；
所述将所述柜门图像作为输入，将所述手部标注信息作为输出，对所述手部检测模型进行训练，包括：将所述柜门图像作为输入，将所述手部标注信息作为输出，对更新后的手部检测模型进行训练；所述方法还包括：响应于训练后的手部检测模型未收敛，根据训练后的手部检测模型获取第一梯度更新矢量，并向所述第一边缘服务器发送第一梯度更新矢量；或，响应于训练后的手部检测模型收敛，将训练后的手部检测模型储存为目标手部检测模型。5.根据权利要求3所述的陈列柜控制方法，其特征在于，所述将所述被扫码物品第一区域图像作为输入，将所述被扫码物品的物品信息作为输出，对所述第一物品类别检测模型进行训练之前，所述方法还包括：接收第二边缘服务器发送的第二更新权值参数，并根据第二更新权值参数对所述第一物品类别检测模型进行更新；所述将所述被扫码物品第一区域图像作为输入，将所述被扫码物品的物品信息作为输出，对所述第一物品类别检测模型进行训练，包括：将所述被扫码物品第一区域图像作为输入，将所述被扫码物品的物品信息作为输出，对更新后的第一物品类别检测模型进行训练；所述方法还包括：响应于训练后的第一物品类别检测模型未收敛，根据训练后的第一物品类别检测模型获取第二梯度更新矢量，并向所述第二边缘服务器发送第二梯度更新矢量；或，响应于训练后的第一物品类别检测模型收敛，将训练后的第一物品类别检测模型储存为目标第一物品类别检测模型。6.根据权利要求2所述的陈列柜控制方法，其特征在于，所述获取预先训练的手部检测模型前，所述方法还包括：获取采集所述柜门图像时所述柜门与所述柜体之间的柜门夹角；所述获取预先训练的手部检测模型，包括：获取预先训练的与所述柜门夹角对应的手部检测模...

【专利技术属性】
技术研发人员：谢宗乔，
申请(专利权)人：元气森林北京食品科技集团有限公司，
类型：发明
国别省市：