一种自助交易方法、装置、电子设备及储存介质制造方法及图纸

本公开提供了一种自助交易方法、装置、电子设备及储存介质，其中，该方法包括：获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。本公开实施例，可以提高用户交易信息生成的准确率。率。率。

【技术实现步骤摘要】
一种自助交易方法、装置、电子设备及储存介质


[0001]本公开涉及智能零售
，具体而言，涉及一种自助交易方法、装置、电子设备及储存介质。

技术介绍

[0002]随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些自助售卖机(如智能冰箱或者智能货架)应运而生。现有的自助售卖机，通常采用射频识别(Radio Frequency Identification，RFID)技术或者静态拍照识别技术来识别商品信息，进而根据商品的信息来生成用户交易信息。
[0003]然而，射频识别技术需要使用RFID标签，存在成本高和效率低的问题；静态拍照的识别方式仅能识别交易结果，无法反映商品的移动状态，且若相机发生污染，则会导致识别结果不准，进而导致用户交易信息出现误差，影响用户的自助购买体验。

技术实现思路

[0004]本公开实施例至少提供一种自助交易方法、装置、电子设备及储存介质。
[0005]第一方面，本公开实施例提供了一种自助交易方法，包括：
[0006]获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；
[0007]对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；
[0008]基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；
[0009]基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。
[0010]本公开实施例中，由于分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频，使得即使在其中某一个摄像装置发生污染时，仍可以通过其他摄像装置所采集的视频确定用户的交易信息，进而可以提升用户交易信息生成的准确率；此外，由于基于每个视频的至少一个目标商品的移动状态，生成用户的交易信息，使得所生成的用户交易信息能够反映出目标商品的移动轨迹，可以进一步提升用户交易信息生成的准确率。
[0011]根据第一方面，在一种可能的实施方式中，所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息以及所述目标商品的检测结果的置信度中的至少一种。
[0012]根据第一方面，在一种可能的实施方式中，所述基于每个视频的至少一个目标商品的检测结果，确定所述每视频的至少一个目标商品的移动状态，包括：
[0013]基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹；
[0014]基于所述每个视频内的至少一个目标商品的移动轨迹，确定所述每个视频的至少一个目标商品的移动状态。
[0015]本公开实施例中，通过目标商品的检测结果确定所述目标商品的移动轨迹，然后基于移动轨迹确定该目标商品的移动状态，可以更加清楚、准确地确定目标商品的移动状态，提升了确定目标商品的移动状态的准确率。
[0016]根据第一方面，在一种可能的实施方式中，所述每个视频包括多帧图像，所述基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹，包括：
[0017]基于所述每个视频的至少一个目标商品的检测结果，确定所述多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间的相似度；
[0018]基于所述相似度，确定所述每个视频的至少一个目标商品的移动轨迹。
[0019]本公开实施例中，基于目标商品的相似度确定移动轨迹，可以更加准确地确定用户拿取目标商品的移动轨迹，避免误判的情况发生。
[0020]根据第一方面，在一种可能的实施方式中，所述基于每个视频的至少一个目标商品的移动轨迹，确定所述每视频的至少一个目标商品的移动状态，包括：
[0021]确定所述每个视频的每帧图像中的检测线的位置，所述检测线位于所述自助售货装置的一侧，且与所述自助售货装置的距离在预设范围内；
[0022]基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态。
[0023]本公开实施例中，通过检测线以及目标商品的移动轨迹确定目标商品的移动状态，可以更加准确地判断用户将商品拿走还是放回，进而提高了目标商品的轨迹确认精度，提升了用户的自助购买体验。
[0024]根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态，包括：
[0025]基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的位移变化状态；
[0026]统计所述每个视频的至少一个目标商品的位移变化状态符合预设变化状态的次数；
[0027]基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态。
[0028]本公开实施例中，通过对目标商品的位移变化状态符合预设变化状态的次数进行统计来确定目标商品的移动状态，可以使得目标商品的移动状态确定更加准确。
[0029]根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商品的移动状态，包括：
[0030]在所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数为奇数的情况下，确定所述每个视频的至少一个目标商品的移动状态为离开所述自助售卖装置的移动状态。
[0031]本公开实施例中，若目标商品的位移变化状态的次数为奇数则目标商品的移动状
态为离开所述自助售卖装置的移动状态，可以确定所述目标商品被拿走，有效地避免遗漏交易物品的情况发生。
[0032]根据第一方面，在一种可能的实施方式中，所述预设变化状态是指所述目标商品从第一状态变化至第二状态，或者所述目标商品从所述第二状态变化至所述第一状态；所述第一状态是指所述目标商品与所述自助售货装置位于所述检测线的同侧的状态，所述第二状态是指所述目标商品与所述自助售货装置分别位于所述检测线两侧的状态。
[0033]根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息，包括：
[0034]基于所述每个视频内的至少一个目标商品的移动状态，生成所述每个视频的交易信息；
[0035]基于所述每个视频的交易信息，生成所述用户的交易信息。
[0036]本公开实施例中，先确定每个视频的交易信息，然后将每个视频的交易信息进行融合，生成用户交易信息，如此，可以得到用户完整的交易信息。
[0037]根据第一方面，在一种可能的实施方式中，所述基于所述每个视频的交易信息，生成所述用户的交易信息，包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自助交易方法，其特征在于，包括：获取分别通过不同摄像装置采集的用户在自助售货装置拿取商品的视频；对各个视频中的图像进行目标检测，得到各个视频的至少一个目标商品的检测结果；基于每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动状态；基于所述每个视频的至少一个目标商品的移动状态，生成所述用户的交易信息。2.根据权利要求1所述的方法，其特征在于，所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息以及所述目标商品的检测结果的置信度中的至少一种。3.根据权利要求1或2所述的方法，其特征在于，所述基于每个视频的至少一个目标商品的检测结果，确定所述每视频的至少一个目标商品的移动状态，包括：基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹；基于所述每个视频内的至少一个目标商品的移动轨迹，确定所述每个视频的至少一个目标商品的移动状态。4.根据权利要求3所述的方法，其特征在于，所述每个视频包括多帧图像，所述基于所述每个视频的至少一个目标商品的检测结果，确定所述每个视频的至少一个目标商品的移动轨迹，包括：基于所述每个视频的至少一个目标商品的检测结果，确定所述多帧图像中的当前帧图像的至少一个目标商品与所述多帧图像中除所述当前帧之外的其他帧图像的至少一个目标商品之间的相似度；基于所述相似度，确定所述每个视频的至少一个目标商品的移动轨迹。5.根据权利要求3或4所述的方法，其特征在于，所述基于每个视频的至少一个目标商品的移动轨迹，确定所述每视频的至少一个目标商品的移动状态，包括：确定所述每个视频的每帧图像中的检测线的位置，所述检测线位于所述自助售货装置的一侧，且与所述自助售货装置的距离在预设范围内；基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态。6.根据权利要求5所述的方法，其特征在于，所述基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的移动状态，包括：基于所述每个视频的至少一个目标商品的移动轨迹以及所述每个视频的每帧图像中的检测线，确定所述每个视频的至少一个目标商品的位移变化状态；统计所述每个视频的至少一个目标商品的位移变化状态符合预设变化状态的次数；基于所述每个视频的至少一个目标商品的位移变化状态符合所述预设变化状态的次数，确定所述每个视频内的至少一个目标商...

【专利技术属性】
技术研发人员：罗棕太，伊帅，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：