商品识别方法及装置制造方法及图纸

本申请公开了商品识别方法及装置，涉及无人零售商品识别领域。具体实现方案为：获取商店中各个摄像头拍摄得到的视频；针对每个视频，对视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；参与用户包括：传递发起用户和传递接收用户；将视频段输入预设的传递行为识别模型，获取识别结果，识别结果包括：传递的商品，以及对应的传递概率；根据识别结果，对参与用户的携带商品信息进行更新，从而实现对用户之间的商品传递行为进行识别，确保记在用户名下的商品与实际相符，提高了商品识别效率。

【技术实现步骤摘要】
商品识别方法及装置
本申请涉及图像处理
，具体涉及无人零售商品识别领域，尤其涉及商品识别方法及装置。
技术介绍
目前，智慧零售店中，在货架上设置有重力传感器和摄像头，识别顾客从货架上拿取了什么商品，但难以对顾客之间的商品传递行为进行识别，导致记在顾客名下的商品与实际不符，导致结账金额不准确。
技术实现思路
本申请提出一种商品识别方法及装置，通过对顾客之间的商品传递行为进行识别，确保记在顾客名下的商品与实际相符，提高了商品识别效率。本申请一方面实施例提出了一种商品识别方法，包括：获取商店中各个摄像头拍摄得到的视频；针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；所述参与用户包括：传递发起用户和传递接收用户；将所述视频段输入预设的传递行为识别模型，获取识别结果，所述识别结果包括：传递的商品，以及对应的传递概率；根据所述识别结果，对所述参与用户的携带商品信息进行更新。在本申请一个实施例中，所述针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户，包括：针对每个视频，对所述视频中的每帧图像进行识别，获取识别到传递商品动作的至少一个第一图像；将所述至少一个第一图像按照时间点进行排序，将排序结果中对应的时间点差值小于预设差值阈值的相邻第一图像聚合在一起，得到至少一个视频段；确定所述视频段对应的参与用户。在本申请一个实施例中，所述确定所述视频段对应的参与用户，包括：获取所述视频段中每帧图像对应的深度信息；根据所述视频段中的每帧图像以及对应的深度信息，确定所述视频段中每帧图像的点云信息；根据所述视频段中每帧图像的点云信息，以及所述商店中各个用户的点云信息，确定所述视频段对应的参与用户。在本申请一个实施例中，所述传递行为识别模型对视频段的处理过程为，获取所述视频段中的传递前图像、传递中图像以及传递后图像；对所述传递前图像进行识别，确定传递前传递发起用户所拿取的商品以及对应的识别概率；对所述传递中图像进行识别，确定传递中传递发起用户和传递接收用户同时拿取的商品以及对应的识别概率；对所述传递后图像进行识别，确定传递后传递接收用户所拿取的商品以及对应的识别概率；根据传递前传递发起用户所拿取的商品以及对应的识别概率、传递中传递发起用户和传递接收用户同时拿取的商品以及对应的识别概率、传递后传递接收用户所拿取的商品以及对应的识别概率，确定传递的商品以及对应的传递概率。在本申请一个实施例中，所述根据所述识别结果，对所述参与用户的携带商品信息进行更新，包括：获取所述识别结果中的最大传递概率对应的第一商品；对所述传递发起用户的携带商品信息中的第一商品信息进行删除处理；在所述传递接收用户的携带商品信息中添加所述第一商品信息。本申请实施例的商品识别方法，通过获取商店中各个摄像头拍摄得到的视频；针对每个视频，对视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；参与用户包括：传递发起用户和传递接收用户；将视频段输入预设的传递行为识别模型，获取识别结果，识别结果包括：传递的商品，以及对应的传递概率；根据识别结果，对参与用户的携带商品信息进行更新，从而实现对用户之间的商品传递行为进行识别，确保记在用户名下的商品与实际相符，提高了商品识别效率。本申请另一方面实施例提出了一种商品识别装置，包括：获取模块，用于获取商店中各个摄像头拍摄得到的视频；识别模块，用于针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；所述参与用户包括：传递发起用户和传递接收用户；输入模块，用于将所述视频段输入预设的传递行为识别模型，获取识别结果，所述识别结果包括：传递的商品，以及对应的传递概率；更新模块，用于根据所述识别结果，对所述参与用户的携带商品信息进行更新。在本申请一个实施例中，所述识别模块具体用于，针对每个视频，对所述视频中的每帧图像进行识别，获取识别到传递商品动作的至少一个第一图像；将所述至少一个第一图像按照时间点进行排序，将排序结果中对应的时间点差值小于预设差值阈值的相邻第一图像聚合在一起，得到至少一个视频段；确定所述视频段对应的参与用户。在本申请一个实施例中，所述识别模块具体用于，获取所述视频段中每帧图像对应的深度信息；根据所述视频段中的每帧图像以及对应的深度信息，确定所述视频段中每帧图像的点云信息；根据所述视频段中每帧图像的点云信息，以及所述商店中各个用户的点云信息，确定所述视频段对应的参与用户。在本申请一个实施例中，所述传递行为识别模型对视频段的处理过程为，获取所述视频段中的传递前图像、传递中图像以及传递后图像；对所述传递前图像进行识别，确定传递前传递发起用户所拿取的商品以及对应的识别概率；对所述传递中图像进行识别，确定传递中传递发起用户和传递接收用户同时拿取的商品以及对应的识别概率；对所述传递后图像进行识别，确定传递后传递接收用户所拿取的商品以及对应的识别概率；根据传递前传递发起用户所拿取的商品以及对应的识别概率、传递中传递发起用户和传递接收用户同时拿取的商品以及对应的识别概率、传递后传递接收用户所拿取的商品以及对应的识别概率，确定传递的商品以及对应的传递概率。在本申请一个实施例中，所述更新模块具体用于，获取所述识别结果中的最大传递概率对应的第一商品；对所述传递发起用户的携带商品信息中的第一商品信息进行删除处理；在所述传递接收用户的携带商品信息中添加所述第一商品信息。本申请实施例的商品识别装置，通过获取商店中各个摄像头拍摄得到的视频；针对每个视频，对视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；参与用户包括：传递发起用户和传递接收用户；将视频段输入预设的传递行为识别模型，获取识别结果，识别结果包括：传递的商品，以及对应的传递概率；根据识别结果，对参与用户的携带商品信息进行更新，从而实现对用户之间的商品传递行为进行识别，确保记在用户名下的商品与实际相符，提高了商品识别效率。本申请另一方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例的商品识别方法。本申请另一方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例的商品识别方法。本申请另一方面实施例提出了商品识别方法，包括：获取商店中各个摄像头拍摄得到的视频；针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户和传递的商品；所述参与用户包括：传递发起用户和传递接收用户；根据所述参与用户和传递的商品，对所述参与用户的携带商品信息进行更新。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请第一实施本文档来自技高网...

【技术保护点】
1.一种商品识别方法，其特征在于，包括：/n获取商店中各个摄像头拍摄得到的视频；/n针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；所述参与用户包括：传递发起用户和传递接收用户；/n将所述视频段输入预设的传递行为识别模型，获取识别结果，所述识别结果包括：传递的商品，以及对应的传递概率；/n根据所述识别结果，对所述参与用户的携带商品信息进行更新。/n

【技术特征摘要】
1.一种商品识别方法，其特征在于，包括：
获取商店中各个摄像头拍摄得到的视频；
针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；所述参与用户包括：传递发起用户和传递接收用户；
将所述视频段输入预设的传递行为识别模型，获取识别结果，所述识别结果包括：传递的商品，以及对应的传递概率；
根据所述识别结果，对所述参与用户的携带商品信息进行更新。


2.根据权利要求1所述的方法，其特征在于，所述针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户，包括：
针对每个视频，对所述视频中的每帧图像进行识别，获取识别到传递商品动作的至少一个第一图像；
将所述至少一个第一图像按照时间点进行排序，将排序结果中对应的时间点差值小于预设差值阈值的相邻第一图像聚合在一起，得到至少一个视频段；
确定所述视频段对应的参与用户。


3.根据权利要求2所述的方法，其特征在于，所述确定所述视频段对应的参与用户，包括：
获取所述视频段中每帧图像对应的深度信息；
根据所述视频段中的每帧图像以及对应的深度信息，确定所述视频段中每帧图像的点云信息；
根据所述视频段中每帧图像的点云信息，以及所述商店中各个用户的点云信息，确定所述视频段对应的参与用户。


4.根据权利要求1所述的方法，其特征在于，所述传递行为识别模型对视频段的处理过程为，
获取所述视频段中的传递前图像、传递中图像以及传递后图像；
对所述传递前图像进行识别，确定传递前传递发起用户所拿取的商品以及对应的识别概率；
对所述传递中图像进行识别，确定传递中传递发起用户和传递接收用户同时拿取的商品以及对应的识别概率；
对所述传递后图像进行识别，确定传递后传递接收用户所拿取的商品以及对应的识别概率；
根据传递前传递发起用户所拿取的商品以及对应的识别概率、传递中传递发起用户和传递接收用户同时拿取的商品以及对应的识别概率、传递后传递接收用户所拿取的商品以及对应的识别概率，确定传递的商品以及对应的传递概率。


5.根据权利要求1所述的方法，其特征在于，所述根据所述识别结果，对所述参与用户的携带商品信息进行更新，包括：
获取所述识别结果中的最大传递概率对应的第一商品；
对所述传递发起用户的携带商品信息中的第一商品信息进行删除处理；
在所述传递接收用户的携带商品信息中添加所述第一商品信息。


6.一种商品识别装置，其特征在于，包括：
获取模块，用于获取商店中各个摄像头拍摄得到的视频；
识别模块，用于针对每个视频，对所述视频进行识别，获取识别到传递商品动作的视频段，以及对应的参与用户；所述参与用户包括：传递发起用户和传递接收用户；
输入模块，用于将所述视频段输入预设的传递行为识别模型，获取识别结果，所述识别结果包括：...

【专利技术属性】
技术研发人员：亢乐，包英泽，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：美国;US