【技术实现步骤摘要】
本申请涉及信息处理，尤其涉及一种行为信息的识别方法、设备和存储介质。
技术介绍
1、随着信息技术、人工智能技术的不断突破以及成熟落地，新零售业务也不断向着便捷化、智能化方向发展。自助收银设备能够让顾客以自助的方式扫描商品、结账，免去排队过程，解放收银员与收银之间一对一的束缚关系，目前已成功在各类商超卖场部署落地。自助收银给商家带来了效率的提升以及良好的客户购物体验，以自助收银为主的结账模式逐步替代以人工收银为主的模式。
2、但自助收银设备的部署同时给商超卖场带来了更多的盗损问题，商超卖场为了防止盗损事件的发生，需要安排额外的人力进行实时监督顾客自助操作，造成资源的浪费。
3、目前自助收银系统的各个硬件厂商以及算法软件厂商都在积极研发自动防损功能，以期能够通过机器自动地甄别盗损事件的发生，并及时处置挽回损失。但是目前各类方案实际执行中识别准确度较低，无法满足商超卖场客户的使用需求。
技术实现思路
1、本申请实施例的主要目的在于提供一种行为信息的识别方法、设备和存储介质，实现了结合图像深度信息以获得跟踪对象更佳准确的跟踪轨迹，从而提高风险行为识别的准确性，提高用户体验。
2、第一方面，本申请实施例提供一种行为信息的识别方法，包括：获取目标区域内的原始图像和所述原始图像对应的深度信息；根据所述原始图像和所述深度信息，确定所述目标区域中至少一个待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹；根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理
3、于一实施例中，所述获取目标区域内的原始图像和所述原始图像对应的深度信息，包括：通过预设双目相机获取所述目标区域在不同视角下的至少两个原始图像，其中，所述目标区域在所述双目相机的拍摄范围内；根据所述至少两个原始图像进行双目测距处理，确定所述原始图像的深度信息；和/或，通过预设深度相机获取所述目标区域原始图像，所述原始图像包括深度信息。
4、于一实施例中，所述根据所述原始图像和所述深度信息，确定所述目标区域中至少一个待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹，包括：根据所述原始图像和所述深度信息，识别出所述目标区域中包含的至少一个待处理物品和/或用户的关键肢体部位；根据所述原始图像和所述深度信息对每个所述待处理物品进行轨迹跟踪，生成每个所述待处理物品的所述第一运动轨迹；和/或，根据所述原始图像和所述深度信息对所述关键肢体部位进行轨迹跟踪，得到所述关键肢体部位的第二运动轨迹。
5、于一实施例中，所述根据所述原始图像和所述深度信息，识别出所述目标区域中包含的至少一个待处理物品，包括：对所述原始图像进行分类识别，确定所述原始图像中第一物品的位置；将所述第一物品的位置与所述深度信息进行位置匹配，确定所述深度信息中未落入所述第一物品的位置范围内的目标像素区域；根据所述深度信息确定所述目标像素区域对应的第二物品的位置，所述待处理物品包括所述第一物品和所述第二物品。
6、于一实施例中，所述根据所述深度信息确定所述目标像素区域对应的第二物品的位置，包括：对所述目标像素区域中的像素点进行位置聚合，将相邻位置并且深度值相同的像素点归为相同的聚合区域，得到所述目标像素区域对应的至少一个聚合区域；针对每个所述聚合区域，计算所述聚合区域的最大外接矩形框，将所述最大外接矩形框确定为识别出的新对象位置，根据所述新对象位置确定所述目标像素区域对应的所述第二物品的位置。
7、于一实施例中，所述根据所述新对象位置确定所述目标像素区域对应的所述第二物品的位置，包括：对所述新对象位置进行筛选，去除冗余对象的位置，将筛选后的新对象位置确定为所述目标像素区域对应的所述第二物品的位置，其中所述冗余对象包括：背景对象、位置范围大于第一阈值的对象和/或位置单位小于第二阈值的对象中的一个或多个，所述第一阈值大于所述第二阈值。
8、于一实施例中，所述原始图像包括所述目标区域的图像序列；所述根据所述原始图像和所述深度信息对每个所述待处理物品进行轨迹跟踪，生成每个所述待处理物品的所述第一运动轨迹，包括：针对所述图像序列中的当前帧图像，将所述待处理物品在所述当前帧图像中的当前位置与对应的所述深度信息进行位置匹配，确定所述当前位置范围内所有像素点的深度值集合；将所述深度值集合中占比最大的深度值确定为所述待处理物品在所述当前帧图像中的当前深度信息；根据所述当前位置和所述当前深度信息生成所述待处理物品在所述当前帧图像中的轨迹位置信息；统计所述待处理物品在所述图像序列中的轨迹位置信息集合，根据所述轨迹位置信息集合生成所述待处理物品对应的所述第一运动轨迹。
9、于一实施例中，所述根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的当前物品，包括：根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的候选物品；若所述候选物品为一个，将所述候选物品确定为所述当前物品；若所述候选物品为多个，将多个所述候选物品按照对应深度值从小到大排序，将排序在前预设名次的候选物品确定为所述当前物品。
10、于一实施例中，所述根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的候选物品，包括：根据所述第一运动轨迹中所述待处理物品的位置和所述第二运动轨迹中所述关键肢体部位的位置，分别计算每个所述待处理物品与所述关键肢体部位之间的重叠度；将对应所述重叠度大于预设阈值的待处理物品，确定为与所述关键肢体部位存在交叠的候选物品；和/或，根据所述第二运动轨迹确定所述关键肢体部位的中心点位置，将对应位置范围内包含所述中心点位置的待处理物品，确定为与所述关键肢体部位存在交叠的候选物品。
11、于一实施例中，所述响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为，包括：若根据所述当前物品的目标运动轨迹和所述第二运动轨迹判定所述当前物品被实施了扫码行为，根据所述当前订单信息判断是否接收到所述当前物品的扫码信息，若未接收到所述当前物品的扫码信息，确定所述当前物品存在异常行为；
12、于一实施例中，所述方法还包括：根据所述原始图像，检测所述目标区域中存在的包袋位置；所述响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为，包括：若根据所述当前物品的目标运动轨迹和所述包袋位置判定所述当前物品被实施了装包行为，根据所述当前订单信息判断是否接收到关于所述当前物品的编码录入信息，若未接收到所述当前物品的编码录入信息，确定所述当前物品存在异常行为；
13、于一实施例中，所述响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当本文档来自技高网...
【技术保护点】
1.一种行为信息的识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取目标区域内的原始图像和所述原始图像对应的深度信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像和所述深度信息，确定所述目标区域中至少一个待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述原始图像和所述深度信息，识别出所述目标区域中包含的至少一个待处理物品，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述深度信息确定所述目标像素区域对应的第二物品的位置，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述新对象位置确定所述目标像素区域对应的所述第二物品的位置，包括：
7.根据权利要求3所述的方法，其特征在于，所述原始图像包括所述目标区域的图像序列；所述根据所述原始图像和所述深度信息对每个所述待处理物品进行轨迹跟踪，生成每个所述待处理物品的所述第一运动轨迹，包括：
8.根据权利要求1所
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的候选物品，包括：
10.根据权利要求1所述的方法，其特征在于，所述响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为，包括：
11.一种行为信息的识别方法，其特征在于，应用于自助收银系统，所述系统包括收银区域和深度图像采集器，所述收银区域在所述深度图像采集器的拍摄范围内，所述方法包括：
12.一种电子设备，其特征在于，包括：
13.一种云设备，其特征在于，包括：
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-11任一项所述的方法。
...【技术特征摘要】
1.一种行为信息的识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取目标区域内的原始图像和所述原始图像对应的深度信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像和所述深度信息，确定所述目标区域中至少一个待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述原始图像和所述深度信息，识别出所述目标区域中包含的至少一个待处理物品，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述深度信息确定所述目标像素区域对应的第二物品的位置，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述新对象位置确定所述目标像素区域对应的所述第二物品的位置，包括：
7.根据权利要求3所述的方法，其特征在于，所述原始图像包括所述目标区域的图像序列；所述根据所述原始图像和所述深度信息对每个所述待处理物品进行轨迹跟踪，生成每个所述待处理物品的所述第一运动轨迹，包括...
【专利技术属性】
技术研发人员：宋靖东，冯雪涛，王炎，
申请(专利权)人：浙江深象智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。