【技术实现步骤摘要】
数据关联方法、装置、设备及存储介质
本申请涉及到数据处理
，尤其涉及计算机视觉技术。
技术介绍
随着计算机视觉技术的成熟，基于计算机视觉的无人零售领域也得到了快速发展。在无人零售场景中需要将货架上物品发生变化的操作与拿取物品的用户关联起来,称为人货数据的关联技术。现有技术中,在进行人货数据的关联时,采用的是单个深度摄像头采集拿取物品用户关键部位在图像中的位置信息和深度信息。若该拿取物品用户被遮挡的情况下，采集的关键部位的图像中的位置信息和深度信息都不够准确，导致确定出的该拿取物品用户关键部位在无人零售的三维场景中的位置信息也不够准确，进而无法准确将人货数据进行关联，最终导致在无人零售场景中无法准确地确定出每个物品的拿取者。
技术实现思路
本申请实施例提供一种数据关联方法、装置、设备及存储介质，解决了现有技术中无法准确将人货数据进行关联，最终导致在无人零售场景中无法准确地确定出每个物品的拿取者的技术问题。本申请实施例第一方面提供一种数据关联方法，所述方法应用于电子设备，电子设备...
【技术保护点】
1.一种数据关联方法，其特征在于，所述方法应用于电子设备，电子设备与多个深度视觉传感器进行通信，所述深度视觉传感器设置在预设三维场景内，所述预设三维场景内还包括目标物品和至少一个用户，所述方法包括：/n若监测到用户拿取所述目标物品，则获取拿取所述目标物品时对应的多个目标深度视觉传感器采集的二维图像；/n根据各二维图像及映射参数确定对应的目标三维场景点云数据；/n根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；/n根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户；/n将所述目标物品与所述目标用户进行关联。/n
【技术特征摘要】
1.一种数据关联方法，其特征在于，所述方法应用于电子设备，电子设备与多个深度视觉传感器进行通信，所述深度视觉传感器设置在预设三维场景内，所述预设三维场景内还包括目标物品和至少一个用户，所述方法包括：
若监测到用户拿取所述目标物品，则获取拿取所述目标物品时对应的多个目标深度视觉传感器采集的二维图像；
根据各二维图像及映射参数确定对应的目标三维场景点云数据；
根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；
根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户；
将所述目标物品与所述目标用户进行关联。
2.根据权利要求1所述的方法，其特征在于，所述根据各二维图像及映射参数确定对应的目标三维场景点云数据，包括：
获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置；
将所述各二维图像按照对应的内外参数和在预设三维场景中的位置映射到预设三维场景坐标系中，以获得对应的目标三维场景点云数据。
3.根据权利要求1所述的方法，其特征在于，所述根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置，包括：
将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，以通过所述第一已训练至收敛的位置检测模型对各用户关键部位在预设三维场景中的位置进行检测；
通过所述第一已训练至收敛的位置检测模型输出各用户关键部位在预设三维场景中的位置。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中之前，还包括：
采用第一训练样本对所述第一初始位置检测模型进行训练；所述第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据；
若确定满足第一训练收敛条件，则将满足第一训练收敛条件的第一初始位置检测模型确定为所述第一已训练至收敛的位置检测模型。
5.根据权利要求1所述的方法，其特征在于，所述根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户，包括：
获取目标物品位置；
根据各用户关键部位在预设三维场景中的位置与所述目标物品位置确定各用户关键部位与所述目标物品的距离；
将距离最小的用户确定为所述目标用户。
6.根据权利要求1所述的方法，其特征在于，所述将所述目标物品与所述目标用户进行关联，包括：
获取所述目标用户的标识信息和所述目标物品的标识信息；
将所述目标用户的标识信息和所述目标物品的标识信息进行关联。
7.根据权利要求6所述的方法，其特征在于，所述根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户之后，还包括：
根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置；
确定与目标用户头部在预设三维场景中的位置相匹配的目标用户的人体位置；
根据所述目标用户的人体位置与目标用户的标识信息的映射关系确定所述目标用户的标识信息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置，包括：
将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，以通过所述第二已训练至收敛的位置检测模型对目标用户头部在预设三维场景中的位置进行检测；
通过所述第二已训练至收敛的位置检测模型输出目标用户头部在预设三维场景中的位置。
9.根据权利要求8所述的方法，其特征在于，所述将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中之前，还包括：
采用第二训练样本对所述第二初始位置检测模型进行训练；所述第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据；
若确定满足第二训练收敛条件，则将满足第二训练收敛条件的第二初始位置检测模型确定为所述第二已训练至收敛的位置检测模型。
10.根据权利要求1所述的方法，其特征在于，所述将所述目标物品与所述目标用户进行关联之后，还包括：
若监测到满足清单生成条件，则获取目标物品对应的清单信息；
将所述清单信息发送给所述目标用户的终端设备。
11.一种数据关联装置，其特征在于，所述装置位于电子设备中，电子设备与多个深度视觉传感器...
【专利技术属性】
技术研发人员：罗宇轩，亢乐，包英泽，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。