【技术实现步骤摘要】
一种基于视觉的拿放货架商品行为检测方法
[0001]本专利技术涉及计算机视觉
，具体为一种基于视觉的拿放货架商品行为检测方法
。
技术介绍
[0002]计算机视觉是研究如何使计算机能够从图像或视频中获取
、
分析和理解视觉信息的领域，基于视觉的拿放货架商品行为检测方法通过分析货架上商品的摆放和移动情况，利用计算机视觉算法实现对拿取和放置行为的检测和识别
。
[0003]市场上存在的拿放货架商品行为的检测，多是采用监控相机对现场进行监控，而监控相机只能简单的对顾客进行简单的拍摄，并在超市发生盗窃可以帮助锁定可疑人物，此时的弊端在于：可能会将正常的行为误判为拿放行为，或者未能检测到真实的拿放行为，其次，人体姿态和行为具有多样性和复杂性，监控装置无法从静态图像中准确推断出具体的动作细节，为解决上述问题，一种基于视觉的拿放货架商品行为检测方法，亟待开发
。
技术实现思路
[0004]本专利技术的目的在于提供一种基于视觉的拿放货架商品行为检测方法，具备可以判断行人拿...
【技术保护点】
【技术特征摘要】
1.
一种基于视觉的拿放货架商品行为检测方法，其特征在于，包括如下步骤：
S1
：监控相机从斜向下的角度从侧面拍摄货架的视频，该角度最有利于人体与货架的互动分析，图像经过解码后发送给人体检测模块，由于人员拿放商品的过程可能很短，为降低漏检率，本方案采用较高的采样率，在计算资源支持的情况下采样率可大于3帧
/
秒；
S2
：接收到实时图像后，人体检测器检测图像上所有人体区域，滤掉得分过低的人体，并根据人体检测框宽高比，高度和下边框位置筛剔除被货架遮挡的人体；
S3
：对筛选过的人体区域，进行人体跟踪，首先对人体区域图像进行特征提取，特征提取可以采用公开的基于深度学习的
ReID
模型，之后用每帧新检测到的人体创建多个新的轨迹，之后用聚类算法将这些新轨迹与历史轨迹合并，并剔除长时间未更新的轨迹，从而得到当前帧的所有行人跟踪轨迹；
S4
：计算人体与各个货架底边距离，并从人体底边的中点向货架底边作垂线，如果交点的
x
，
y
坐标均在货架底边端点的
x
，
y
坐标范围内，则人体处于该货架的范围内，记录每个人体与各个货架的距离；
S5
：对所有处于货架范围内的人体区域图像进行预处理，包括归一化与缩放到固定尺寸；
S6
：采用
3d
人体姿态估计模型生成人体姿态参数，模型的输入为预处理后的人体
2d
图像，输出为
3d
人体全局旋转矩阵与人体关节点旋转矩阵，人体形态参数与相机参数，人体姿态估计模型可采用
HMR
等公开的
3d
重建算法，之后用
SMPL
模型生成人体蒙皮与关节点位置，该模型的输入为人体全局旋转矩阵，人体关节点旋转矩阵，人体形态参数，输出为归一化的
3d
关节点坐标和归一化的
3d
蒙皮坐标，最后用人体全局旋转矩阵点乘人体静止时的
3d
法向量，可以得到人体的朝向；
S7
：找与行人对应的货架， 取距离人体最近的两个货架，当两个货架法向量方向相近的时候，选与人体距离最小的货架，当法向量相反时，选与人体法向量夹角最大的货架；
S8
：判断人体是否有拿放动作，如果人体做出特定的人体姿态，则可视为一次拿放；
S9
：每条轨迹中出现一次拿放后，如果在
n
帧内出现第二次，则算作一次完整的拿放，每条轨迹均有一个缓...
【专利技术属性】
技术研发人员：杨赛，柴兆虎，林宇，赵宇迪，施侃，
申请(专利权)人：上海数川数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。