一种货架姿态预估方法技术

本发明专利技术公开了一种货架姿态预估方法，涉及图像处理领域，采用卷积神经网络训练模型并预估货架的三维欧拉角，模型包括货架层检测分支和姿态预估分支，训练时层检测分支与姿态预估分支一起进行正向传播和反向传播学习模型，预测时直接使用姿态预估分支进行预估推理。本发明专利技术实现了完全端到端的学习和预测，无需人工事先测试再设置相关阈值，可根据场景类型在手机端实时推理或推送至服务中心处理，实现了快速精准的三维欧拉角预测。

【技术实现步骤摘要】
一种货架姿态预估方法
本专利技术涉及图像处理领域，尤其涉及一种货架姿态预估方法。
技术介绍
零售场景中，不规范的拍照方式产生的诸如货架姿态偏角较大等造成大量低质量的图片，对后续图像分析(商品检测、识别等)造成很大影响。对于零售货架场景图片，有多种衡量图片质量的方法，例如模糊度、曝光度、是否翻拍等。这些对图片中商品的检测和识别有影响，平行平面假设(fronto-parallelviewassumption)是假定拍摄平面平行于被拍摄物体表面。当业务人员站在货架一侧以较斜角度拍摄货架，或者站的较高往下俯拍，这就破坏了平行平面假设，则产生了低质照片。这往往会通过以下方法部分解决:1.从采集的数据中抽样，专门的图片质量审核人员进行审核；2.对图像提取直线片段，使用RANSAC算法估计水平和竖直方向消失点(vanishingpoint)，根据水平消失点的位置判断是否是倾斜拍摄的。例如规定消失点位于一倍图宽范围内属于严重侧拍造成的；其次计算消失点与图中心点组成的直线和经过图中心点的水平线或垂直线的夹角，再设置阈值判别。...

【技术保护点】
1.一种货架姿态预估方法，其特征在于，包括以下步骤：/n步骤1：采集学习数据；/n步骤2：采用卷积神经网络训练模型；/n步骤3：利用所述模型，推理货架的三维欧拉角。/n

【技术特征摘要】
1.一种货架姿态预估方法，其特征在于，包括以下步骤：
步骤1：采集学习数据；
步骤2：采用卷积神经网络训练模型；
步骤3：利用所述模型，推理货架的三维欧拉角。


2.如权利要求1所述的货架姿态预估方法，其特征在于，所述步骤1包括：
步骤11：拍摄货架照片；
步骤12：使用旋转矩形标注货架层；
步骤13：标注货架的三维欧拉角。


3.如权利要求2所述的货架姿态预估方法，其特征在于，所述模型包括货架层检测分支和姿态预估分支。


4.如权利要求3所述的货架姿态预估方法，其特征在于，所述货架层检测分支采用辅助监督学习。


5.如权利要求4所述的货架姿态预估方法，其特征在于，所述辅助监督学习的货架层检测损失函数为：



其中，N表示候选框数量；
x，y是矩形左上点的坐标，w，h是矩形的宽和高，θ表示矩形旋转的角度；
t′n取值为0或1，分别表示前景和背景；
v'*j表示预测框的偏移向量，v*j表示真实框的偏移向量；<...

【专利技术属性】
技术研发人员：金涛，
申请(专利权)人：上海零眸智能科技有限公司，
类型：发明
国别省市：上海;31