一种冰柜图像完整性识别方法及系统技术方案

本发明专利技术公开了一种冰柜图像完整性识别方法及系统，涉及图像识别技术领域，解决了冰柜图像的拍摄容易存在柜格完整性的问题，导致识别准确性较差的技术问题。该方法包括以下步骤：基于冰柜样本图像、冰柜标签、柜格标签得到柜格检测模块；将待识别冰柜图像输入柜格检测模块，输出冰柜图像、柜格标注图像，通过同名点提取模块筛选出参考柜格图像；将参考柜格图像去畸变前后的四组顶点坐标组成四组同名点，输入透视畸变矫正模块解得透视变换矩阵，得到去畸变冰柜图像；基于去畸变冰柜图像及柜格坐标，不完整柜格检测模块得到识别结果。本发明专利技术对冰柜图像拍摄完整性的识别不受透视畸变影响，从而识别精度更高，场景适用度更好。场景适用度更好。场景适用度更好。

【技术实现步骤摘要】
一种冰柜图像完整性识别方法及系统


[0001]本专利技术涉及图像识别
，尤其涉及一种冰柜图像完整性识别方法及系统。

技术介绍

[0002]在深度分销模式下，冰柜等制冷设备可以显著提高饮料销量。因此，大型饮料企业将大量冰柜分配到终端门店，为旗下产品陈列份额提供硬件保障。通常，饮料企业会要求冰柜陈列SKU（Stock Keeping Unit，最小存货单位）的90%~100%为旗下产品。但真实场景中，旗下产品经常会被利润更高的其他新品取代，所以能够达到这个标准的门店很少。随着AI（Artificial Intelligence，人工智能）技术的发展，饮料企业逐渐采用AI平台快速计算本品纯净度、冰柜占比、冰柜饱满度等考察指标，以指导业务员及时做出调整，并结合大数据分析提升销量。
[0003]在进行AI审核之前，需要向AI平台提供冰柜的照片，通过AI技术来解决海量图片的审核问题。目前是由业务员进店拍摄冰柜照片，然后通过手机APP等方式上传到AI平台，实现对冰柜照片的审核。这个过程中，照片的质量完全由业务员把控。在实际执行过程中，业务员的拍摄行为很难被统一约束，经常出现拍摄距离过近、没有正拍等情况，导致拍摄的冰柜图像尤其是柜格部分的图像不完整，严重影响AI识别结果的准确性。
[0004]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：冰柜图像的拍摄容易存在柜格完整性的问题，导致AI平台识别结果的准确性较差，无法快速准确获取特定饮料所需的各种指标。

技术实现思路

[0005]本专利技术的目的在于提供一种冰柜图像完整性识别方法及系统，以解决现有技术中存在的冰柜图像的拍摄容易存在柜格完整性的问题，导致AI平台识别结果的准确性较差，无法快速准确获取特定饮料所需的各种指标的技术问题。本专利技术提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
[0006]为实现上述目的，本专利技术提供了以下技术方案：本专利技术提供的一种冰柜图像完整性识别方法，用于对待识别冰柜图像中冰柜柜格拍摄的完整性进行检测，包括以下步骤：S100：获取多张已拍摄的冰柜样本图像，并对每张所述冰柜样本图像中的冰柜整体进行标注得到冰柜标签、每个柜格进行标注得到柜格标签，基于所述冰柜样本图像、冰柜标签、柜格标签进行训练得到柜格检测模块；S200：将所述待识别冰柜图像输入所述柜格检测模块，输出冰柜图像、以及对柜格进行标注后的多个柜格标注图像，通过同名点提取模块筛选出符合条件的所述柜格标注图像作为参考柜格图像；S300：将所述参考柜格图像去畸变前后的四组顶点坐标组成四组同名点，并输入透视畸变矫正模块解得透视变换矩阵，通过所述透视变换矩阵对所述冰柜图像去畸变，得到去畸变冰柜图像；S400：基于所述去畸变冰柜图像及柜格坐标，不完整柜格检测模块对所述待识别冰柜图像的冰柜柜格拍摄完整性进行判断，得到识别结果。
[0007]优选的，所述S100步骤中，所述柜格检测模块采用Hourglass或HRNet关键点检测算法。
[0008]优选的，所述S200步骤中，所述同名点提取模块的筛选过程中，将距离所述冰柜图像的任意一条边的距离小于M个像素的对应柜格、以及最上层柜格和最下层柜格进行排除。
[0009]优选的，所述S200步骤中，在所述参考柜格图像中，将左上角和左下角之间中点到右上角和右下角之间中点的距离作为所述参考柜格图像的宽度，将左上角和右上角之间中点到左下角和右下角之间中点的距离作为所述参考柜格图像的高度，得到去畸变后的所述参考柜格图像的尺寸。
[0010]优选的，所述S200步骤中，所述参考柜格图像的四个顶点坐标的平均值为去畸变时的固定点(x
c
,y
c
)，去畸变后所述参考柜格图像的宽度为w、高度为h，去畸变后所述参考柜格图像的四个顶点坐标分别为：(x
c
‑
0.5w,y
c
‑
0.5h)、(x
c
+0.5w,y
c
‑
0.5h)、(x
c
+0.5w,y
c
+0.5h)、(x
c
‑
0.5w,y
c
+0.5h)。
[0011]优选的，所述S300步骤中，所述去畸变冰柜图像中的去畸变像素坐标为(x,y)，通过透视逆变换得到对应的所述冰柜图像的原始像素坐标为(x
’
,y
’
)，所述去畸变像素坐标、原始像素坐标均为浮点数坐标，两者的变换关系为：，其中，M∈R
3x3
为透视逆变换矩阵，M
ij
是透视逆变换矩阵M的元素，i=1,2,3，j=1,2,3。
[0012]优选的，若所述原始像素坐标超出所述冰柜图像的坐标范围，将对应的去畸变像素坐标置零，否则搜索距离所述去畸变像素坐标最近的四个整数坐标，通过双线性插值算法得到去畸变像素整数坐标。
[0013]优选的，所述S400步骤具体包括：S410：将所述去畸变冰柜图像的非零像素赋值为零，零像素赋值为255，得到冰柜图像二值图；S420：将所述冰柜图像二值图进行欧式距离变换，得到冰柜图像距离图；S430：在所述冰柜图像距离图中，从所述冰柜图像距离图中获取所述去畸变冰柜图像中每一个柜格的顶点距离有效像素区域的距离；S440：若该距离超过N个像素，不完整柜格检测模块判定所述待识别冰柜图像的拍摄不完整，否则判定为拍摄完整。
[0014]优选的，所述S430步骤中，有效像素区域的判定公式为：，其中，整数坐标(x
’
F
,y
’
F
)由所述冰柜图像的浮点数坐标(x
’
,y
’
)向下圆整后得到，点(x
’
F
,y
’
F
)的像素值为p1，点(x
’
F
+1,y
’
F
)的像素值为p2，点(x
’
F,
y
’
F
+1)的像素值为p3，点(x
’
F
+1,y
’
F
+1)的像素值为p4，点(x
’
,y
’
)的像素值为p，round表示圆整函数，和为中间变量，若p值为零，则将其置一，非零像素值的区域在所述去畸变冰柜图像中的对应
区域为有效像素区域。
[0015]一种冰柜图像完整性识别系统，用于以上任一项所述的一种冰柜图像完整性识别方法，包括柜格检测模块、同名点提取模块、透视畸变矫正模块和不完整柜格检测模块；所述柜格检测模块用于检测所述待识别冰柜图像，得到柜格标注图像及其四个顶点；所述同名点提取模块从所述柜格标注图像中筛选出完整的柜格标注图像，并提取四组同名点；所述透视畸变矫正模块通过逆透视变换对所述待识别冰柜图像去畸变，得到去畸变冰柜图像；所述不完整柜格检测模块根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冰柜图像完整性识别方法，其特征在于，用于对待识别冰柜图像中冰柜柜格拍摄的完整性进行识别，包括以下步骤：S100：获取多张已拍摄的冰柜样本图像，并对每张所述冰柜样本图像中的冰柜整体进行标注得到冰柜标签、每个柜格进行标注得到柜格标签，基于所述冰柜样本图像、冰柜标签、柜格标签进行训练得到柜格检测模块；S200：将所述待识别冰柜图像输入所述柜格检测模块，输出冰柜图像、以及对柜格进行标注后的多个柜格标注图像，通过同名点提取模块筛选出符合条件的所述柜格标注图像作为参考柜格图像；S300：将所述参考柜格图像去畸变前后的四组顶点坐标组成四组同名点，并输入透视畸变矫正模块解得透视变换矩阵，通过所述透视变换矩阵对所述冰柜图像去畸变，得到去畸变冰柜图像；S400：基于所述去畸变冰柜图像及柜格坐标，不完整柜格检测模块对所述待识别冰柜图像的冰柜柜格拍摄完整性进行判断，得到识别结果。2.根据权利要求1所述的一种冰柜图像完整性识别方法，其特征在于，所述S100步骤中，所述柜格检测模块采用Hourglass或HRNet关键点检测算法。3.根据权利要求1所述的一种冰柜图像完整性识别方法，其特征在于，所述S200步骤中，所述同名点提取模块的筛选过程中，将距离所述冰柜图像的任意一条边的距离小于M个像素的对应柜格、以及最上层柜格和最下层柜格进行排除。4.根据权利要求3所述的一种冰柜图像完整性识别方法，其特征在于，所述S200步骤中，在所述参考柜格图像中，将左上角和左下角之间中点到右上角和右下角之间中点的距离作为所述参考柜格图像的宽度，将左上角和右上角之间中点到左下角和右下角之间中点的距离作为所述参考柜格图像的高度，得到去畸变后的所述参考柜格图像的尺寸。5.根据权利要求4所述的一种冰柜图像完整性识别方法，其特征在于，所述S200步骤中，所述参考柜格图像的四个顶点坐标的平均值为去畸变时的固定点(x
c
,y
c
)，去畸变后所述参考柜格图像的宽度为w、高度为h，去畸变后所述参考柜格图像的四个顶点坐标分别为：(x
c
‑
0.5w,y
c
‑
0.5h)、(x
c
+0.5w,y
c
‑
0.5h)、(x
c
+0.5w,y
c
+0.5h)、(x
c
‑
0.5w,y
c
+0.5h)。6.根据权利要求5所述的一种冰柜图像完整性识别方法，其特征在于，所述S300步骤中，所述去畸变冰柜图像中的去畸变像素坐标为(x,y)，通过透视逆变换得到对应的所述冰柜图像的原始像素坐标为(x
’
,y
’
)，所述去畸变像素坐标、原始像素坐标均为浮点数坐标，两者的变换关系为：，其中，...

【专利技术属性】
技术研发人员：龙涛，杨恒，李轩，曾志伟，
申请(专利权)人：深圳爱莫科技有限公司，
类型：发明
国别省市：