一种利用镜面对称成像原理进行冰柜排面图片拍摄系统技术方案

本发明专利技术涉及图像处理技术领域，尤其为一种利用镜面对称成像原理进行冰柜排面图片拍摄系统，包括数据上传模块：用于上传、修改冰柜中的商品信息；感应模块：用于感应冰柜门开关状态；图像采集模块：用于根据感应模块感应冰柜门开关状态采集冰柜排面图片；图像上传模块：用于上传采集的冰柜排面图片；商品识别模块：用于根据上传的冰柜排面图片进行售卖商品识别；可视化模块：用于可视化显示售卖商品的信息。本发明专利技术通过霍尔开关或运动传感器侦测冰柜门开关状态，通过广角镜头代替镜面采集冰柜内全部商品的图片，提高了采集效率，减少了图片传输、识别的时间，节省了成本，图片比较算法适用于各种冰柜，适用范围广。适用范围广。适用范围广。

【技术实现步骤摘要】
一种利用镜面对称成像原理进行冰柜排面图片拍摄系统


[0001]本专利技术涉及图像处理
，尤其是一种利用镜面对称成像原理进行冰柜排面图片拍摄系统。

技术介绍

[0002]在快消领域，自动化冰柜投放作为重要的销售手段，被投放冰柜中商品的陈列对最终的销售起着重要的作用。调查发现，顾客更愿意打开冰柜进行商品的自主选择，但对于顾客选取的商品信息的确认成为自动化进程中的难点，后台人工检查确认的方式不仅耗费大量人力物力，且检查频率低，不利于商品的销售，且工作人员无法实时了解冰柜的当前状态。
[0003]针对以上情况，目前已有一些改善的技术方案，比如将摄像头安装在冰柜每层的顶部中央，然后上传图片到服务进行分析，但是这种方式只能查看商品的顶端，对相似性极高的商品无法区分。或者将摄像头安装在冰柜顶部角落，这种方式只能查看商品进出，无法拍摄完整的商品陈列；以及将摄像头安装在冰柜外侧，虽然能拍摄完整的商品陈列，但是可能会因为冰柜门有水雾或遮挡，最终也无法获取完整清晰的商品陈列。

技术实现思路

[0004]本专利技术的目的是通过提出一种利用镜面对称成像原理进行冰柜排面图片拍摄系统，以解决上述
技术介绍
中提出的缺陷。
[0005]本专利技术采用的技术方案如下：
[0006]提供一种利用镜面对称成像原理进行冰柜排面图片拍摄系统，包括：
[0007]数据上传模块：用于上传、修改冰柜中的商品信息；
[0008]感应模块：用于感应冰柜门开关状态；
[0009]图像采集模块：用于根据感应模块感应冰柜门开关状态采集冰柜排面图片；
[0010]图像上传模块：用于上传采集的冰柜排面图片；
[0011]商品识别模块：用于根据上传的冰柜排面图片进行售卖商品识别；
[0012]可视化模块：用于可视化显示售卖商品的信息。
[0013]作为本专利技术的一种优选技术方案：还包括数据库，所述数据库用于存储数据上传模块上传的商品信息。
[0014]作为本专利技术的一种优选技术方案：所述数据上传模块中的商品信息包括商品图像、商品种类、商品数量和商品价格。
[0015]作为本专利技术的一种优选技术方案：所述感应模块通过霍尔开关或运动传感器侦测冰柜门开关状态。
[0016]作为本专利技术的一种优选技术方案：所述图像采集模块中，冰柜门表面镀一层单向膜或粘贴单透膜在冰柜内部形成镜面成像，并通过带加热功能的广角镜头拍摄镜面采集覆盖整个冰柜门的对称成像。
[0017]作为本专利技术的一种优选技术方案：所述商品识别模块通过将本次采集的冰柜排面图片与上次采集的冰柜排面图片相比对确认售卖的商品位置，将上次采集的冰柜排面图片中对应的商品图片与数据库中的商品信息进行比对识别，确认售卖的商品信息。
[0018]作为本专利技术的一种优选技术方案：所述商品识别模块中，将本次采集的冰柜排面图片与上次采集的冰柜排面图片进行网格划分，并划分网格中的特征点：
[0019]使用一个包含16个像素点的圆判断候选像素点P是不是冰柜排面图片的一个特征点，并从中挑选出邻域内所有特征点响应值最大的特征点：
[0020][0021]其中，F为每个特征点的响应得分值，x为候选像素点P的16个像素点圆中第x个像素点，b为16个邻域像素点中灰度值大于I
p
+t的像素点的集合，d为16个邻域像素点中灰度值小于I
p
‑
t的像素点的集合，I
p
为邻域内候选像素点p的灰度值，I
x
为候选像素点P的16个像素点圆中第x个像素点的灰度值，其中，x＝1,2,
…
16，t为设定的阈值；
[0022]根据设定的阈值选取响应值最大的特征点作为冰柜排面图片的特征点；
[0023]以冰柜排面图片左下角为原点建立平面直角坐标系，每个点对应坐标为(x,y)，用I(x,y)表示点(x,y)的像素灰度值；在半径为r的邻域内求取灰质质心，半径r满足不大于划分的单个网格长度的一半，从特征点到灰度质心的向量，定义为该特征点的主方向，
[0024][0025]其中，m
pq
为相对于(x,y)的p+q阶矩，p、q为常数，p,q∈{0,1}，I(x,y)表示坐标(x,y)的像素灰度值，x
p
表示x的坐标的p次方，y
q
表示y的坐标的q次方，得到冰柜排面图片局部邻域的中心矩或质心定义为：
[0026][0027]其中，C为冰柜排面图片局部邻域的中心矩或质心；
[0028]得到：
[0029][0030]其中，α为特征点与质心形成的向量与x轴的夹角。
[0031]作为本专利技术的一种优选技术方案：对划分特征点的上次采集冰柜排面图片通过使用过滤函数去除相似网格，并将不相似网格构成的特征图压缩成特征向量：
[0032][0033]其中，e指代特征图上的一个具体位置，x
e
为该位置所在的网格，1{S
e
＝1}是狄利克雷函数，当内部表达式为真时，值为1，反之为0，其中，S
e
为两种冰柜排面图片相同位置的网格相似度，τ为设定的两张冰柜排面图片相同位置的网格相似度阈值。
[0034]作为本专利技术的一种优选技术方案：构建以损失函数最小为目标的特征图与数据库(700)中的商品对齐方式：
[0035][0036]其中，N为不相似区域每个网格内特征向量数，n为不相似区域内网格总数量，x
i
为不相似区域内的特征向量，W
j
表示网络模型中全连接层与第j个网格的权重，b
j
表示网络模型中全连接层与第j个网格的偏置，在使用损失函数的分类网络中，特征向量与一个维度为n的输出层相连，表示有n个不相似网格。
[0037]作为本专利技术的一种优选技术方案：将对齐后的图像与数据库内的商品进行比对识别：
[0038][0039][0040]其中，m指示查询特征上的一个位置；n枚举支持特征的所有位置；S
m
是查询特征y
m
，支持特征y
n
计算出的相似度值；f是度量特征像素对y
m
、y
n
的相似度函数；a、b分别为来自两张图像同一位置的向量，cov(a,b)为向量a与b的协方差，var[a]为a的方差，var[b]为b的方差；
[0041]通过相似度将售卖的商品与数据库内商品图片进行比较，确定售卖的商品，通过可视化模块可视化显示商品信息。
[0042]本专利技术提供的利用镜面对称成像原理进行冰柜排面图片拍摄系统，与现有技术相比，其有益效果有：
[0043]1、通过霍尔开关或运动传感器侦测冰柜门开关状态，在冰柜关门时，通过广角镜头代替人工镜面单次采集冰柜内全部商品的图片，提高了采集效率，减少了图片传输、识别的时间，节省了成本，
[0044]2、带加热功能的广角镜头克服了由于水雾导致本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用镜面对称成像原理进行冰柜排面图片拍摄系统，其特征在于：包括：数据上传模块(100)：用于上传、修改冰柜中的商品信息；感应模块(200)：用于感应冰柜门开关状态；图像采集模块(300)：用于根据感应模块(200)感应冰柜门开关状态采集冰柜排面图片；图像上传模块(400)：用于上传采集的冰柜排面图片；商品识别模块(500)：用于根据上传的冰柜排面图片进行售卖商品识别；可视化模块(600)：用于可视化显示售卖商品的信息。2.根据权利要求1所述的利用镜面对称成像原理进行冰柜排面图片拍摄系统，其特征在于：还包括数据库(700)，所述数据库(700)用于存储数据上传模块(100)上传的商品信息。3.根据权利要求1所述的利用镜面对称成像原理进行冰柜排面图片拍摄系统，其特征在于：所述数据上传模块(100)中的商品信息包括商品图像、商品种类、商品数量和商品价格。4.根据权利要求1所述的利用镜面对称成像原理进行冰柜排面图片拍摄系统，其特征在于：所述感应模块(200)通过霍尔开关或运动传感器侦测冰柜门开关状态。5.根据权利要求1所述的利用镜面对称成像原理进行冰柜排面图片拍摄系统，其特征在于：所述图像采集模块(300)中，冰柜门表面镀一层单向膜或粘贴单透膜在冰柜内部形成镜面成像，并通过带加热功能的广角镜头拍摄镜面采集覆盖整个冰柜门的对称成像。6.根据权利要求1所述的利用镜面对称成像原理进行冰柜排面图片拍摄系统，其特征在于：所述商品识别模块(500)通过将本次采集的冰柜排面图片与上次采集的冰柜排面图片相比对确认售卖的商品位置，将上次采集的冰柜排面图片中对应的商品图片与数据库(700)中的商品信息进行比对识别，确认售卖的商品信息。7.根据权利要求1所述的利用镜面对称成像原理进行冰柜排面图片拍摄系统，其特征在于：所述商品识别模块(500)中，将本次采集的冰柜排面图片与上次采集的冰柜排面图片进行网格划分，并划分网格中的特征点：使用一个包含16个像素点的圆判断候选像素点P是不是冰柜排面图片的一个特征点，并从中挑选出邻域内所有特征点响应值最大的特征点：其中，F为每个特征点的响应得分值，x为候选像素点P的16个像素点圆中第x个像素点，b为16个邻域像素点中灰度值大于I
p
+t的像素点的集合，d为16个邻域像素点中灰度值小于I
p
‑
t的像素点的集合，I
p
为邻域内候选像素点p的灰度值，I
x
为候选像素点P的16个像素点圆中第x个像素点的灰度值，其中，x＝1,2,
…
16，t为设定的阈值；根据设定的阈值选取响应值最大的特征点作为冰柜排面图片的特征点；以冰柜排面图片左下角为原点建立平面直角坐标系，每个点对应坐标为(x...

【专利技术属性】
技术研发人员：杨志坚，朱爱东，
申请(专利权)人：南京宝坚电子科技有限公司，
类型：发明
国别省市：