一种货架商品图像拼接方法及系统技术方案

本发明专利技术提供了一种货架商品图像拼接方法及系统，本发明专利技术先将两张货架商品图像A和B输入至一训练好的深度单应性估计网络，获得估计的单应性矩阵H；依据单应性矩阵H对货架商品图像B进行形变，得到对应的形变图像C；再将得到的形变图像C与货架商品图像A进行拼接融合，最后进行特征优化，增强图像质量，得到高分辨率的拼接图像E。本发明专利技术采用了一个由特征提取模块、特征相关层、回归模块组成的深度单应性估计网络来对两幅图像之间的单应性进行预测，大大减少了拼接图像中的伪影现象，提高了图像质量。本发明专利技术模型具有拼接任意尺寸输入图像的功能，解决了货架输入图像尺寸多样的难题。解决了货架输入图像尺寸多样的难题。解决了货架输入图像尺寸多样的难题。

【技术实现步骤摘要】
一种货架商品图像拼接方法及系统


[0001]本专利技术涉及计算机视觉中的图像拼接领域，具体为一种基于深度神经网络的货架商品图像拼接方法及系统。

技术介绍

[0002]在零售行业中，消费品生产企业为了更好地得悉商品在货架上的陈列情况，从而更好地洞察市场以制定市场营销管理上的决策，往往会通过店铺货架拍摄图像来分析货架上摆放商品的种类以及摆放位置，得出不同商品在该店铺的铺货率、排面数等信息，判定是否符合生产企业的要求。而对于货架这种拍摄空间相对狭窄，且具有宽视角、包含内容多的场景来说，通过单张图像拍摄来包含所有商品是比较困难的。因此想要得到超宽视角且高分辨率的图像，直接利用镜头获取便很困难，需要通过图像拼接技术来完成。
[0003]图像拼接是指将多张相似视角下具有重叠区域的图像进行无缝衔接，组合成一张超宽视角图像。近年来，深度神经网络得益于其强大的特征提取能力，在计算机视觉领域得到了快速发展，越来越多的研究者将深度神经网络应用于图像拼接。但是，在拍摄货架商品图像过程中，由于不同的拍摄角度会得到具有大视差的图像，这种大视差图像进行拼接后会出现伪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货架商品图像拼接方法，其特征在于，包括：(1)获取待拼接的两张货架商品图像A和B；(2)将两张货架商品图像A和B输入至一训练好的深度单应性估计网络，获得估计的单应性矩阵H；依据单应性矩阵H对货架商品图像B进行形变，得到对应的形变图像C；所述深度单应性估计网络由依次连接的n个特征处理模块、全局特征相关层和回归网络模块组成，其中：特征处理模块用于依据输入的图像提取特征；全局特征相关层用于对第n个特征处理模块输出的货架商品图像A和B对应的特征图进行每个特征点的相关性计算；回归网络模块用于依据全局特征相关层输出的每个特征点的相关性预测货架商品图像A和B重叠的各两个顶点的x、y坐标偏移，再根据得到的八个偏移坐标以及投影变换因子1得到估计的单应性矩阵H；所述训练好的深度单应性估计网络是基于获取的训练数据集，以训练数据集的每一样本对作为输入，最小化预测的单应性矩阵H与真值的误差为目标训练获得；(3)将步骤(2)得到的形变图像C与货架商品图像A进行拼接融合，得到融合后的图像D；(4)对步骤(3)获得的图像D进行特征优化，增强图像质量，得到高分辨率的拼接图像E。2.根据权利要求1所述的方法，其特征在于，所述深度单应性估计网络还包括n
‑
2个局部特征相关层和n
‑
2个回归网络模块，其中，第n
‑
1个回归网络模块用于依据全局特征相关层输出的每个特征点的相关性预测货架商品图像A和B重叠的各两个顶点的x、y坐标偏移，再根据得到的八个偏移坐标以及投影变换因子1得到估计的单应性矩阵H；第n
‑
2个局部特征相关层用于对第n
‑
2个特征处理模块输出的货架商品图像A的特征图和依据第n个回归网络模块输出的单应性矩阵H对第n个特征处理模块输出的货架商品图像B对应的特征图进行形变后的特征图F
B
’
1/(2^(n
‑
2))
进行每个特征点的相关性计算；第n
‑
2个回归网络模块用于依据第n
‑
2个局部特征相关层输出的每个特征点的相关性预测货架商品图像A和B重叠的各两个顶点的x、y坐标偏移，再根据得到的八个偏移坐标以及投影变换因子1得到估计的单应性矩阵H；以此类推，直至第1个回归网络模块依据第1个局部特征相关层输出的每个特征点的相关性预...

【专利技术属性】
技术研发人员：潘清，曾波波，朱锦涛，陆飞，方路平，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：