一种物品定位方法、物品识别方法及装置制造方法及图纸

本申请属于图像处理技术领域，公开了一种物品定位方法、物品识别方法及装置，该方法包括：通过图像采集装置获取物品检测区域的实时图像序列；根据实时图像序列，得到动态背景图；获取实时图像序列中每两个相邻图像帧之间的差异图，并根据各差异图得到平均差异图；获取实时图像序列中的当前图像帧与该当前图像帧的前一个图像帧之间的差异图中的像素值总和，并在像素值总和小于预设阈值时，计算当前图像帧与动态背景图之间的当前差异图；根据平均差异图对当前差异图进行点乘和取反计算，得到物品定位图，将物品定位图中面积最大的连通域确定为物品区域位置。本申请可以达到提高物品定位准确性的效果。位准确性的效果。位准确性的效果。

【技术实现步骤摘要】
一种物品定位方法、物品识别方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种物品定位方法、物品识别方法及装置。

技术介绍

[0002]图像识别作为深度学习算法的主流实践应用方向，早已在生活的各个领域发挥作用，例如无人货架、智能零售柜中的商品识别。在无人货架、智能零售柜等场景下，在进行商品识别前，往往需要事先定位图像中物品的位置。现有的物品定位方法主要包括两类：一种是使用传统定位算法如帧差法或轮廓检测法来做定位，另一种是使用深度学习目标检测算法。然而，现有的帧差法需要提前获取背景图像，并要求具备稳定的拍照环境，一旦拍照环境发生变化，定位的准确性就会变差；轮廓检测法对图像背景要求高，要求图像背景干净，不能与商品颜色相近，在背景和物品颜色相近时，难以准确定位物品；深度学习目标检测算法则需要预先采集大量的物品图像进行特征标注，且计算耗时较长，对于新商品需要重新训练模型，适应性差。可见，现有技术中，传统物品定位方法存在定位效果易受外部环境变化影响，定位结果不够准确的问题，而深度学习目标检测算法则存在计算耗时长、通用性差的问题。

技术实现思路

[0003]本申请提供了一种物品定位方法、物品识别方法及装置，能够提高物品定位的准确性。
[0004]第一方面，本申请实施例提供了一种物品定位方法，该方法包括：
[0005]通过图像采集装置获取物品检测区域的实时图像序列，实时图像序列包括多个连续的图像帧；
[0006]根据实时图像序列，得到动态背景图；
[0007]获取实时图像序列中每两个相邻图像帧之间的差异图，并根据各差异图得到平均差异图；
[0008]获取实时图像序列中的当前图像帧与该当前图像帧的前一个图像帧之间的差异图中的像素值总和，并在像素值总和小于预设阈值时，计算当前图像帧与动态背景图之间的当前差异图；
[0009]根据平均差异图对当前差异图进行点乘和取反计算，得到物品定位图，将物品定位图中面积最大的连通域确定为物品区域位置。
[0010]在其中一个实施例中，根据实时图像序列，得到动态背景图，包括：
[0011]计算实时图像序列中的所有图像帧的平均值，得到动态背景图。
[0012]在其中一个实施例中，获取实时图像序列中每两个相邻图像帧之间的差异图，并根据各差异图得到平均差异图，包括：
[0013]对实时图像序列中的每两个相邻图像帧进行预处理，得到多对预处理后的相邻图
像帧；
[0014]通过结构相似性算法计算得到每对预处理后的相邻图像帧的差异图，并根据各差异图得到平均差异图。
[0015]在其中一个实施例中，对实时图像序列中的每两个相邻图像帧进行预处理，得到多对预处理后的相邻图像帧，包括：
[0016]对每两个相邻图像帧中的每个图像帧进行缩放处理，得到多对缩放后的相邻图像帧；
[0017]通过结构相似性算法计算得到每对预处理后的相邻图像帧的差异图，并根据各差异图得到平均差异图，包括：
[0018]通过结构相似性算法计算得到每对缩放后的相邻图像帧的差异图，并根据各差异图得到平均差异图，平均差异图的尺寸大小为缩放后的尺寸；
[0019]根据平均差异图对当前差异图进行点乘和取反计算，得到物品定位图，包括：
[0020]将平均差异图还原至当前图像帧的尺寸大小以作为权重图；
[0021]将权重图与当前差异图进行点乘和取反计算，得到物品定位图。
[0022]在其中一个实施例中，通过结构相似性算法计算得到每对预处理后的相邻图像帧的差异图，包括：
[0023]计算每对预处理后的相邻图像帧中的每个图像帧的均值矩阵和方差矩阵，并计算每对预处理后的相邻图像帧之间的协方差矩阵；
[0024]根据每对预处理后的相邻图像帧中的每个图像帧的均值矩阵和方差矩阵以及每对预处理后的相邻图像帧之间的协方差矩阵，基于结构相似性计算公式得到每对预处理后的相邻图像帧的差异图。
[0025]在其中一个实施例中，计算当前图像帧与动态背景图之间的当前差异图，包括：
[0026]通过结构相似性算法计算得到当前图像帧与动态背景图之间的当前差异图。
[0027]在其中一个实施例中，将物品定位图中面积最大的连通域确定为物品区域位置，包括：
[0028]对物品定位图进行阈值分割和连通域提取，以确定物品定位图中的各个连通域，并将各个连通域中面积最大的连通域确定为物品区域位置。
[0029]在其中一个实施例中，通过图像采集装置获取物品检测区域的实时图像序列，包括：
[0030]响应于图像序列获取指令，检测图像采集装置的当前状态；
[0031]在图像采集装置处于拍摄状态时，获取图像采集装置拍摄的当前图像帧和当前图像帧之前预设数量的多个连续图像帧作为实时图像序列；
[0032]在图像采集装置处于关机状态时，控制图像采集装置开启，并获取图像采集装置实时拍摄的多个连续图像帧作为实时图像序列；
[0033]实时图像序列随着图像采集装置持续拍摄而持续更新。
[0034]在其中一个实施例中，该方法还包括：
[0035]在实时图像序列中的当前图像帧与该当前图像帧的前一个图像帧之间的差异图中的像素值总和小于预设阈值时，停止获取新的图像帧。
[0036]第二方面，本申请实施例提供了一种物品识别方法，该方法包括如上述任一实施
例的物品定位方法，物品区域位置为待识别物品所在的区域位置；
[0037]该方法还包括：通过训练好的深度学习神经网络对物品区域位置的图像进行识别，得到待识别物品的识别结果。
[0038]第三方面，本申请实施例提供了一种物品定位装置，该装置包括：
[0039]图像序列获取模块，用于通过图像采集装置获取物品检测区域的实时图像序列，实时图像序列包括多个连续图像帧；
[0040]动态背景图计算模块，用于根据实时图像序列，得到动态背景图；
[0041]平均差异图计算模块，用于获取实时图像序列中每两个相邻图像帧之间的差异图，并根据各差异图得到平均差异图；
[0042]当前差异图计算模块，用于获取实时图像序列中的当前图像帧与该当前图像帧的前一个图像帧之间的差异图中的像素值总和，并在像素值总和小于预设阈值时，计算当前图像帧与动态背景图之间的当前差异图；
[0043]物品定位模块，用于根据平均差异图对当前差异图进行点乘和取反计算，得到物品定位图，将物品定位图中面积最大的连通域确定为物品区域位置。
[0044]第四方面，本申请实施例提供了一种物品识别装置，该装置包括物品识别模块以及如上述任一实施例的物品定位装置，物品区域位置为待识别物品所在的区域位置；
[0045]物品识别模块，用于通过训练好的深度学习神经网络对物品区域位置的图像进行识别，得到待识别物品的识别结果。
[0046]第五方面，本申请实施例提供了一种智能货柜，包括处理器、存储器和图像采集装置；
...

【技术保护点】

【技术特征摘要】
1.一种物品定位方法，其特征在于，所述方法包括：通过图像采集装置获取物品检测区域的实时图像序列，所述实时图像序列包括多个连续的图像帧；根据所述实时图像序列，得到动态背景图；获取所述实时图像序列中每两个相邻图像帧之间的差异图，并根据各所述差异图得到平均差异图；获取所述实时图像序列中的当前图像帧与该当前图像帧的前一个图像帧之间的差异图中的像素值总和，并在所述像素值总和小于预设阈值时，计算所述当前图像帧与所述动态背景图之间的当前差异图；根据所述平均差异图对所述当前差异图进行点乘和取反计算，得到物品定位图，将所述物品定位图中面积最大的连通域确定为物品区域位置。2.根据权利要求1所述的方法，其特征在于，所述根据所述实时图像序列，得到动态背景图，包括：计算所述实时图像序列中的所有图像帧的平均值，得到所述动态背景图。3.根据权利要求1所述的方法，其特征在于，所述获取所述实时图像序列中每两个相邻图像帧之间的差异图，并根据各所述差异图得到平均差异图，包括：对所述实时图像序列中的每两个相邻图像帧进行预处理，得到多对预处理后的相邻图像帧；通过结构相似性算法计算得到每对所述预处理后的相邻图像帧的差异图，并根据各所述差异图得到平均差异图。4.根据权利要求3所述的方法，其特征在于，所述对所述实时图像序列中的每两个相邻图像帧进行预处理，得到多对预处理后的相邻图像帧，包括：对所述每两个相邻图像帧中的每个图像帧进行缩放处理，得到多对缩放后的相邻图像帧；所述通过结构相似性算法计算得到每对所述预处理后的相邻图像帧的差异图，并根据各所述差异图得到平均差异图，包括：通过结构相似性算法计算得到每对所述缩放后的相邻图像帧的差异图，并根据各所述差异图得到平均差异图，所述平均差异图的尺寸大小为缩放后的尺寸；所述根据所述平均差异图对所述当前差异图进行点乘和取反计算，得到物品定位图，包括：将所述平均差异图还原至所述当前图像帧的尺寸大小以作为权重图；将所述权重图与所述当前差异图进行点乘和取反计算，得到物品定位图。5.根据权利要求3所述的方法，其特征在于，所述通过结构相似性算法计算得到每对所述预处理后的相邻图像帧的差异图，包括：计算每对所述预处理后的相邻图像帧中的每个图像帧的均值矩阵和方差矩阵，并计算每对所述预处理后的相邻图像帧之间的协方差矩阵；根据每对所述预处理后的相邻图像帧中的每个图像帧的均值矩阵和方差矩阵以及每对所述预处理后的相邻图像帧之间的协方差矩阵，基于结构相似性计算公式得到每对所述预处理后的相邻图像帧的差异图。
6.根据权利要求1所述的方法，其特征在于，所述计算所述当前图像帧与所述动态背景图之间的当前差异图，包括：通过结构相似性算法计算得到所述当前图像帧与所述动态背景图之间的当前差异图。7.根据权利要求1所述的方法，其特征在于，所述将所述物品定位图中面积最大的连通域确定为物品区域位置，包括：对所述物品定位图进行阈值分割和连通域提取，以确定所述物品定位图中的各个连...

【专利技术属性】
技术研发人员：周艳华，邵晓盛，张盛，
申请(专利权)人：广州盖盟达工业品有限公司，
类型：发明
国别省市：