货架空置率计算方法及装置、电子设备、存储介质制造方法及图纸

本发明专利技术公开了一种货架空置率计算方法及装置，包括：利用拍摄单元采集货架图像；检测所述货架图像中的商品分区标志物信息；根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；根据所述商品区域与所述背景区域的比例，计算所述货架空置率。本发明专利技术还公开了一种电子设备和存储介质。

Shelf vacancy rate calculation method and equipment, electronic equipment, storage medium

【技术实现步骤摘要】
货架空置率计算方法及装置、电子设备、存储介质
本专利技术涉及图像处理
，特别是指一种货架空置率计算方法及装置、电子设备、存储介质。
技术介绍
常用的基于计算机视觉的方法，利用目标检测方法检测出货架图像中商品的类别和数量，从而判断货架上商品的数目。缺点是需要针对每种商品采集、标注训练样本，并进行模型训练，当商品种类繁多或者变化很快的时候，这种方案很难实现产品化。超市需要根据货架上商品的情况来确定是否需要补货。现在超市最常用的方法是定期由工作人员巡视货架，当发现货架空置空间较多时进行补货，缺点是消耗人力，还不能及时发现缺货。如果安装摄像头拍摄货架，并采用商品检测实时检测货架上商品的类别和数量，虽然可以根据商品数量来判断缺货情况，但需要对每种商品采集、标注数据和训练模型，工作量太大。
技术实现思路
有鉴于此，本专利技术实施例的目的之一在于，提出一种货架空置率计算方法及装置、电子设备、存储介质，能够在一定程度上优化货架空置率的计算方法。基于上述目的，本专利技术实施例的第一个方面，提供了一种货架空置率计算方法，包括：利用拍摄单元采集货架图像；检测所述货架图像中的商品分区标志物信息；根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；根据所述商品区域与所述背景区域的比例，计算所述货架空置率。可选地，所述货架空置率计算方法，还包括：若所述货架空置率大于预设空置率阈值，则向指定用户发送提示信息。可选地，所述商品分区标志物信息包括价签背板信息和价签信息。可选地，检测所述货架图像中的价签背板信息，包括：对所述货架图像进行直线检测，得到直线检测结果；基于价签背板的边缘特性和形状特性，去除所述直线检测结果中虚假的价签背板边缘直线，并连接断裂的价签背板边缘直线。可选地，检测所述货架图像中的价签信息，包括：获取价签模板图像；提取所述价签模板图像和所述货架图像的第一图像特征；根据所述价签模板图像和所述货架图像的第一图像特征，计算第一相关系数，并生成价签显著图；对所述价签显著图进行自适应阈值分割，得到疑似价签区域的中心点集合；根据所述疑似价签区域的中心点集合，确定所述货架图像中的疑似价签区域；提取所述疑似价签区域与所述价签模板图像的第二图像特征；根据所述疑似价签区域与所述价签模板图像的第二图像特征，计算第二相关系数；确定所述第二相关系数大于预设系数阈值的疑似价签区域为价签。可选地，所述商品落位区包括在所述货架图像中的靠近货架外侧的第一点和第二点以及对应的靠近货架里侧的第三点和第四点；所述货架图像的下边缘与货架的下边缘重合，所述货架图像的中心点与货架的中心点重合；根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系、图像成像原理以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区，包括：根据所述商品分区标志物信息，得到所述商品落位区的第一点和第二点在所述货架图像中的坐标；根据所述拍摄单元与货架的水平位置关系以及所述拍摄单元的水平拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的横坐标，计算所述第三点和第四点的横坐标；根据所述拍摄单元与货架的竖直位置关系以及所述拍摄单元的竖直拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的纵坐标，计算所述第三点和第四点的纵坐标。可选地，所述货架空置率计算方法，还包括：若所述商品落位区的第三点和第四点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一点和第二点的纵坐标，则将所述上一货架层的商品落位区的第一点和第二点的纵坐标替换为所述商品落位区的第三点和第四点的纵坐标；根据所述商品落位区第一点的坐标以及对应的第三点的坐标，构建第一直线函数，并且，根据所述商品落位区第二点的坐标以及对应的第四点的坐标，构建第二直线函数；将所述上一货架层的商品落位区的第一点的纵坐标代入所述第一直线函数，得到的横坐标替换为所述商品落位区的第三点的横坐标；将所述上一货架层的商品落位区的第二点的纵坐标代入所述第二直线函数，得到的横坐标替换为所述商品落位区的第四点的横坐标。本专利技术实施例的第二个方面，提供了一种货架空置率计算装置，包括：采集模块，用于利用拍摄单元采集货架图像；标志物检测模块，用于检测所述货架图像中的商品分区标志物信息；落位区计算模块，用于根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；空置率计算模块，用于利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；以及，根据所述商品区域与所述背景区域的比例，计算所述货架空置率。可选地，所述货架空置率计算装置，还包括提示模块，若所述货架空置率大于预设空置率阈值，用于向指定用户发送提示信息。可选地，所述商品分区标志物信息包括价签背板信息和价签信息。可选地，所述标志物检测模块，用于：对所述货架图像进行直线检测，得到直线检测结果；基于价签背板的边缘特性和形状特性，去除所述直线检测结果中虚假的价签背板边缘直线，并连接断裂的价签背板边缘直线。可选地，所述标志物检测模块，用于：获取价签模板图像；提取所述价签模板图像和所述货架图像的第一图像特征；根据所述价签模板图像和所述货架图像的第一图像特征，计算第一相关系数，并生成价签显著图；对所述价签显著图进行自适应阈值分割，得到疑似价签区域的中心点集合；根据所述疑似价签区域的中心点集合，确定所述货架图像中的疑似价签区域；提取所述疑似价签区域与所述价签模板图像的第二图像特征；根据所述疑似价签区域与所述价签模板图像的第二图像特征，计算第二相关系数；确定所述第二相关系数大于预设系数阈值的疑似价签区域为价签。可选地，所述商品落位区包括在所述货架图像中的靠近货架外侧的第一点和第二点以及对应的靠近货架里侧的第三点和第四点；所述货架图像的下边缘与货架的下边缘重合，所述货架图像的中心点与货架的中心点重合；所述落位区计算模块，用于：根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系、图像成像原理以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区，包括：根据所述商品分区标志物信息，得到所述商品落位区的第一点和第二点在所述货架图像中的坐标；根据所述拍摄单元与货架的水平位置关系以及所述拍摄单元的水平拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的横坐标，计算所述第三点和第四点的横坐标；根据所述拍摄单元与货架的竖直位置关系以及所述拍摄单元的竖直拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的纵坐标，计算所述第三点和第四点的纵坐标。可选地，所述落位区计算模块，用于：若所述商品落位区的第三点和第四点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一点和第二点的纵坐标，则将所述上一货架层的商品落位区的第一点和第二点的纵坐标替换为所述商品落位区的第一点和第二点的纵坐标；根据所述商品落位区第一点的坐标以及对应的第三点的坐标，构建第一直线函数，并且，根本文档来自技高网...

【技术保护点】
1.一种货架空置率计算方法，其特征在于，包括：利用拍摄单元采集货架图像；检测所述货架图像中的商品分区标志物信息；根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；根据所述商品区域与所述背景区域的比例，计算所述货架空置率。

【技术特征摘要】
1.一种货架空置率计算方法，其特征在于，包括：利用拍摄单元采集货架图像；检测所述货架图像中的商品分区标志物信息；根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；根据所述商品区域与所述背景区域的比例，计算所述货架空置率。2.根据权利要求1所述的方法，其特征在于，还包括：若所述货架空置率大于预设空置率阈值，则向指定用户发送提示信息。3.根据权利要求1所述的方法，其特征在于，所述商品分区标志物信息包括价签背板信息和价签信息。4.根据权利要求3所述的方法，其特征在于，检测所述货架图像中的价签背板信息，包括：对所述货架图像进行直线检测，得到直线检测结果；基于价签背板的边缘特性和形状特性，去除所述直线检测结果中虚假的价签背板边缘直线，并连接断裂的价签背板边缘直线。5.根据权利要求3所述的方法，其特征在于，检测所述货架图像中的价签信息，包括：获取价签模板图像；提取所述价签模板图像和所述货架图像的第一图像特征；根据所述价签模板图像和所述货架图像的第一图像特征，计算第一相关系数，并生成价签显著图；对所述价签显著图进行自适应阈值分割，得到疑似价签区域的中心点集合；根据所述疑似价签区域的中心点集合，确定所述货架图像中的疑似价签区域；提取所述疑似价签区域与所述价签模板图像的第二图像特征；根据所述疑似价签区域与所述价签模板图像的第二图像特征，计算第二相关系数；确定所述第二相关系数大于预设系数阈值的疑似价签区域为价签。6.根据权利要求1所述的方法，其特征在于，所述商品落位区包括在所述货架图像中的靠近货架外侧的第一点和第二点以及对应的靠近货架里侧的第三点和第四点；所述货架图像的下边缘与货架的下边缘重合，所述货架图像的中心点与货架的中心点重合；根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系、图像成像原理以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区，包括：根据所述商品分区标志物信息，得到所述商品落位区的第一点和第二点在所述货架图像中的坐标；根据所述拍摄单元与货架的水平位置关系以及所述拍摄单元的水平拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的横坐标，计算所述第三点和第四点的横坐标；根据所述拍摄单元与货架的竖直位置关系以及所述拍摄单元的竖直拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的纵坐标，计算所述第三点和第四点的纵坐标。7.根据权利要求6所述的方法，其特征在于，还包括：若所述商品落位区的第三点和第四点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一点和第二点的纵坐标，则将所述上一货架层的商品落位区的第一点和第二点的纵坐标替换为所述商品落位区的第三点和第四点的纵坐标；根据所述商品落位区第一点的坐标以及对应的第三点的坐标，构建第一直线函数，并且，根据所述商品落位区第二点的坐标以及对应的第四点的坐标，构建第二直线函数；将所述上一货架层的商品落位区的第一点的纵坐标代入所述第一直线函数，得到的横坐标替换为所述商品落位区的第三点的横坐标；将所述上一货架层的商品落位区的第二点的纵坐标代入所述第二直线函数，得到的横坐标替换为所述商品落位区的第四点的横坐标。8.一种货架空置率计算装置，其特征在于，包括：采集模块，用于利用拍摄单元采集货架图像；标志物检测模块，用于检测所述货架图像中的商品分区标志物信息；落位区计算模块，用于根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄...

【专利技术属性】
技术研发人员：刘童，张欢欢，张治国，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11