基于视觉算法的商品货架空置识别预警方法及系统技术方案

本发明专利技术提供一种基于视觉算法的商品货架空置识别预警方法及系统。本发明专利技术的识别预警方法包括以下步骤：提取并选定多个训练图像；对每个训练图像进行人工标注得到对应的标注空置区域数据、标注商品标签框数据和标注商品识别字符数据；构建空置区域检测模型、商品标签框检测模型、标签字符识别模型并进行训练；通过训练后的商品标签框检测模型、标签字符识别模型和空置区域检测模型得到当前图像对应的当前商品标签框数据、当前商品识别字符以及当前空置区域数据，并计算得到存放有对应的商品的区域中的当前空置区域占比；判断当前空置区域占比是否大于预设空置区域占比；在判断结果为是时发出包含有当前空置区域占比和对应的商品识别字符的预警信息。商品识别字符的预警信息。商品识别字符的预警信息。

【技术实现步骤摘要】
基于视觉算法的商品货架空置识别预警方法及系统


[0001]本专利技术属于智能商品管理
，特别涉及一种基于视觉算法的商品货架空置识别预警方法及系统。

技术介绍

[0002]日常生活中一些购物场所例如商店、超市，由于购物人员比较多，购物比较分散，能够准确及时的发现商品货物空置并及时提醒工作人员补充商品，这不仅能更好的满足顾客的需求，而且还能促进超市的盈收。
[0003]通常的购物场所通过雇佣店员对货架经常清点并整理上报再补充货物，这可能带来的问题是店员清点不及时导致效率低下，而且需要货架旁经常有雇员巡检。

技术实现思路

[0004]本专利技术是为了解决上述问题而进行的，目的在于提供一种基于视觉算法的商品货架空置识别预警方法及系统，能够有效提高商超管理效率，节省人工成本。
[0005]本专利技术为了实现上述目的，采用了以下方案：
[0006]<方案一>
[0007]本专利技术提供一种基于视觉算法的商品货架空置识别预警方法，用于对商品货架的空置区域进行识别预警，商品货架上用于存放同一种商品的区域的起始位置和终点位置各设有一个商品标签，每个商品标签框内具有对应商品的商品识别字符，具有这样的特征，包括以下步骤：
[0008]步骤S1，从收集到的目标场景下的至少一段监控视频中提取多个单帧图像，并从该多个单帧图像中选定多个具有空置区域的单帧图像作为训练图像；
[0009]步骤S2，对每个训练图像进行人工标注得到对应的标注空置区域数据、标注商品标签框数据以及标注商品识别字符数据；
[0010]步骤S3，构建空置区域检测模型，按照预设目标检测算法并使用标注空置区域数据对该空置区域检测模型进行训练得到训练后的空置区域检测模型；
[0011]步骤S4，构建商品标签框检测模型，按照预设字符检测算法并使用标注商品标签框数据对该商品标签框检测模型进行训练得到训练后的商品标签框检测模型；
[0012]步骤S5，构建标签字符识别模型，按照预设字符识别算法并使用标注商品识别字符数据对该标签字符识别模型进行训练得到训练后的标签字符识别模型；
[0013]步骤S6，从实时获取的监控视频中提取单帧图像作为当前图像，通过训练后的商品标签框检测模型、标签字符识别模型以及空置区域检测模型分别得到该当前图像对应的当前商品标签框数据、当前商品识别字符以及当前空置区域数据，并根据当前空置区域数据和当前商品标签框数据计算得到存放有对应的商品的区域中的当前空置区域占比；
[0014]步骤S7，判断当前空置区域占比是否大于预设空置区域占比；
[0015]步骤S8，在判断结果为是时发出包含有当前空置区域占比和对应的商品识别字符
的预警信息。
[0016]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，标注空置区域数据包含标注空置区域的左上角和右下角坐标及类别，标注商品标签框数据包含标注商品标签框的左上角和右下角坐标及类别。
[0017]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，预设目标检测算法为YOLOv4算法。
[0018]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，空置区域检测模型所采用的初始学习率为0.001，训练数据迭代轮数为443。
[0019]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，预设字符检测算法为TextBPN算法。
[0020]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，商品标签框检测模型所采用的初始学习率为0.001，训练数据迭代轮数为590。
[0021]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，预设字符识别算法为CRNN算法。
[0022]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，标签字符识别模型所采用的初始学习率为0.0001，训练数据迭代轮数为150。
[0023]在本专利技术提供的基于视觉算法的商品货架空置识别预警方法中，还可以具有这样的特征：其中，商品识别字符为商品名称。
[0024]<方案二>
[0025]本专利技术还提供了一种基于视觉算法的商品货架空置识别预警系统，用于对商品货架的空置区域进行识别预警，商品货架上用于存放同一种商品的区域的起始位置和终点位置各设有一张商品标签，每个商品标签的检测框内具有对应商品的商标识别字符，具有这样的特征，包括：单帧图像提取模块，用于从监控视频中提取出单帧图像；人工标注模块，用于让操作者对作为训练图像的单帧图像进行标注得到对应的标注空置区域数据、标注商品标签框数据以及标注商品识别字符数据；模型构建模块，用于构建空置区域检测模型、商品标签框检测模型以及标签字符识别模型；模型训练模块，用于按照预设目标检测算法并使用标注空置区域数据对空置区域检测模型进行训练得到训练后的空置区域检测模型，也用于按照预设字符检测算法并使用标注商品标签框数据对商品标签框检测模型进行训练得到训练后的商品标签框检测模型，还用于按照预设字符检测算法并使用标注商品标签框数据对商品标签框检测模型进行训练得到训练后的商品标签框检测模型；计算模块，用于通过训练后的商品标签框检测模型、标签字符识别模型以及空置区域检测模型分别得到作为当前图像的单帧图像对应的当前商品标签框数据、当前商品识别字符以及当前空置区域数据，并根据当前空置区域数据和当前商品标签框数据计算得到存放有对应的商品的区域中的当前空置区域占比；判断模块，用于判断当前空置区域占比是否大于预设空置区域占比；以及预警模块，用于在判断当前空置区域占比大于预设空置区域占比时发出包含有该当前空置区域占比和对应的当前商品识别字符的预警信息。
[0026]专利技术的作用与效果
[0027]与现有技术相比，本专利技术只需要通过摄像头实时监控商品区域的视频，并识别商
品空置区域，更加及时准确上报缺少的商品，这不仅提高了商品及时补充的效率还可以节省不少的人工成本，实现商品货架的智能化巡检。
附图说明
[0028]图1是本专利技术的实施例中基于视觉算法的商品货架空置识别预警方法的动作流程图；以及
[0029]图2是本专利技术的实施例中基于视觉算法的商品货架空置识别预警系统的结构框图。
具体实施方式
[0030]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本专利技术作具体阐述。
[0031]<实施例>
[0032]参考图1，本实施例提供的基于视觉算法的商品货架空置识别预警方法，用于对商品货架的空置区域进行识别预警；商品货架上用于存放同一种商品的区域的起始位置和终点位置各设有一个商品标签，每个商品标签的商品本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉算法的商品货架空置识别预警方法，用于对商品货架的空置区域进行识别预警，所述商品货架上用于存放同一种商品的区域的起始位置和终点位置各设有一个商品标签，每个商品标签框内具有对应商品的商品识别字符，其特征在于，包括以下步骤：步骤S1，从收集到的目标场景下的至少一段监控视频中提取多个单帧图像，并从该多个单帧图像中选定多个具有空置区域的单帧图像作为训练图像；步骤S2，对每个所述训练图像进行人工标注得到对应的标注空置区域数据、标注商品标签框数据以及标注商品识别字符数据；步骤S3，构建空置区域检测模型，按照预设目标检测算法并使用所述标注空置区域数据对该空置区域检测模型进行训练得到训练后的空置区域检测模型；步骤S4，构建商品标签框检测模型，按照预设字符检测算法并使用所述标注商品标签框数据对该商品标签框检测模型进行训练得到训练后的商品标签框检测模型；步骤S5，构建标签字符识别模型，按照预设字符识别算法并使用所述标注商品识别字符数据对该标签字符识别模型进行训练得到训练后的标签字符识别模型；步骤S6，从实时获取的监控视频中提取单帧图像作为当前图像，通过训练后的商品标签框检测模型、标签字符识别模型以及空置区域检测模型分别得到该当前图像对应的当前商品标签框数据、当前商品识别字符以及当前空置区域数据，并根据所述当前空置区域数据和所述当前商品标签框数据计算得到存放有对应的商品的区域中的当前空置区域占比；步骤S7，判断所述当前空置区域占比是否大于预设空置区域占比；步骤S8，在判断结果为是时发出包含有所述当前空置区域占比和对应的商品识别字符的预警信息。2.根据权利要求1所述的基于视觉算法的商品货架空置识别预警方法，其特征在于：其中，所述标注空置区域数据包含标注空置区域的左上角和右下角坐标及类别，所述标注商品标签框数据包含标注商品标签框的左上角和右下角坐标及类别。3.根据权利要求1所述的基于视觉算法的商品货架空置识别预警方法，其特征在于：其中，所述预设目标检测算法为YOLOv4算法。4.根据权利要求3所述的基于视觉算法的商品货架空置识别预警方法，其特征在于：其中，所述空置区域检测模型所采用的初始学习率为0.001，训练数据迭代轮数为443。5.根据权利要求1所述的基于视觉算法的商品货架空置识别预警方法，其特征在于：其中，所述预设...

【专利技术属性】
技术研发人员：张祥祥，沈修平，
申请(专利权)人：上海悠络客电子科技股份有限公司，
类型：发明
国别省市：