一种快速生成货架数字陈列图的方法技术

本发明专利技术涉及货架数字陈列图的即时生成技术领域，本发明专利技术公开了一种快速生成货架数字陈列图的方法：步骤一、检测模型的选择或训练；步骤二、分类模型的选择或训练；步骤三、货架商品照片的拍摄；步骤四、货架商品检测框的获取和货架商品类别的识别；步骤五、操作人员与手机或PDA应用端的交互；步骤六、标记线选中货架商品的类别和存量的确定；步骤七、货架数字陈列图的绘制。这种快速生成货架数字陈列图的方法，该方法能够降低货架商品盘点所需的用工成本，提高了对货架商品盘点的效率，减少约80%的工作时间，同时提高了对货架商品盘点的准确率。

A fast method to generate the digital display of shelves

【技术实现步骤摘要】
一种快速生成货架数字陈列图的方法
本专利技术涉及货架数字陈列图的即时生成
，尤其涉及一种快速生成货架数字陈列图的方法。
技术介绍
随着人工智能的发展，尤其是图像视觉算法的发展促进了目标检测相关能力的提高，商品检测或目标检测算法能够以人类认可的准确度应用在货架商品实时检测中。但是目标检测框架只会输出目标（商品）相对于图像原点（如左上点位x、y原点）的位置，不能输出他们相对于整个陈列面的相对位置信息。由于货架存在形式多种多样，实际零售门店中也存在不利用平板货架的挂钩商品，所以依靠目标检测框架，来获取商品相对于货架中的位置陈列信息非常困难；同样阻碍了采用人工智能对货架商品盘点的技术发展。所谓货架陈列图是能够对一面货架中的所有层，结构化或表格化，按层级信息输出每层的从左到右商品排布信息；该陈列图标明兴趣视野内的所有商品名称以及他们相对于货架的相对位置，这种相对位置信息在陈列图中直接按照层级和左右相对位置进行表格化输出；使货架中的商品位置信息、品类和商品的数量以及商品与货架层、货架层与货架层之间的位置关系，直观可见(货架被本领域中习惯性称为端架)。现有技术中，目前主要依靠人工观察、盘点并记录每种商品的品名和位置，并盘点每种商品的数量，按照表格方式记录。采用人工观察的方式主要存在的缺点：1、存在人工用人成本高，需要2-3人的分工合作才能完成货架商品的盘点；2、人工逐一盘点速度慢，需要确定商品品名、位置（总层数，相对层数，左右相对位移），导致盘点效率低；3、人工核对陈列图盘点，准确率低，不如计算机视觉算法的结果高。专利技术人基于现有技术中的缺陷研发了一种快速生成货架数字陈列图的方法，能够解决采用人工观察、盘点货架商品中存在问题。
技术实现思路
本专利技术的目的是为了解决上述现有技术中存在的问题，提供了一种快速生成货架数字陈列图的方法，本专利技术在商品检测的结果基础上，结合人工干预，以一种简便的PDA或手机为载体的屏幕交互手段为应用终端，能够快速确定商品与商品、商品与层、层与层之间的关系。本专利技术提供一种快速生成货架数字陈列图的方法：步骤一、检测模型的选择或训练：选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架照片，为其中所显示货架上的商品标定其检测框，不需要输出其类别；步骤二、分类模型的选择或训练：选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架上关注的商品进行识别，以区分每个检测框内的商品是否属于特定种类中的某一商品；步骤三、货架商品照片的拍摄：盘点操作人员使用手机或PDA应用端的摄像头，正对货架，拍摄一张货架商品的图片，通过手机或PDA应用端获取并传输到服务器云端；步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架商品图片的检测框，并将货架商品图片的检测框反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架商品图片中的商品类别进行分类，并绘制货架商品图片中所有商品的检测框，显示在手机或PDA应用端的屏幕上；步骤五、操作人员与手机或PDA应用端的交互：根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线；然后手机或PDA应用端检测标记线所框选所有商品的检测框，根据该标记线左右端点截止位置和关联检测框的总体上下左右范围，确定标记线选中货架商品的层覆盖范围和位置；通过标记线每一个选中层覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值的大小，确定由上至下表示的商品所处的层级；步骤六、标记线选中货架商品的类别和存量的确定：标记线选中货架商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；例如：第一层：商品A，商品A，商品A，商品B，商品B，空，商品C，商品C，商品C，商品C；可以简化成以下方式输出在最后结果中：第一层：商品Ax3，商品Bx2，空，商品Cx4；其中A、B、C代表具体的商品名称，x3、x2、x4代表具体商品的在货架中的存量；步骤七、货架数字陈列图的绘制：根据步骤五步骤六的方法，对货架商品照片中所有的商品层进行人机交互画出标记线，确定由上至下表示的商品所处的层级，同时确定标记线选中货架商品的类别和存量；最终通过手机或PDA应用端屏幕显示绘制货架数字陈列图。其中步骤五中，根据标记线所框选的同层货架商品的检测框不连续信息，通过步骤二中的分类模型检测确定空缺商品位置范围，最终在绘制货架数字陈列图显示空缺商品的位置信息。其中步骤五中，利用步骤二中的分类模型，对货架中每层通过标记线所框选的每个检测框中的商品进行分类识别，得到每个检测框中具体商品品类信息。其中步骤五中，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动时，可以根据所感兴趣的货架层级，针对性地连续地画出一道与货架平行的标记线。其中步骤一中，选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架照片，为其中所显示货架上的商品标定其检测框，不需要输出其类别；这样做的主要目的是为了，一方面通过服务器云端的检测模型对货架商品进行分析计算，得到货架商品所标定的检测框（检测框在这里的含义为每一个商品的上下左右边界所组成的矩形框）。另一方面根据标记线所框选的同层货架商品的检测框不连续信息，确定空缺商品位置范围。其中步骤二中，选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架上关注的商品进行识别，以区分每个检测框内的商品是否属于特定种类中的某一商品；这样做的主要目的是对货架中每层通过标记线所框选的每个检测框中的商品进行分类识别，得到每个检测框中具体商品品类信息。其中步骤三中，盘点操作人员使用手机或PDA应用端的摄像头，正对货架，拍摄一张货架商品的图片，通过手机或PDA应用端获取并传输到服务器云端；这样做的主要目的是为了获得货架商品的图片，将货架商品的图片作为人机交互的介质，实现了盘点操作人员与手机或PDA应用端的人机交互。其中步骤四中，服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架商品图片的检测框，并将货架商品图片的检测框反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架商品图片中的商品类别进行分类，并绘制货架商品图片中所有商品的检测框，显示在手机或PDA应用端的屏幕上；这样做的主要目的是为了获取货架商品图片的检测框，并以货架商品图片的检测框为计算分析基础，实现对检测框中的商品进行品类信息和位置信息的确定。其中步骤五中，根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线；然后手机或PDA应用端检测标记线所框选所有商品的检测框，根据该标本文档来自技高网...

【技术保护点】
1.一种快速生成货架数字陈列图的方法，其特征在于：步骤一、检测模型的选择或训练：选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架照片，为其中所显示货架上的商品标定其检测框，不需要输出其类别；步骤二、分类模型的选择或训练：选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架上关注的商品进行识别，以区分每个检测框内的商品是否属于特定种类中的某一商品；步骤三、货架商品照片的拍摄：盘点操作人员使用手机或PDA应用端的摄像头，正对货架，拍摄一张货架商品的图片，通过手机或PDA应用端获取并传输到服务器云端；步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架商品图片的检测框，并将货架商品图片的检测框反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架商品图片中的商品类别进行分类，并绘制货架商品图片中所有商品的检测框，显示在手机或PDA应用端的屏幕上；步骤五、操作人员与手机或PDA应用端的交互：根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线；然后手机或PDA应用端检测标记线所框选所有商品的检测框，根据该标记线左右端点截止位置和关联检测框的总体上下左右范围，确定标记线选中货架商品的层覆盖范围和位置；通过标记线每一个选中层覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值大小，确定由上至下表示的商品所处的层级；步骤六、标记线选中货架商品的类别和存量的确定：标记线选中货架商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；例如：第一层：商品A，商品A，商品A，商品B，商品B，空，商品C，商品C，商品C，商品C；可以简化成以下方式输出在最后结果中：第一层：商品A x3，商品B x2，空，商品C x4；其中A、B、C代表具体的商品名称，x3、x2、x4代表具体商品的在货架中的存量；步骤七、货架数字陈列图的绘制：根据步骤五步骤六的方法，对货架商品照片中所有的商品层进行人机交互画出标记线，确定由上至下表示的商品所处的层级，同时确定标记线选中货架商品的类别和存量；最终通过手机或PDA应用端屏幕显示绘制货架数字陈列图。/n...

【技术特征摘要】
1.一种快速生成货架数字陈列图的方法，其特征在于：步骤一、检测模型的选择或训练：选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架照片，为其中所显示货架上的商品标定其检测框，不需要输出其类别；步骤二、分类模型的选择或训练：选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架上关注的商品进行识别，以区分每个检测框内的商品是否属于特定种类中的某一商品；步骤三、货架商品照片的拍摄：盘点操作人员使用手机或PDA应用端的摄像头，正对货架，拍摄一张货架商品的图片，通过手机或PDA应用端获取并传输到服务器云端；步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架商品图片的检测框，并将货架商品图片的检测框反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架商品图片中的商品类别进行分类，并绘制货架商品图片中所有商品的检测框，显示在手机或PDA应用端的屏幕上；步骤五、操作人员与手机或PDA应用端的交互：根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线；然后手机或PDA应用端检测标记线所框选所有商品的检测框，根据该标记线左右端点截止位置和关联检测框的总体上下左右范围，确定标记线选中货架商品的层覆盖范围和位置；通过标记线每一个选中层覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值大小，...

【专利技术属性】
技术研发人员：丁超，孟建庭，
申请(专利权)人：华士磐典科技上海有限公司，
类型：发明
国别省市：上海;31