不使用预先标定框的商品检测方法技术

本发明专利技术公开了不使用预先标定框的商品检测方法，包括下列步骤：1)拍摄零售的商品中的结算商品的商品图片，并将所拍摄的商品图片发送到GPU服务器；2)将所述商品图片经过Hourglass检测网络，得到所述结算商品的左上角点与右下角点的响应图，进而得到所述结算商品的左上角点的坐标与右下角点的坐标；3)通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到一个向量组合，所述向量组合是物体的左上角点和右下角点的欧式距离。本发明专利技术可以有效的应用到商品识别的应用场景中，解决了基于anchor的检测方法中，目标框物体被抑制的问题。

Commodity inspection method without pre calibration box

【技术实现步骤摘要】
不使用预先标定框的商品检测方法
本专利技术涉及无人零售的
，具体涉及到一种不使用预先标定框的商品检测方法的技术。
技术介绍
现在大部分无人零售的商品识别使用的是基于生成anchor的目标检测方法，使用基于anchor的目标检测方法可以有效的提取前景框，但同时生成的无效框数量也非常多，因此需要采用非极大值抑制来删除无效框，但是因为在非极大值抑制时当物体的IOU(两物体的重叠比例)>0.7以后，目标框就会被抑制，但同时无人零售中货物距离相对比较近，因此很容易造成目标框被抑制的情况，使检测率较低。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种不使用预先标定框的商品检测方法，有效的应用到商品识别的应用场景中，解决基于anchor的检测方法中，目标框物体被抑制的问题。为达上述目的，本专利技术采用以下技术方案：一种不使用预先标定框的商品检测方法，其特征在于所述不使用预先标定框的商品检测方法包括下列步骤：1)拍摄零售的商品中的结算商品的商品图片，并将所拍摄的商品图片发送到GPU服务器；2)将所述商品图片经过Hourglass检测网络，得到所述结算商品的左上角点与右下角点的响应图，进而得到所述结算商品的左上角点的坐标与右下角点的坐标；3)通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到一个向量组合，所述向量组合是物体的左上角点和右下角点的欧式距离。所述步骤2)中经过cornerpooling和校准位置偏移后,得到最终的所述左上角点的坐标与右下角点的坐标，所述cornerpooling是指下列公式：tij表示的是上面的分支，从左到右的点(i,j)到点(H,j)之间的最大特征值，lij表示的是下面的分支，从左到右的点(i,j)到点(i，w)之间的最大特征值，Ftij表示的是在点(i,j)的特征图的特征值。其中max是求最大值的符号。所述步骤3)中，通过图像的坐标截取所述结算商品的图像，送入到训练好的分类网络中，得到所述结算商品的分类得分；把候选框统一放到sigmoid函数中，得分超出阈值的为有效框，得分低于阈值的为无效框，去掉无效框，得到最终的目标框。本专利技术具有以下有益效果：本专利技术通过摄像头得到物体的图像后，先经过hourglass网络得到物体的左上角点和右下角点的响应图，再通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到最终的结果。本专利技术准确率是99.5％，超出了基于anchor的目标检测方法，可以有效的应用到商品识别的应用场景中，解决了基于anchor的检测方法中，目标框物体被抑制问题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术产品分类原理框架图；图2是本专利技术产品分类模块示意图；图3本专利技术Hourglass检测网络。具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。本专利技术不使用预先标定框的商品检测方法，包括下列步骤：1)拍摄零售的商品中的结算商品的商品图片，并将所拍摄的商品图片发送到GPU服务器；2)将所述商品图片经过Hourglass检测网络，得到所述结算商品的左上角点与右下角点的响应图，进而得到所述结算商品的左上角点的坐标与右下角点的坐标；3)通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到一个向量组合，所述向量组合是物体的左上角点和右下角点的欧式距离。所述步骤2)中经过cornerpooling和校准位置偏移后,得到最终的所述左上角点的坐标与右下角点的坐标，所述cornerpooling是指下列公式：tij表示的是上面的分支，从左到右的点(i,j)到点(H,j)之间的最大特征值，lij表示的是下面的分支，从左到右的点(i,j)到点(i，w)之间的最大特征值，Ftij表示的是在点(i,j)的特征图的特征值。其中max是求最大值的符号。所述步骤3)中，通过图像的坐标截取所述结算商品的图像，送入到训练好的分类网络中，得到所述结算商品的分类得分；把候选框统一放到sigmoid函数中，得分超出阈值的为有效框，得分低于阈值的为无效框，去掉无效框，得到最终的目标框。下面结合附图更加详细描述：如图1，使用摄像头，在点击结算商品后拍下商品图片，前端将商品的图片发送到GPU服务器，即输入图像；图像经过如图3所示Hourglass检测网络，得到物体左上角点与右下角点的响应图；构建网络关键步骤：(1)首先构建基本的Convoulation层C1，然后根据C1网络层的参数downsample到C2层，依次类推，C2层网络downsample到C3，直到C5,C6,C7层。C5,C6,C7层是平行层，中间通过relu函数连接。(2)到了C7层之后，开始进行upsample的层结构设计，一直到C1b层。中间层使用单纯的相加操作。C1a，C2a等网络结构为C1,C2等层的同级层，中间选择kernelsize＝1的CNN网络连接。(3)最后将平行层C1a等和upsample的层进行连接相加，最后组成最终的网络结构。上面的hourglass网络的输出C1b结构，后面连接激活函数relu之后，就可以输出一个C*W*H的网络结果。其中W表示的是featuremap的宽，H表示featuremap的高，C表示的是Channel的维度。在结果总共有W*H个像素，每个像素有Channel个数的向量组合形成。根据每个像素的判断是否是角点。每个像素有一个Channel维度个数形成的向量Ti，然后在所有的W*H中所有的像素中寻找和这个像素距离最近的角点。这里使用的是欧式距离来计算。然后就能得到左上角和右下角的角点的响应图。经过cornerpooling和校准位置偏移后，得到最终角点位置本文档来自技高网...

【技术保护点】
1.一种不使用预先标定框的商品检测方法，其特征在于所述不使用预先标定框的商品检测方法包括下列步骤：/n1)拍摄零售的商品中的结算商品的商品图片，并将所拍摄的商品图片发送到GPU服务器；/n2)将所述商品图片经过Hourglass检测网络，得到所述结算商品的左上角点与右下角点的响应图，进而得到所述结算商品的左上角点的坐标与右下角点的坐标；/n3)通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到一个向量组合，所述向量组合是物体的左上角点和右下角点的欧式距离。/n

【技术特征摘要】
1.一种不使用预先标定框的商品检测方法，其特征在于所述不使用预先标定框的商品检测方法包括下列步骤：
1)拍摄零售的商品中的结算商品的商品图片，并将所拍摄的商品图片发送到GPU服务器；
2)将所述商品图片经过Hourglass检测网络，得到所述结算商品的左上角点与右下角点的响应图，进而得到所述结算商品的左上角点的坐标与右下角点的坐标；
3)通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到一个向量组合，所述向量组合是物体的左上角点和右下角点的欧式距离。


2.根据权利要求1所述的不使用预先标定框的商品检测方法，其特征在于：所述步骤2)中经过cornerpooling和校准位置偏移后,得到最终的所述左上角点的坐标与...

【专利技术属性】
技术研发人员：张发恩，吴佳洪，
申请(专利权)人：创新奇智成都科技有限公司，
类型：发明
国别省市：四川;51