基于超像素的图像的实际货架图景象分析制造技术

本发明专利技术公开了一种基于超像素的图像的实际货架图景象分析。所包括的图像识别系统接收包括多个被组织的对象的实际货架图图像，并且检测和识别零售货架上的一个或多个货品的实际货架图图像中的对象，识别货架前端和货架前端上的标签，识别货架下的空闲空间，识别可能存在未被识别的产品的区域，以及识别产品“缺货”的区域。

【技术实现步骤摘要】

技术介绍
本公开文本主要涉及图像处理中的对象检测的领域，本公开文本尤其涉及用于分析多个被组织的对象的图像的系统和方法，以识别图像中的对象、货架前端和货架前端上的标签、货架之下的空闲空间、可能存在未识别出的对象的区域和空置区域。
技术实现思路
所述技术包括接收多个被组织的对象的图像的图像识别系统。图像识别系统基于多个被组织的对象的图像中的各组像素生成图像分段(例如，超像素)，并且利用从对多个被组织的对象的图像进行的图像分析得到的信息和观察值对图像分段加标签。此外，系统基于图像分段对多个被组织的对象的图像的区域进行分类。区域例如可以包括图像中的识别出的对象、货架前端和标签、货架之下的空闲空间、可能存在未识别出的对象的区域、以及产品“缺货”的区域。其他实施例包括用于识别图像中的对象的对应的方法和计算机程序产品。本文中描述的特征和优势并不是完全包括形式的，并且许多额外的特征和优势对于阅读了本说明书和附图的本领域技术人员而言是清楚的。此外，还应当注意的是，本说明书中选用使用的词语主要用于易于理解本申请和指示性的目的，而并不限制本申请的范围。附图说明通过附图中的示例非限制性地描述本申请，在附图中，相似的附图标记用于指代相似的单元。图1是说明了用于分析零售货架的图像的系统100的一个示例性实施例的高层框图；图2是说明了包括实际货架图(realogram)分析应用的示例性实际货架图分析系统的框图；图3是基于超像素的实际货架图景象分析的示例方法的流程图；图4说明了示例性的实际货架图；图5A示出了包括货架和货架上的产品的示例性的实际货架图；图5B示出了叠加有超像素的示例性的实际货架图；图6是用于基于超像素以及在一些实施例中的其他观察值来识别实际货架图区域的示例性方法的流程图；图7A和图7B示出了用于识别实际货架图图像中示出的货架前端的示例性方法的流程图；图8示出了叠加有超像素以及示出了用于确定货架外观特征的超像素之间的关系的箭头的示例性实际货架图的一部分；图9是用于检测可能的货架边界的处理的示例性图示；图10是以各自的角度示出了超像素列表的示例性图示；图11是示出了用于确定货架外观特征的超像素之间的关系的示例性图示；图12A是示出了超像素边界处的量化梯度的示例性图示；图12B是示出了一对超像素的量化梯度的示例性数据结构；图13是用于检测和确定实际货架图图像中示出的货架前端上的标签的位置的示例性方法的流程图；图14A是示出了叠加有超像素的示例性实际货架图的一部分，其中所述超像素被编号以示出货架分段的集群；图14B是示出了叠加有超像素的示例性实际货架图的一部分，其中所述超像素被编号以示出货架分段的集群；图15是示出具有最少超像素和具有最多非水平线的超像素的集群之间的交叉的示例性图示；图16示出了叠加有超像素的连通分量的示例性的实际货架图的一部分，其中所述连通分量被编号以示出货架超像素的集群并且示出假设的标签位置；图17是用于确定实际货架图图像中的多个特定对象的存在和位置的示例性方法的流程图；图18示出了图中的多个匹配点的描述符差异的示例性条形图；图19A示出了相同高度的货品的堆叠的示例性图示；图19B示出了叠加有识别出图中的未被索引的对象的边界框的示例性实际货架图的一部分；图20是用于在实际货架图图像中找到空闲空间的示例性方法的流程图；图21A示出了识别通过分段算法分段的“缺货”和“其他”区域的示例性实际货架图的一部分；图21B示出了识别“缺货”和“其他”区域的示例性实际货架图的一部分；图22示出了识别被扩展有超像素的“缺货”和“其他”区域的示例性实际货架图的一部分；图23A和图23B分别示出了在进行分段算法的1次迭代和10次迭代之后指示缺货或其他区域的被叠加有超像素的示例性实际货架图；图24是示出了用于潜在未知产品的被叠加有连通分量多边形的示例性实际货架图；图25是用于从图像中提取价格的示例方法的流程图；以及图26以表格示出了货架假设的示例。示出了本文中描述的本申请各个实施例的附图仅用于说明目的。从以下论述中容易理解的是，可以采用本文中说明的结构和方法的替代实施例，而不偏离本文中描述的技术的主旨。具体实施方式图1是说明了用于分析零售货架的图像的系统100的一个示例性实施例的高层框图。所示的系统100包括成像设备115和实际货架图分析服务器101。在所示的实施例中，经由网络105可通信地耦接系统100的实体。网络105可以是常规类型的有线或无线网络，并且可以具有各种不同的配置，包括星形配置、令牌环配置或其他配置。此外，网络105可以包括局域网(LAN)、广域网(WAN)(例如互联网)和/或其他互连的数据路径，其中多个设备可以跨过网络105进行通信。在一些实施例中，网络105可以是对等网络。网络105还可以耦接到或包括通信网络的一部分，用于以各种不同的通信协议发送数据。在一些实施例中，网络105包括用于发送和接收数据的蓝牙通信网络或蜂窝通信网络，包括经由短消息服务(SMS)、多媒体消息服务(MMS)、超文本传输协议(HTTP)、直接数据连接、WAP、电子邮件等。尽管图1中所示的一个网络105耦接到了成像设备115和实际货架图分析服务器101，但在实际上一个或多个网络可以连接到这些实体。在所示的实施例中，系统100包括与网络105耦接的实际货架图分析服务器101。实际货架图分析服务器101可以是计算设备，该计算设备包括处理器、存储器、网络通信能力和数据存储(例如数据存储143)。在图1的示例中，实际货架图分析服务器101的组件被配置为实现实际货架图分析应用103，在下文中对此进行更详细地描述。实际货架图分析服务器101可以从成像设备115或从另一个源接收例如经由互联网浏览器或电子邮件等上传的一个或多个图像以进行分析。尽管图1的示例包括一个实际货架图分析服务器101，但系统100也可以包括一个或更多的实际货架图分析服务器101。数据存储143是存储用于提供本文中描述的功能的数据的非暂时性存储器。数据存储143可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪速存储器或一些其他的存储器设备。在一些实施例中，数据存储143还可以包括非易失性存储器或其他类似的永久性存储设备和介质，包括硬盘驱动器、软盘驱动器、CD-ROM设备、DVD-ROM设备、DVD-RAM设备、DVD-RW设备、闪本文档来自技高网...

【技术保护点】
一种计算机实现的图像识别方法，包括：接收多个被组织的对象的图像；基于所述多个被组织的对象的图像中的各组像素来生成超像素；利用从对所述多个被组织的对象的图像进行图像分析得到的信息和观察值，为超像素加标签；以及基于所述超像素识别所述多个被组织的对象的图像中的区域。

【技术特征摘要】
2014.12.10 US 62/090,177;2015.03.06 US 14/641,290;1.一种计算机实现的图像识别方法，包括：
接收多个被组织的对象的图像；
基于所述多个被组织的对象的图像中的各组像素来生成超像素；
利用从对所述多个被组织的对象的图像进行图像分析得到的信息和观察值，为超像素
加标签；以及
基于所述超像素识别所述多个被组织的对象的图像中的区域。
2.如权利要求1所述的方法，还包括：识别所述图像中被索引的对象，其中利用所述信
息和观察值为超像素加标签包括利用对象标识符为超像素加标签。
3.如权利要求1所述的方法，还包括：使用所述信息和观察值生成区域假设。
4.如权利要求3所述的方法，还包括：验证所述区域假设。
5.如权利要求4所述的方法，还包括：使用经验证的区域假设对所述图像的区域进行分
类。
6.如权利要求1所述的方法，其中所述区域包括由下列各项组成的组中的一项或多项：
已知的对象、空闲货架空间、货架特征和标签。
7.如权利要求1所述的方法，还包括：
识别货架之下的空闲区域；
将超像素分类为空闲或其他；
对所述超像素迭代使用分段算法，以将所述超像素中的每一个超像素重新分类为空闲
或其他；以及
基于经过重新分类的超像素，识别所述图像中的空闲货架空间。
8.一种图像识别系统，包括...

【专利技术属性】
技术研发人员：爱德华·L·施瓦茨，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP