一种基于图像处理的管理系统及方法技术方案

本发明专利技术涉及一种基于图像处理的管理系统及方法，该方法包括：使用至少一个第一图像采集装置，其用于采集第一图像以确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置，其用于探测至少一个人员的手部的第二图像；使用至少一个第三图像采集装置，其用于探测至少一个人员的手部的第三图像；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断物品与库存位置的变化之间的对应关系。

【技术实现步骤摘要】
一种基于图像处理的管理系统及方法
本专利技术涉及管理系统和方法，尤其涉及一种基于图像处理的管理系统及方法。
技术介绍
在无人超市逐渐兴起之时，如何同步准确地实现无人超市中购物清单与库存更新就成为了一个热点问题。公开号为CN105531715A的中国专利文献公开了一种基于图像检测的库存更新方法，其中，通过比对拿取货品之前与拿取货品之后的图像来确定库存的更新和购物清单。该方法存在的问题在于，一旦用户取走了物品，但又送回到不恰当的位置时，那么购物清单与库存更新是不准确的。另外，当用户在类型相近似且摆放位置相近似的区域做反复对比时，会对拍照和计算带来挑战，倘若用户以双手同时拿取物品，又放回一件物品至错误位置时，购物清单与库存更新经常都会出现差错。其省略了结算环节，但由此也引发了其他问题。因此，这种自动购物方式存在改进空间。公开号为CN104637198A的中国专利文献公开了一种具有自主跟踪功能的智能结算购物车系统，由MCU微控制器，可控直流电机，压力称重传感器，RFID阅读器，摄像头，无线收发器，触摸显示屏，条码扫描器，银联刷卡器构成自主跟踪和自助结算两大子系统，其特征在于：MCU微控制器1通过压力称重传感器感应的车体重量控制可控直流电机的驱动力大小，以适当速度移动购物车；通过条码扫描器自行扫描物品，触摸显示屏实时显示物品信息和当前所购物品总价，无线收发器实现MCU微控制器与超市后台服务器关于物品信息的实时交互，消费者通过银联刷卡器自行刷卡结算。在该系统中，RFID射频卡作为购物车跟踪的信号源，与购物车建立点到点的单线联系；摄像头随时拍摄购物车周围环境，通过路径识别算法自主规避障碍物，选择跟踪路径；由驱动电机驱动的驱动轮可以左右偏转，根据路径识别算法提供的路径信息，由MCU微控制器控制驱动轮的转向。公告号为CN202904765U的中国专利文献提供一种商场自助智能购物车，包括车架，安装在车架下方的车轮，安装在车架上方的车篮、推杆，推杆下端连接车篮底部的外侧面，其之间的夹角为40-60度，车篮上端和推杆之间安装触摸显示屏，触摸显示屏左侧安装扫描仪、右侧安装刷卡槽，车篮上端安装自动开合感应门。其有益效果是，车篮上端安装自动开合感应门，自动开合感应门上安装感应仪可以感应到所放入的物品，避免在购物过程中错买或多买的麻烦。通过研究以上三项技术方案，本领域技术人员即使将其结合，也无法得到令人满意的无人购物环境。特别是对于多人同时购物的无人超市而言，挑战更大。
技术实现思路
有鉴于前述解决方案的固有问题以及无人超市的其他问题，本专利技术致力于提供一种基于图像处理的管理系统及方法，本专利技术可以用于一种基于图像处理的无人超市。在本专利技术中并非要绝对避免使用RFID标签，但是考虑到RFID标签的成本问题，本专利技术更多地采取普适的图像识别手段。本专利技术公开了一种基于图像处理的管理方法，所述方法包括：使用至少一个第一图像采集装置，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；使用至少一个第三图像采集装置，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。通过该方式，不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置。根据一个优选实施方式，方法还包括：使用至少一个第四图像采集装置，其布置于购物容纳器，用于探测物品进入该购物容纳器的动作，其中，响应于物品进入该购物容纳器的动作，由此确认进入该购物容纳器的所述物品与所述库存位置的变化之间的对应关系。通过该方式，本专利技术可以在物品放入到购物容纳器后，确认进入该购物容纳器的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性。根据一个优选实施方式，所述第四图像采集装置还被配置用于：响应于人员的手部进入该购物容纳器的动作而拍摄手部的第四图像和第五图像，其中，所述第四图像是在该人员的手进入该购物容纳器之前拍摄的，所述第五图像是在该人员的手从该购物容纳器移出之后拍摄的，其中，基于第四图像与第五图像的比较来确定相应人员移出物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。这里的物品的移出对应于将已经放入到购物容纳器中的相应物品从购物容纳器中拿出，相当于该人员有不购买相应物品的倾向。通过该方式，本专利技术可以在从购物容纳器的移出物品之时再一次分析出该过程可能导致的库存位置的变化，使得库存位置能够更加全面、准确地进行更新。根据一个优选实施方式，所述方法还包括：使用至少一个第五图像采集装置，其布置于人员进出通道中，用以采集用于支付和/或注册的识别标识。通过该方式，将第五图像采集装置布置于人员进出通道中采集用于支付和/或注册的识别标识，可以快速地进行价款的结算，极大地提升了结算效率和用户体验，特别是在客流量大、库存数量大的情况下有显著的优势。根据一个优选实施方式，所述第五图像采集装置仅响应于第四图像采集装置提供图像的事件而启动。通过该方式，本专利技术的第五图像采集装置可以在需要的情况下才启动，空闲的情况下可以进行休眠或者待机状态，节约能源。根据一个优选实施方式，所述系统采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，准确地将货架与当前与其互动的人员或存取机构彼此关联起来，使得能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。根据一个优选实施方式，响应于第四图像采集装置提供图像的事件并根据配备该第四图像采集装置的购物容纳器相对于进出通道的位置，第五图像采集装置调整其光学采集方向和焦距。通过该方式，本专利技术的第五图像采集装置可以根据购物容纳器相对于进出通道的位置，采取镜头跟随以及焦距调节地方式清楚、便捷地采集用于支付和/或注册的识别标识，增大了价款结算的范围区间和灵活性，提高用户体验度。根据一个优选实施方式，所述第一图像是在所述第二图像采集装置拍摄到该人员的手部的第二图像之后才由所述第一图像采集装置拍摄的，其中，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的。通过该方式，使得无人超市可以同时应对多人进店采购的场景，仅当存在第一图像的人员再次进行物品存取或放回时，系统才会启动一系列负责的图像分析操作。换而言之，系统对于人员的追踪始于其尝试触及货架上的物品之时。这样不仅可以减少计算开销，还能降低存储开销，降低系统的构建成本和提升系统中各部件的使用效率和系统的流畅度。根据一个优选实施方式，从基于第一图像确定绝对位置的最初时间点开始，该购物容纳器响应于人员持本文档来自技高网...

【技术保护点】
1.一种基于图像处理的管理方法，其特征在于，所述方法包括：使用至少一个第一图像采集装置(11)，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置(12)，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；使用至少一个第三图像采集装置(13)，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

【技术特征摘要】
1.一种基于图像处理的管理方法，其特征在于，所述方法包括：使用至少一个第一图像采集装置(11)，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置(12)，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；使用至少一个第三图像采集装置(13)，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。2.如权利要求1所述的方法，其特征在于，所述方法还包括：使用至少一个第四图像采集装置(14)，其布置于购物容纳器(40)，用于探测物品进入该购物容纳器(40)的动作，其中，响应于物品进入该购物容纳器(40)的动作，由此确认进入该购物容纳器(40)的所述物品与所述库存位置的变化之间的对应关系。3.如权利要求2所述的方法，其特征在于，所述第四图像采集装置(14)还被配置用于：响应于人员的手部进入该购物容纳器(40)的动作而拍摄手部的第四图像和第五图像，其中，所述第四图像是在该人员的手进入该购物容纳器(40)之前拍摄的，所述第五图像是在该人员的手从该购物容纳器(40)移出之后拍摄的，其中，基于第四图像与第五图像的比较来确定相应人员移出物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。4.如权利要求2或3所述的方法，其特征在于，所述方法还包括：使用至少一个第五图像采集装置(15)，其布置于人员进出通道中，用以采集用于支付和/或注册的识别标识，其中，所述第五图像采集装置(15)仅响应于第四图像采集装置(14)提供图像的事件而启动。5.如权利要求1至3之一所述的方法，其特征在于，所述系统采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，准确地将货...

【专利技术属性】
技术研发人员：王曼卿，
申请(专利权)人：王曼卿，
类型：发明
国别省市：北京,11