货品监控系统及监控方法技术方案

本发明专利技术提供一种货品监控系统及货品监控方法，所述货品监控系统包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；所述货品监控系统还包括第一货品感知系统以及第二货品感知系统，所述货品监控方法包括如下步骤：架板设置步骤、第一货品感知步骤以及第二货品感知步骤。本发明专利技术用技术手段解决了用户错拿错放的技术问题，即使用户将货品错放在其他架板上，也可以准确有效地记载用户的购物信息，确保结算信息与实际购物情况始终相符。

Goods monitoring system and monitoring method

The invention provides a goods monitoring system and a goods monitoring method. The goods monitoring system includes a closed space with a shelf, each shelf includes a shelf, each shelf contains goods, and each shelf has a weight sensing device; the goods monitoring system also includes a first goods sensing system and a first goods sensing system. The goods monitoring method comprises the following steps: shelf setting step, the first goods sensing step and the second goods sensing step. The invention solves the technical problem of mistaking and misplacing the goods by users by technical means. Even if the goods are misplaced on other shelves by users, the shopping information of users can be accurately and effectively recorded to ensure that the settlement information is consistent with the actual shopping situation.

【技术实现步骤摘要】
货品监控系统及监控方法
本专利技术涉及一种零售业管理系统的解决方案，具体地说，涉及一种货品监控系统及监控方法。
技术介绍
传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份识别技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判断每一个用户在无人超市中的每一次购物行为，确定每一个用户从超市中带走或消费的所有货品的种类、数量及单价，以便为用户实现结算。现有技术中，有人采用RFID技术感知用户选购的货品，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID阅读器，当用户走出门禁时就可以记录其消费内容。这一方案的不足之处在于，首先，硬件成本较高，每一RFID标签的价格大约在0.5-1元左右，标签会提升每一种商品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装RFID标签会提升其成本的10-20%；其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽RFID阅读器的现象，导致货品丢失；再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市在经营过程中的风险较大。
技术实现思路
本专利技术的目的在于，提供一种货品监控系统及监控方法，可有效解决现有技术中存在的货品识别精准度差、误差较大、货品易丢失、经营风险大的技术问题。为实现上述目的，本专利技术提供一种货品监控系统，包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知系统，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知系统，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。为实现上述目的，本专利技术还提供一种货品监控方法，包括如下步骤：架板设置步骤，在封闭空间内设置货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知步骤，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知步骤，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。本专利技术的有益效果在于，提供一种货品监控系统及监控方法，应用于无人超市，采用架板重量监测技术实时感知每一架板的重量变化，结合货架前方区域的影像监测技术判断被取走或被放回货品的种类及数量；利用人体实时定位技术判断取走或放回货品的用户身份，从而记录每一用户在无人超市中取走货品的种类及数量，在购物过程完成后为其结算。本专利技术用技术手段解决了用户错拿错放的技术问题，即使用户将货品错放在其他架板上，也可以准确有效地记载用户的购物信息，确保用户结算信息与实际购物情况始终相符。本专利技术中货品无需增加硬件成本，系统感知灵敏，误差极小，可准确判断每一用户每次取走或放回货品的购物行为，可准确记录每一用户在无人超市购买货品的种类及数量，可以有效杜绝偷盗现象。此外，本专利技术需要的用户操作较少，只需入门前扫码及确认支付即可，进入方便，结算快捷，用户体验良好。相对于传统零售行业，使用本专利技术的无人超市，运营过程中完全依靠计算机监管，无需人工干预，可以有效降低人力成本。附图说明图1为本专利技术实施例所述的无人超市俯视图；图2为本专利技术实施例所述的托盘及架板的结构示意图；图3为本专利技术实施例所述货架的整体结构示意图；图4为本专利技术实施例所述用户身份识别系统的结构框图；图5为本专利技术实施例所述目标物定位系统的结构框图；图6为本专利技术实施例所述第一货品感知系统的结构框图；图7为本专利技术实施例所述第二货品感知系统的结构框图；图8为本专利技术实施例所述第二摄像头与所述货架的位置关系示意图；图9为本专利技术实施例所述购物用户判断系统的结构框图；图10为本专利技术实施例所述购物数据库系统的结构框图；图11为本专利技术实施例所述纠错系统的结构框图；图12为本专利技术实施例所述结算系统的结构框图；图13为本专利技术实施例中一种货品监控方法的流程图；图14为本专利技术实施例中第一货品感知步骤的流程图；图15为本专利技术实施例中取放状态判断步骤的流程图；图16为本专利技术实施例中购物信息记录步骤的流程图；图17为本专利技术实施例中第二货品感知步骤的流程图；图18为本专利技术实施例中货品种类判断步骤的流程图；图19为本专利技术实施例中另一种货品监控方法的流程图。图中部件标号如下：1封闭空间，2货架，3支架，4托盘，5架板，6重量感应装置，7数据处理设备；100用户身份识别系统，101门禁装置，102身份识别装置；1021扫码装置，1022身份获取单元，103用户入口，104用户出口；200目标物定位系统，201三维影像采集装置，202目标物坐标获取单元；300第一货品感知系统，301货品数据库生成单元，302重量值采集单元，303取放状态判断单元，304货品数据库更新单元；305货品种类推断单元；3011初始化单元，3012信息录入单元，3013感应值初始化单元；3031重量差值计算单元，3032重量差值判断单元，3033架板信息记录单元；3034货品种类判断单元，3035货品数量计算单元；400第二货品感知系统，401样本采集单元，402模型训练单元，403实时图片采集单元，404货品种类获取单元，405第一摄像头，406第二摄像头；407被放货品确认单元；408取走货品确认单元；4021样本分类单元，4022分组模型训练单元，4023交叉验证单元；40221特征提取单元，40222候选区域生成单元，40223候选区域映射单元，40224分类器生成单元；40231测试样本输入单元，40232准确率计算单元；4041组别标识获取单元，4042标识可信度计算单元；40411第二特征提取单元，40412第二候选区域生成单元，40413第二候选区域映射单元，40414组别获取单元；500购物用户判断系统，501货品信息存储单元，502架板坐标存储单元，503架板与用户匹配判断单元，504货品与用户匹配判断单元；600购物数据库系统，601购物数据库生成单元，602购物数据库更新单元；700纠错系统，701货品错放判断单元；800结算系统，801总金额计算单元，802支付单元。具体实施方式以下参考说明书附图完整介绍本专利技术的优选实施例，使其
技术实现思路
更加清楚和便于理解。本专利技术可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装本文档来自技高网...

【技术保护点】
1.一种货品监控系统，其特征在于，包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知系统，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知系统，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。

【技术特征摘要】
2017.12.18 CN 20171136639041.一种货品监控系统，其特征在于，包括封闭空间，其内设有货架，每一货架包括架板，每一架板上放置有货品，每一架板内设有重量感应装置；第一货品感知系统，用以根据每一架板的重量感应值的实时变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量；以及第二货品感知系统，用以根据所述货架前方空间的影像变化实时感知每一货品的取放状态，实时获取被取走或被放回的货品的种类及数量。2.如权利要求1所述的货品监控系统，其特征在于，所述第一货品感知系统包括货品数据库生成单元，用以生成一货品数据库，包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；重量值采集单元，用以实时采集每一架板的实时重量感应值；取放状态判断单元，用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走；若变大，判定有物品被放置于该架板上；以及货品数据库更新单元，用以存储所述实时重量感应值至所述货品数据库存储单元，以更新所述货品数据库中该架板的重量感应值。3.如权利要求2所述的货品监控系统，其特征在于，所述取放状态判断单元包括重量差值计算单元，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；重量差值判断单元，用以将至少一架板的重量差值与0对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置；以及架板信息记录单元，当一架板的重量差值大于0或小于0时，用以记录该架板的架板编号以及该架板的重量差值。4.如权利要求3所述的货品监控系统，其特征在于，当同一架板上所有货品种类相同且重量相同时，所述第一货品监控系统还包括货品种类判断单元，当一架板的重量差值小于0时，用以根据该架板编号及该架板对应的货品信息判断被取走货品的种类；以及货品数量计算单元，当一架板的重量差值小于0时，用以计算一架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被放回或被取走货品的数量。5.如权利要求1所述的货品监控系统，其特征在于，所述第二货品感知系统包括样本采集单元，用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，所述组别标识为该组图片样本对应的货品的种类；模型训练单元，用以根据多组图片样本的每一样本图片及每一样本图片的组别标识训练卷积神经网络模型，获取货品识别模型；实时图片采集单元，用以连续采集所述货架前方空间的至少一实时图片，每一实时图片包括至少一货品影像的部分或全部；以及货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。6.如权利要求5所述的货品监控系统，其特征在于，所述货品种类获取单元还包括组别标识获取单元，将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识，作为可能性结论；以及标识可信度计算单元，计算所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。7.如权利要求1所述的货品监控系统，其特征在于，还包括购物用户判断系统，用以判断取走或放回货品的用户的身份；以及购物数据库更新单元，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。8.如权利要求7所述的货品监控系统，其特征在于，还包括货品数据库生成单元，用以生成一货品数据库，包括每一货品的货品信息及用以放置货品的每一架板的重量感应值；所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号；重量差值计算单元，用以计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值；以及货品种类推断单元，当货品被一用户放回至一架板时，判断该用户的购物数据库中至少一种已购货品的重量值总和与该架板的重量差值是否相等，若是，推断出被放回货品的种类及数量的R种可能性结论；所述第二货品感知系统包括货品种类获取单元，当货品被一用户放回至一架板时，用以根据所述货架前方空间的实时图片及一货品识别模型获取被放回货品的种类及数量的T种可能性结论，并记录每种可能性结论的可信度；以及被放货品确认单元，对比所述货品种类获取单元获取被放回货品的种类及数量的T种可能性结论与所述货品种类推断单元推断出的被放回货品的种类及数量的R种可能性结论，若二者中有至少一可能性结论相同，相同的可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被放回货品的种类及数量。9.如权利要求8所述的货品监控系统，其特征在于，还包括货品错放判断单元，当物品被一用户放回至一架板时，对比所述被放回货品的种类与该架板对应的货品种类，若被放回货品中有至少一种货品与该架板对应的货品种类不同，记录该架板为错放架板，记录被错放货品的货品信息及该架板编号；当货品被从一错放架板取走时，所述货品种类推断单元用以根据该架板编号、该架板对应的货品信息、被错放货品的货品信息以及该架板的重量差值推断被取走货品的种类及数量的U种可能性结论；当货品被从一错放架板取走时，所述货品种类获取单元用以根据所述货架前方空间的实时图片及一货品识别模型获取被取走货品的种类及数量的V种可能性结论，并记录每种可能性结论的可信度；以及取走货品确认单元，对比所述货品种类获取单元获取被取走货品的种类及数量的V种可能性结论与所述货品种类推断单元推断出的被取走货品的种类及数量的U种可能性结论，若二者中有至少一可能性结论相同，相同可能性结论中可信度最大的可能性结论所对应的货品的种类及数量即为被取走货品的种类及数量。10.一种货品...

【专利技术属性】
技术研发人员：夏鼎，冯立男，马捷昱，李庭涛，邬文尧，张一玫，
申请(专利权)人：上海云拿智能科技有限公司，
类型：发明
国别省市：上海,31