货品识别方法、货品识别系统及电子设备技术方案

本发明专利技术提供一种货品识别方法、货品识别系统及电子设备。货品识别方法包括用户影像采集、信号获取、影像截取、货品种类判断等步骤。本发明专利技术实时监控货品识别系统的货架，实时获取一货品变动信号，记录发生货品变动的托盘的重量变动时段，截取在发生货品变动的托盘的重量变动时段之前或之后的一预设时间段内截取手部所处的空间影像，识别构成该影像的多帧手部空间图片从而快速准确地识别被取走或被放回的货品的种类，还可以准确识别被取走或被放回的货品的数量，有效减少计算机运算量和降低硬件成本，响应速度快且能耗很小，从根源上有效解决了错拿乱放的问题，很好的提升了用户体验，有利于推广应用。

Goods identification method, goods identification system and electronic equipment

【技术实现步骤摘要】
货品识别方法、货品识别系统及电子设备
本专利技术涉及一种用于零售业货品的货品识别技术，具体地说，涉及一种货品识别方法、货品识别系统及电子设备。
技术介绍
传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份感知技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，计算机或服务器需要准确判定用户从货架上取走或放回至货架的货品的种类、数量及单价等，以便自动为用户实现结算。现有的无人超市解决方案中，也曾提出采用影像识别技术来判断货品的种类，一般需要采用多个安装在货架上的摄像头实时监控货架前方的空间，获取包含被取走或被放回的货品的多帧图片，在这些图片中，货品可能只占整幅图的3-10%，但是需要将整张图片输入至货品识别模型，计算机需要处理大量与货品无关的背景像素点的数据，造成计算机运算资源的巨大浪费，导致出现货品识别缓慢、容易发生卡顿、响应时间长、出错率高等问题。为了提升识别效率、减少卡顿，经营者只能尽力提升计算机的硬件配置，造成硬件成本过高。现有技术中，同种类的货品尽量摆放在同一货架或托盘上，如果用户将某货品从一货架或一托盘取下后，将其放置到另一货架或托盘上，就会造成错拿乱放的问题，对于现有技术的一些解决方案来说，在购物过程中，用户将已拾取的货品放回货架时必须放回原位。当用户在将已拾取的货品错放至其他位置时，计算机不能精准识别被放回货品的种类及数量，不能及时准确地更新购物数据库，用户将货品放回至货架的错误位置后还要支付该商品费用，造成识别错误，影响用户体验。用户将错拿的货品乱放至错误的货架或托盘，进而导致该用户购物记录出错的问题，被业内称为错拿乱放问题。现有技术的一些方案中，在每一货架上安装多个摄像头，用以监控货品状态；同时，在超市顶部设置多个摄像头，用以判断用户位置，同一空间内使用大量摄像头也会造成成本过高的问题。摄像头采集的视频或图片是覆盖面比较大的区域，其内容上大部分是与需要被识别的货品无关的背景影像，如果每次处理视频或图片等影像资料都要处理整个视频或图片的全部信息，计算机或服务器的运算量就会非常大，对计算机的配置要求会很高，造成硬件成本过高的问题。如果能只用顶部的一组摄像头就能实现用户定位追踪功能和实现货品种类的识别，就可以进一步降低硬件成本、维护成本和运营成本。因此，市场上需要有一种新的货品识别方案，利用优化的软件方法来解决现有的技术问题。
技术实现思路
本专利技术的目的在于，提供一种货品识别方法、货品识别系统及电子设备，以解决无人便利店的货品识别问题，以解决用户在购物中因错拿乱放货品导致其购物记录出错的问题，以解决运算量过大/硬件成本过高的问题。为实现上述目的，本专利技术提供一种货品识别方法，包括如下步骤：用户影像采集步骤，实时采集每一用户在一封闭空间内的实时影像；至少一货架被设置于所述封闭空间内，至少一种货品被摆放至所述货架的至少一托盘上；信号获取步骤，获取一货品变动信号；所述货品变动信号为货品减少信号或货品增加信号；所述货品变动信号包括发生货品变动的托盘的位置及发生货品变动的托盘的重量变动时段；影像截取步骤，从至少一用户的实时影像中，截取在一检测时间段内至少一被检测用户在一检测空间内的手部所处的空间影像，包括连续多帧手部空间图片；以及货品种类判断步骤，根据所述多帧手部空间图片及一货品识别模型判断在所述检测时间段内所述被检测用户手上货品的种类。进一步地，在所述用户影像采集步骤之前，还包括用户身份识别步骤，一用户在进入所述封闭空间时，或者，在进入所述封闭空间前，获取该用户的身份信息；在所述信号获取步骤之后，还包括：取放状态判断步骤，根据所述货品变动信号判断货品的取放状态；当所述货品变动信号为货品减少信号时，判断所述货架上有货品被取走；当所述货品变动信号为货品增加信号时，判断有货品被放至所述货架。进一步地，在所述信号获取步骤与所述影像截取步骤之间，还包括：变动时间点获取步骤，根据发生货品变动的托盘的重量变动时段，获取托盘重量发生变动的起始时间点T1及托盘重量停止变动的结束时间点T2；以及检测时间段计算步骤，计算检测时间段的范围，所述检测时间段为所述时间点T1之前或所述时间T2之后的一预设时间段；当所述货品变动信号为货品增加信号时，所述检测时间段为T1-T3到T1这一时段；当所述货品变动信号为货品减少信号时，所述检测时间段为T2到T2+T4这一时段；其中，T3、T4为预设时长。进一步地，在所述信号获取步骤与所述影像截取步骤之间，还包括：检测空间范围计算步骤，根据所述发生货品变动的货架的位置计算一检测空间的范围；所述检测空间为所述货架内部空间和/或所述货架前方一预设的空间；手部位置获取步骤，获取每一用户的两个手部的任一关键点的位置；被检测用户判断步骤，将每一用户的两个手部位置与所述检测空间的范围对比，当一用户的至少一手部在所述检测时间段内位于所述检测空间内时，该用户即为被检测用户；以及手部空间范围计算步骤，计算所述被检测用户位于所述检测空间内的手部所处的手部空间的范围。进一步地，所述检测空间的长度与所述货架长度一致，所述检测空间的宽度为0.1~1米，所述检测空间的高度为0.1~2.5米。所述手部空间的形状包括球体或正方体；和/或，所述手部空间的中心点为用户位于检测空间内的手部的一关键点。进一步地，所述手部位置获取步骤，具体包括如下步骤：实时影像采集步骤，实时获取所述封闭空间的三维影像，将所述三维影像分解为三维图；以及关键点检测步骤，将至少一帧三维图输入至一骨骼追踪模型，所述骨骼追踪模型输出至少一用户身体的关键点的坐标，包括用户手部的关键点坐标。进一步地，在所述货品种类判断步骤之前，还包括模型构建步骤，构建货品识别模型，用以识别至少一种货品；所述模型构建步骤包括样本采集步骤以及模型训练步骤；所述样本采集步骤为采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；所述模型训练步骤为根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取所述货品识别模型。进一步地，所述货品种类判断步骤包括如下步骤：组别标识获取步骤，将所述至少一帧手部空间图片依次输入至所述货品识别模型，获取每一帧手部空间图片所对应的组别标识，将可能出现的至少一种组别标识作为可能性结论；以及标识可信度计算步骤，计算每一种组别标识的可信度，所述可信度为所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值；可信度最大的组别标识所对应的货品的种类即为所述手部图片上显示的货品的种类。进一步地，在所述货品种类判断步骤之后，还包括：货品数量计算步骤，根据安装在每一托盘处的传感器的实时感应值的变化差值、每一种类货品的单品特征值以及每一托盘上发生变动的货品种类计算每一托盘上的货品的变动本文档来自技高网...

【技术保护点】
1.一种货品识别方法，其特征在于，包括如下步骤：/n用户影像采集步骤，实时采集每一用户在一封闭空间内的实时影像；至少一货架被设置于所述封闭空间内，至少一种货品被摆放至所述货架的至少一托盘上；/n信号获取步骤，获取一货品变动信号；所述货品变动信号为货品减少信号或货品增加信号；所述货品变动信号包括发生货品变动的托盘的位置及发生货品变动的托盘的重量变动时段；/n影像截取步骤，从至少一用户的实时影像中，截取在一检测时间段内至少一被检测用户在一检测空间内的手部所处的空间影像，包括连续多帧手部空间图片；以及 货品种类判断步骤，根据所述多帧手部空间图片及一货品识别模型判断在所述检测时间段内所述被检测用户手上货品的种类。/n

【技术特征摘要】
1.一种货品识别方法，其特征在于，包括如下步骤：
用户影像采集步骤，实时采集每一用户在一封闭空间内的实时影像；至少一货架被设置于所述封闭空间内，至少一种货品被摆放至所述货架的至少一托盘上；
信号获取步骤，获取一货品变动信号；所述货品变动信号为货品减少信号或货品增加信号；所述货品变动信号包括发生货品变动的托盘的位置及发生货品变动的托盘的重量变动时段；
影像截取步骤，从至少一用户的实时影像中，截取在一检测时间段内至少一被检测用户在一检测空间内的手部所处的空间影像，包括连续多帧手部空间图片；以及货品种类判断步骤，根据所述多帧手部空间图片及一货品识别模型判断在所述检测时间段内所述被检测用户手上货品的种类。


2.如权利要求1所述的货品识别方法，其特征在于，
在所述用户影像采集步骤之前，还包括：
用户身份识别步骤，一用户在进入所述封闭空间时，或者，在进入所述封闭空间前，获取该用户的身份信息；
在所述信号获取步骤之后，还包括：
取放状态判断步骤，根据所述货品变动信号判断货品的取放状态；当所述货品变动信号为货品减少信号时，判断所述货架上有货品被取走；当所述货品变动信号为货品增加信号时，判断有货品被放至所述货架。


3.如权利要求1所述的货品识别方法，其特征在于，
在所述信号获取步骤与所述影像截取步骤之间，还包括：
变动时间点获取步骤，根据发生货品变动的托盘的重量变动时段，获取托盘重量发生变动的起始时间点T1及托盘重量停止变动的结束时间点T2；以及
检测时间段计算步骤，计算检测时间段的范围，所述检测时间段为所述时间点T1之前或所述时间T2之后的一预设时间段；
当所述货品变动信号为货品增加信号时，所述检测时间段为T1-T3到T1这一时段；
当所述货品变动信号为货品减少信号时，所述检测时间段为T2到T2+T4这一时段；其中，T3、T4为预设时长。


4.如权利要求1所述的货品识别方法，其特征在于，
在所述信号获取步骤与所述影像截取步骤之间，还包括：
检测空间范围计算步骤，根据所述发生货品变动的货架的位置计算一检测空间的范围；所述检测空间为所述货架内部空间和/或所述货架前方一预设的空间；
手部位置获取步骤，获取每一用户的两个手部的任一关键点的位置；
被检测用户判断步骤，将每一用户的两个手部位置与所述检测空间的范围对比，当一用户的至少一手部在所述检测时间段内位于所述检测空间内时，该用户即为被检测用户；以及
手部空间范围计算步骤，计算所述被检测用户位于所述检测空间内的手部所处的手部空间的范围。


5.如权利要求4所述的货品识别方法，其特征在于，
所述检测空间的长度与所述货架长度一致，
所述检测空间的宽度为0.1~1米，所述检测空间的高度为0.1~2.5米；
所述手部空间的形状包括球体或正方体；和/或，
所述手部空间的中心点为用户位于所述检测空间内的手部的一关键点。


6.如权利要求5所述的货品识别方法，其特征在于，
所述手部位置获取步骤，具体包括如下步骤：
实时影像采集步骤，实时获取所述封闭空间的三维影像，将所述三维影像分解为三维图；以及
关键点检测步骤，将至少一帧三维图输入至一骨骼追踪模型，所述骨骼追踪模型输出至少一用户身体的关键点的坐标，包括用户手部的关键点坐标；
（如果连续N次执行所述关键点检测步骤，连续输入N帧三维图至骨骼追踪模型，可以得到连续N个用户手部关键点坐标形成的运动轨迹）；
（所述骨骼追踪模型为基于深度学习的3Dposeestimation模型，该模型可以实时记录特定空间内的每一个用户的多个骨骼关键点的运动轨迹）。


7.如权利要求1所述的货品识别方法，其特征在于，
在所述货品种类判断步骤之前，还包括步骤：
模型构建步骤，构建货品识别模型，用以识别至少一种货品；
所述模型构建步骤包括：
样本采集步骤，采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；以及模型训练步骤，根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取所述货品识别模型。


8.如权利要求1所述的货品识别方法，其特征在于，所述货品种类判断步骤包括如下步骤：组别标识获取步骤，将所述至少一帧手部空间图片依次输入至所述货品识别模型，获取每一帧手部空间图片所对应的组别标识，将可能出现的至少一种组别标识作为可能性结论；以及标识...

【专利技术属性】
技术研发人员：冯立男，张一玫，
申请(专利权)人：上海追月科技有限公司，
类型：发明
国别省市：上海;31