基于计算机视觉技术的智能称重装置与智能称重方法制造方法及图纸

提供基于计算机视觉技术的智能称重装置与方法。装置包含系统配置组件，被配置为设置智能称重装置的软件参数、硬件参数和商户信息；称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得商品的商品重量信息；视觉传感器，被配置为采集称重平台上放置的商品的视觉信息；识别器，被配置为基于视觉信息、重量信息和识别模型，进行商品识别，获得商品识别结果；识别反馈器，被配置为结合商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台；建模平台，被配置为基于采集的视觉信息、重量信息和用户反馈训练识别模型；商品信息同步组件，被配置为更新商品信息。被配置为更新商品信息。被配置为更新商品信息。

【技术实现步骤摘要】
基于计算机视觉技术的智能称重装置与智能称重方法


[0001]本公开涉及信息处理
，更具体地涉及一种基于计算机视觉技术的智能称重装置与智能称重方法。

技术介绍

[0002]在线下商品销售领域，主要的结算方式是通过扫描商品条形码进行商品识别，进而执行商品结算。这种商品识别和结算效率比较低，导致在人流量大的超市、便利店等地的比较长时间的排队。
[0003]对于例如水果、蔬菜之类的没有商品条形码的非标准商品，顾客通常需要将挑选好的商品送至特定的称重台进行称重计量，人工选择商品种类并打印、贴附包含种类、单价、价格信息的对应的条形码标签，然后顾客拿着条形码标签才能到收银台排队进行结账。因此，对于没有商品条形码的商品，需要大量的人力来进行结算，导致结算成本升高，并且不可避免地增加消费者的排队时间。
[0004]相应地，期望存在一种技术，能够智能地识别和称重没有条形码的商品，并能够根据商品识别结果和称重的结果来便捷地进行商品结算。随着人工智能的发展，尤其是深度学习的应用，使得通过计算机视觉技术智能的识别各式各样的称重商品，提高称重结算效率成为可能。

技术实现思路

[0005]本公开的实施例提供了基于计算机视觉技术的智能称重装置与方法，其能够根据商品识别结果和称重的结果来便捷地进行商品结算，从而提高商品结算的效率、并减少商品结算中所消耗的人力成本。
[0006]根据本公开的一个方面，提供一种基于计算机视觉技术的智能称重装置，包括：
[0007]系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；
[0008]称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；
[0009]视觉传感器，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；
[0010]识别器，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；
[0011]识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；
[0012]建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据
训练识别模型；
[0013]商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。
[0014]在一个实施例中，所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。
[0015]在一个实施例中，所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。
[0016]在一个实施例中，所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。
[0017]在一个实施例中，所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。
[0018]在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。
[0019]在一个实施例中，所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。
[0020]在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。
[0021]在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。
[0022]在一个实施例中，所述第二触发器包括人工选择。
[0023]在一个实施例中，所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。
[0024]在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。在保障识别召回率的同时，减
少了选择的难度。
[0025]在一个实施例中，识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值。
[0026]在一个实施例中，识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。
[0027]在一个实施例中，识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表。
[0028]在一个实施例中，识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。
[0029]在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉技术的智能称重装置，包括：系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；视觉传感器，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；识别器，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统(含自助收银机的POS系统)，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。2.根据权利要求1所述的智能称重装置，其中所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数，其中所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数，其中所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式，其中所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息，其中所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码。3.根据权利要求1所述的智能称重装置，其中所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，其中所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区
域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。4.根据权利要求1所述的智能称重装置，其中所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别，其中所述第二触发器包括人工选择。5.根据权利要求1所述的智能称重装置，其中所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。6.根据权利要求1所述的智能称重装置，其中收银机的POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。7.根据权利要求1所述的智能称重装置，其中识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛...

【专利技术属性】
技术研发人员：韦平，李浩，
申请(专利权)人：融讯伟业北京科技有限公司，
类型：发明
国别省市：