一种商品信息确定方法、装置及电子设备制造方法及图纸

技术编号:24354799 阅读:44 留言:0更新日期:2020-06-03 02:19
本发明专利技术实施例提供了一种商品信息确定方法、装置及电子设备,所述方法包括:获取包含商品区域的第一图像;确定第一图像所包含的目标区域;其中,目标区域为第一图像相对于第二图像发生商品变化的区域,第二图像为已确定商品信息的、包含商品区域的图像;识别目标区域中的商品的第一商品信息;基于第一商品信息和第二商品信息,确定第一图像中的商品的目标商品信息,其中,第二商品信息为第二图像所包含参考区域中的商品的商品信息,参考区域为除与目标区域所对应区域以外的区域。通过本发明专利技术实施例提供的技术方案,可以提高商品信息确定方法的场景实用性,并提高确定商品信息的效率以及所确定的商品信息的准确率。

A method, device and electronic equipment for determining commodity information

【技术实现步骤摘要】
一种商品信息确定方法、装置及电子设备
本专利技术涉及数据识别
,特别是涉及一种商品信息确定方法、装置及电子设备。
技术介绍
随着科学技术的发展,无人售货机的应用范围越来越广,其中,该无人售货机可以为无人售货架或无人售货柜。例如,无人售货机可以应用到超市、办公室、校园、食堂、商场等。由于无人售货机没有工作人员的管理,为了确保无人售货机中的商品能够正常有序地销售,需要识别无人售货机中放置的商品的商品信息,如商品的类别,各类别商品的商品数量等;进而,利用该商品信息进行后续的商品处理过程,例如,基于识别所得到的商品信息,确定用户所拿取商品的商品类别和商品数量。相关技术中,确定商品信息的过程通常为:获取图像采集设备所采集的包含商品区域的目标图像,对该目标图像中各个商品的标签区域进行信息识别,得到该目标图像中的商品的商品信息。但是,在实际场景中,无人售货机中通常放置有多个商品,且这多个商品之间可能存在遮挡,因此,图像采集设备所获取的图像可能未能包含各个商品的标签区域,最终导致未能成功识别放置在无人售货机中的商品的商品信息。可见,现有的这种确定商品信息的方法存在场景实用性较低的问题。
技术实现思路
本专利技术实施例的目的在于提供一种商品信息确定方法、装置及电子设备,以提高商品信息确定方法的场景实用性,并提高确定商品信息的效率以及所确定的商品信息的准确率。具体技术方案如下:第一方面,本专利技术实施例提供了一种商品信息确定方法,所述方法包括:获取包含商品区域的第一图像;确定所述第一图像所包含的目标区域;其中,所述目标区域为所述第一图像相对于第二图像发生商品变化的区域,所述第二图像为已确定商品信息的、包含所述商品区域的图像;识别所述目标区域中的商品的第一商品信息;基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息,其中,所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息,所述参考区域为除与所述目标区域所对应区域以外的区域。可选的,在所述识别所述目标区域中的商品的第一商品信息的步骤之前,所述方法还包括:对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域;所述识别所述目标区域中的商品的第一商品信息的步骤,包括:从所述第一图像中的各个商品对应的第一区域中,确定位于所述目标区域的各个第一区域;对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。可选的,所述识别所述目标区域中的商品的第一商品信息的步骤,包括:对所述目标区域中的各个商品进行位置识别,得到位于所述目标区域中的各个第一区域;对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。可选的,所述确定所述第一图像所包含的目标区域的步骤,包括:获取第二图像;针对所述第一图像中的每一区域,将该区域与所述第二图像中相应位置的区域进行差异比对,得到该区域对应的差异值;将差异值大于预设差异值的区域确定为目标区域。可选的,所述对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域的步骤,包括:将所述第一图像输入预先训练好的第一神经网络,得到第一图像中的各个商品的位置信息;针对所述第一图像中的每一商品,将该商品的位置信息所对应的区域,确定为该商品对应的第一区域;其中,所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。可选的,所述对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息的步骤,包括:将所述各个第一区域输入到预先训练好的第二神经网络,得到所述各个第一区域对应的商品类别;基于所述各个第一区域对应的商品类别,确定所述目标区域中的商品的第一商品信息;其中,所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。可选的,所述第一商品信息包括:商品类别和每一商品类别对应的商品数量;在所述基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息的步骤之后,所述方法还包括:将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量,与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对,得到用户所拿取商品的商品类别及商品数量;其中,所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。可选的,在所述将所述第一图像中的商品的商品类别和每一类别商品的数量,与第三图像中的商品的商品类别和每一类别商品的数量进行差异比对,得到用户所拿取商品的商品类别及商品数量的步骤之后,所述方法还包括:基于用户所拿取商品的商品类别,确定用户所拿取商品的商品价格;基于所确定的商品价格与商品数量,计算用户所拿取商品的商品总价;将所述商品总价发送至所述用户的用户终端。第二方面,本专利技术实施例提供了一种商品信息确定装置,所述装置包括:第一图像获取模块,用于获取包含商品区域的第一图像;目标区域确定模块,用于确定所述第一图像所包含的目标区域;其中,所述目标区域为所述第一图像相对于第二图像发生商品变化的区域,所述第二图像为已确定商品信息的、包含所述商品区域的图像;商品信息识别模块,用于识别所述目标区域中的商品的第一商品信息;商品信息确定模块,用于基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息,其中,所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息,所述参考区域为除与所述目标区域所对应区域以外的区域。可选的,所述装置还包括:第一区域确定模块,用于在所述商品信息识别模块识别所述目标区域中的商品的第一商品信息之前,对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域;相应地,所述商品信息识别模块,包括:第一区域确定单元,用于从所述第一图像中的各个商品对应的第一区域中,确定位于所述目标区域的各个第一区域;商品类别识别单元,用于对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。可选的,所述商品信息识别模块,包括:第一区域确定单元,用于对所述目标区域中的各个商品进行位置识别,得到位于所述目标区域中的各个第一区域;商品类别识别单元,用于对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。可选的,所述目标区域确定模块,具体用于:获取第二图像;针对所述第一图像中的每一区域,将该区域与所述第二图像中相应位置的区域进行差异比对,得到该区域对应的差异值;将差异值大于预设差异值的区域确定为目标区域。...

【技术保护点】
1.一种商品信息确定方法,其特征在于,所述方法包括:/n获取包含商品区域的第一图像;/n确定所述第一图像所包含的目标区域;其中,所述目标区域为所述第一图像相对于第二图像发生商品变化的区域,所述第二图像为已确定商品信息的、包含所述商品区域的图像;/n识别所述目标区域中的商品的第一商品信息;/n基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息,其中,所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息,所述参考区域为除与所述目标区域所对应区域以外的区域。/n

【技术特征摘要】
1.一种商品信息确定方法,其特征在于,所述方法包括:
获取包含商品区域的第一图像;
确定所述第一图像所包含的目标区域;其中,所述目标区域为所述第一图像相对于第二图像发生商品变化的区域,所述第二图像为已确定商品信息的、包含所述商品区域的图像;
识别所述目标区域中的商品的第一商品信息;
基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息,其中,所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息,所述参考区域为除与所述目标区域所对应区域以外的区域。


2.根据权利要求1所述的方法,其特征在于,在所述识别所述目标区域中的商品的第一商品信息的步骤之前,所述方法还包括:
对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域;
所述识别所述目标区域中的商品的第一商品信息的步骤,包括:
从所述第一图像中的各个商品对应的第一区域中,确定位于所述目标区域的各个第一区域;
对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。


3.根据权利要求1所述的方法,其特征在于,所述识别所述目标区域中的商品的第一商品信息的步骤,包括:
对所述目标区域中的各个商品进行位置识别,得到位于所述目标区域中的各个第一区域;
对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。


4.根据权利要求1-3任一项所述的方法,其特征在于,所述确定所述第一图像所包含的目标区域的步骤,包括:
获取第二图像;
针对所述第一图像中的每一区域,将该区域与所述第二图像中相应位置的区域进行差异比对,得到该区域对应的差异值;
将差异值大于预设差异值的区域确定为目标区域。


5.根据权利要求2所述的方法,其特征在于,所述对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域的步骤,包括:
将所述第一图像输入预先训练好的第一神经网络,得到第一图像中的各个商品的位置信息;
针对所述第一图像中的每一商品,将该商品的位置信息所对应的区域,确定为该商品对应的第一区域;
其中,所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。


6.根据权利要求2或3所述的方法,其特征在于,所述对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息的步骤,包括:
将所述各个第一区域输入到预先训练好的第二神经网络,得到所述各个第一区域对应的商品类别;
基于所述各个第一区域对应的商品类别,确定所述目标区域中的商品的第一商品信息;
其中,所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。


7.根据权利要求1所述的方法,其特征在于,所述第一商品信息包括:商品类别和每一商品类别对应的商品数量;
在所述基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息的步骤之后,所述方法还包括:
将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量,与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对,得到用户所拿取商品的商品类别及商品数量;
其中,所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。


8.根据权利要求7所述的方法,其特征在于,在所述将所述第一图像中的商品的商品类别和每一类别商品的数量,与第三图像中的商品的商品类别和每一类别商品的数量进行差异比对,得到用户所拿取商品的商品类别及商品数量的步骤之后,所述方法还包括:
基于用户所拿取商品的商品类别,确定用户所拿取商品的商品价格;
基于所确定的商品价格与商品数量,计算用户所拿取商品的商品总价;
将所述商品总价发送至所述用户的用户终端。


9.一种商品信息确定装置,其特征在于,所述装置包括:
第一图像获取模块,用于获取包含商品区域的第一图像;
目标区域确定模块,用于确定所述第一图像所包含的目标区域;其中,所述目标区域为所述第一图像相对于第二图...

【专利技术属性】
技术研发人员:严小乐朱皓童俊艳任烨
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1