物品信息识别方法、制冷设备和计算机存储介质技术

本发明专利技术揭示了一种物品信息识别方法、制冷设备和计算机存储介质，所述方法包括步骤：获取鸟瞰图像；定位鸟瞰图像中的字符区域，生成多个识别框，每个识别框内包含一个物品表面的字符信息；检测识别框内的字符信息及字符信息相对应的格式信息；根据识别框内的字符信息及字符信息相对应的格式信息，输出识别框对应物品的品类信息。以解决现有技术中用目标检测算法和目标识别算法无法将放置于制冷设备中的物品完全准确识别的问题，提高物品识别的准确率。率。率。

【技术实现步骤摘要】
物品信息识别方法、制冷设备和计算机存储介质


[0001]本专利技术涉及制冷装置领域，尤其涉及一种物品信息识别方法、制冷设备和计算机存储介质。

技术介绍

[0002]随着电器智能化的发展，对内部物品进行识别已经是智能冰箱所必需的功能。通常为了实现对冰箱内存放物品的识别，冰箱内部都安装有一个或多个摄像头用于采集冰箱内物品照片，并对采集到的照片进行识别处理后发送到使用终端，以供用户查看。将摄像头设于物品上方可以避免物品互相遮挡的问题，而提高物品信息识别的准确率。
[0003]但是，对于冰箱瓶座内物品品牌和种类的识别还是会存在漏识别或者识别错误的情况，比如对于智能冰箱牛奶专区里存放的牛奶，其可能是来自xx品牌的xx型牛奶，或是来自xx品牌的另一xx型牛奶，或是来自别的品牌的xx型牛奶，现有算法只能根据牛奶瓶形状和颜色大概识别该牛奶品类，并无法准确识别存放于牛奶专区内所有牛奶的细分品类。

技术实现思路

[0004]本专利技术的目的在于提供一种物品信息识别方法、制冷设备和计算机存储介质。
[0005]为实现上述专利技术目的之一，本专利技术一实施方式提供一种物品信息识别方法，包括步骤：
[0006]获取鸟瞰图像；
[0007]定位所述鸟瞰图像中的字符区域，生成多个识别框，每个识别框内包含一个物品表面的字符信息；
[0008]检测所述识别框内的字符信息及字符信息相对应的格式信息；
[0009]根据所述识别框内的字符信息及字符信息相对应的格式信息，输出所述识别框对应物品的品类信息。
[0010]作为本专利技术一实施方式的进一步改进，所述定位所述鸟瞰图像中的字符信息，生成多个识别框，每个识别框内包含一个物品表面的字符信息，具体包括：
[0011]利用DBnet文字区域检测算法，定位所述鸟瞰图像中的生产日期区域，生成多个识别框，每个识别框内包含一个物体表面的生产日期信息。
[0012]作为本专利技术一实施方式的进一步改进，所述检测所述识别框内的字符信息及字符信息相对应的格式信息，具体包括：
[0013]利用CRNN和CTC文字内容识别算法，检测所述识别框内所有生产日期信息；
[0014]输出所述识别框内生产日期的字符信息及字符信息相对应的格式信息。
[0015]作为本专利技术一实施方式的进一步改进，所述输出所述识别框内生产日期的字符信息及字符信息相对应的格式信息，具体包括：
[0016]输出所述识别框内的数字信息、字母信息、符号信息和空格信息及其排列方式。
[0017]作为本专利技术一实施方式的进一步改进，所述方法还包括：
[0018]获取预设的物品品类的生产日期的字符信息及字符信息相对应的格式信息。
[0019]作为本专利技术一实施方式的进一步改进，所述方法还包括：
[0020]检测所述鸟瞰图像中的物品，对所述物品进行识别，当目标识别错误或目标识别缺失时，则定位所述鸟瞰图像中字符区域，识别所述字符区域内字符信息及字符信息相对应的格式信息。
[0021]作为本专利技术一实施方式的进一步改进，所述检测所述鸟瞰图像中的物品，对所述物品进行识别，具体包括：
[0022]获取预设的物品品类相对应的物品形状和颜色信息；
[0023]利用YOLO v4目标检测算法，检测出所述鸟瞰图像中的物品，并在所述物品处生成对应的物品检测框；
[0024]利用Resnet目标识别算法，识别所述检测框内物品形状和颜色信息，与所述预设物品品类相对应的物品形状和颜色信息相比较，获取其置信度。
[0025]作为本专利技术一实施方式的进一步改进，所述当目标识别错误或目标识别缺失时，则定位所述鸟瞰图像中字符区域，识别所述字符信息及字符信息相对应的格式信息，具体包括：
[0026]若所述置信度超过0.9，则可直接输出该检测框对应物品的品类信息；
[0027]若所述置信度不超过0.9，则定位所述鸟瞰图像中字符区域，识别所述字符区域内字符信息及字符信息相对应的格式信息。
[0028]本专利技术提供一种制冷设备，包括：瓶座，摄像头以及存储器和处理器，其中，
[0029]所述摄像头设于所述瓶座顶部中间位置，竖直向下设置；
[0030]所述瓶座底部用于放置物品；
[0031]所述存储器存储可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施方式中所述物品信息识别方法的步骤。
[0032]本专利技术还提供一种计算机存储介质，其中存储有计算机程序，所述计算机程序运行时导致所述计算机存储介质的所在设备执行根据如上任意一实施方式中所述物品信息识别方法的步骤。
[0033]本专利技术的有益之处在于：对物品表面的字符区域生成相应的识别框，每个识别框内包含一个物品表面的字符信息，检测该字符信息的格式信息，根据该字符信息的格式信息，判断该识别框对应物品的品类信息，以解决现有技术中用目标检测算法和目标识别算法无法将放置于制冷设备中的物品完全准确识别的问题，提高物品识别的准确率。
附图说明
[0034]图1是本专利技术一实施方式中的物品信息识别方法流程示意图。
[0035]图2是本专利技术一实施方式中的拍摄获取的鸟瞰图像示意简图。
[0036]图3是本专利技术另一实施方式中的物品信息识别方法流程示意图。
[0037]图4是本专利技术另一实施方式中的拍摄获取的鸟瞰图像示意简图。
具体实施方式
[0038]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式
及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
[0039]下面详细描述本专利技术的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0040]为方便说明，本文使用表示空间相对位置的术语来进行描述，例如“上”、“下”、“后”、“前”等，用来描述附图中所示的一个单元或者特征相对于另一个单元或特征的关系。空间相对位置的术语可以包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的装置翻转，则被描述为位于其他单元或特征“下方”或“上方”的单元将位于其他单元或特征“下方”或“上方”。因此，示例性术语“下方”可以囊括下方和上方这两种空间方位。
[0041]随着用户生活需求的不断提高，现有对制冷设备，如智能冰箱内各个储藏室的功能划分越来越细，可以有单独存放蔬菜的冷藏专区、单独存放水果的冷藏专区、或者单独存放牛奶的冷藏专区，本专利技术以下实施方式中所述的提高物品检测准确率的方法主要以放置于智能冰箱瓶座内的物品为例进行说明，如智能冰箱的牛奶专区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物品信息识别方法，其特征在于，包括步骤：获取鸟瞰图像；定位所述鸟瞰图像中的字符区域，生成多个识别框，每个识别框内包含一个物品表面的字符信息；检测所述识别框内的字符信息及字符信息相对应的格式信息；根据所述识别框内的字符信息及字符信息相对应的格式信息，输出所述识别框对应物品的品类信息。2.根据权利要求1所述的物品信息识别方法，其特征在于，所述定位所述鸟瞰图像中的字符信息，生成多个识别框，每个识别框内包含一个物品表面的字符信息，具体包括：利用DBnet文字区域检测算法，定位所述鸟瞰图像中的生产日期区域，生成多个识别框，每个识别框内包含一个物体表面的生产日期信息。3.根据权利要求2所述的物品信息识别方法，其特征在于，所述检测所述识别框内的字符信息及字符信息相对应的格式信息，具体包括：利用CRNN和CTC文字内容识别算法，检测所述识别框内所有生产日期信息；输出所述识别框内生产日期的字符信息及字符信息相对应的格式信息。4.根据权利要求3所述的物品信息识别方法，其特征在于，所述输出所述识别框内生产日期的字符信息及字符信息相对应的格式信息，具体包括：输出所述识别框内的数字信息、字母信息、符号信息和空格信息及其排列方式。5.根据权利要求1所述的物品信息识别方法，其特征在于，所述方法还包括：获取预设的物品品类的生产日期的字符信息及字符信息相对应的格式信息。6.根据权利要求1所述的物品信息识别方法，其特征在于，所述方法还包括：检测所述鸟瞰图像中的物品，对所述物品进行识别，当目标识别错误或目标识别缺失时，则定位所述鸟瞰图像...

【专利技术属性】
技术研发人员：毕研华，孔令磊，高洪波，
申请(专利权)人：青岛海尔电冰箱有限公司海尔智家股份有限公司，
类型：发明
国别省市：