食材管理方法和冰箱技术

本申请提供一种食材管理方法和冰箱，该方法包括：响应于冰箱门体的开启，获取食材存储区域的多帧第一图像；根据多帧第一图像的感兴趣区域ROI和第二图像中对应位置的ROI之间的相似度，确定各帧第一图像中存在的目标ROI；其中，第二图像为采集的食材存储区域的背景图像，第一图像和第二图像分别包含多个ROI，不同的ROI对应食材存储区域的不同隔层，目标ROI是指相似度小于预设相似度阈值的隔层中的最上层的隔层所对应的ROI；若各帧第一图像中有连续至少两帧第一图像存在目标ROI，则将至少两帧第一图像中的目标ROI对应的最上层的隔层，作为食材存取位置。该方法的识别准确性较高。

Food management method and refrigerator

【技术实现步骤摘要】
食材管理方法和冰箱
本申请涉及家用电器
，尤其涉及一种食材管理方法和冰箱。
技术介绍
随着人工智能技术的发展，越来越多的家电中使用人工智能技术，例如冰箱、电视、空调、洗衣机等。针对冰箱来说，目前如何有效的进行冰箱内食物管理成为智能冰箱的核心功能，也是用户非常关注的问题。实现食物管理的前提是获知食物的存取位置。相关技术中，通过冰箱内各层安装的摄像头，检测存取前后各隔层的食材变化情况，实现食材存取位置的自动识别，但上述方案中若冰箱内食材存在遮挡，则识别准确性较低。
技术实现思路
本申请提供一种食材管理方法和冰箱，以提高冰箱存取位置的识别准确性。第一方面，本申请提供一种食材管理方法，包括：响应于冰箱门体的开启，获取食材存储区域的多帧第一图像；根据多帧所述第一图像的感兴趣区域ROI和第二图像中对应位置的ROI之间的相似度，确定各帧所述第一图像中存在的目标ROI；其中，所述第二图像为采集的所述食材存储区域的背景图像，所述第一图像和所述第二图像分别包含多个ROI，不同的ROI对应食材存储区域的不同隔层，目标ROI是指相似度小于预设相似度阈值的隔层中的最上层的隔层所对应的ROI；若各帧所述第一图像中有连续至少两帧第一图像存在所述目标ROI，则将所述至少两帧第一图像中的所述目标ROI对应的最上层的隔层，作为食材存取位置。第二方面，本申请实施例提供一种冰箱，包括：冰箱主体、图像采集单元、处理器；其中，所述图像采集单元和所述处理器固定设置在所冰箱主体内；所述图像采集单元位于所述冰箱的间室的顶部；所述图像采集单元，用于响应于冰箱门体的开启，获取食材存储区域的多帧第一图像；所述图像采集单元的视角范围包括所述食材存储区域；其中，所述处理器配置为：根据多帧所述第一图像的感兴趣区域ROI和第二图像中对应位置的ROI之间的相似度，确定各帧所述第一图像中存在的目标ROI；其中，所述第二图像为采集的所述食材存储区域的背景图像，所述第一图像和所述第二图像分别包含多个ROI，不同的ROI对应食材存储区域的不同隔层，目标ROI是指相似度小于预设相似度阈值的隔层中的最上层的隔层所对应的ROI；若各帧所述第一图像中有连续至少两帧第一图像存在所述目标ROI，则将所述至少两帧第一图像中所述目标ROI对应的最上层的隔层，作为食材存取位置。本申请实施例提供的食材管理方法和冰箱，响应于冰箱门体的开启，获取食材存储区域的多帧第一图像；根据多帧所述第一图像的感兴趣区域ROI和第二图像中对应位置的ROI之间的相似度，确定各帧所述第一图像中存在的目标ROI；其中，所述第二图像为采集的所述食材存储区域的背景图像，所述第一图像和所述第二图像分别包含多个ROI，不同的ROI对应食材存储区域的不同隔层，目标ROI是相似度小于预设相似度阈值的隔层中的最上层的隔层所对应的ROI；若各帧所述第一图像中有连续至少两帧第一图像存在所述目标ROI，则将所述至少两帧第一图像中的所述目标ROI对应的最上层的隔层，作为食材存取位置，上述方案中，通过对比食材存取过程中第一图像与作为背景图像的第二图像中ROI的相似度，确定食材存取位置，识别准确性较高。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1A是本申请提供的一实施例的冰箱结构示意图；图1B是本申请提供的另一实施例的冰箱结构示意图；图2是本申请提供的食材管理方法一实施例的流程示意图；图3A是本申请提供的方法一实施例的冰箱内隔层示意图；图3B是本申请提供的方法另一实施例的冰箱内隔层示意图；图4为图3A所示的冰箱内的采集的图像提取的ROI示意图；图5是本申请提供的方法一实施例的相似度确定过程示意图；图6是本申请提供的方法一实施例的存取位置序列示意图；图7是图6所示的存取位置序列经过处理的序列示意图；图8是本申请提供的冰箱实施例的结构示意图；图9是本申请提供的电子设备实施例的结构示意图。通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。首先对本申请所涉及的应用场景进行介绍：本申请实施例提供的方法，应用于对冰箱食材管理的场景中，例如对存取位置进行识别，以提高存取位置识别的准确性。相关技术中，对于食材存取位置的识别方法，其中一类方法多通过人工手动录入或者用户语音输入，这类方法虽然准确率高，但依赖于用户的参与，用户体验不高；另一类基于图像识别的存取位置识别方法，这类方法的实现一般是在冰箱各层安装摄像头，在存取结束后对各层进行图像识别，检测各层食材的存取变化情况。这类方法虽然实现了存取位置的自动识别，但极易受到食材遮挡的影响，尤其是从各层深处存取食材，易造成漏检误检。本申请提出的食材管理方法，在食材从食材存储区域的隔层拿出或向隔层放入时实现存取位置的识别，属于动态识别方法，能够极大地减少静态识别中食材遮挡的影响。同时，本申请的方法能够每进行一轮存取过程都完成一次存取位置识别，避免了静态识别的集中识别，能够及时更新食材的存放位置，进一步提高存取位置的识别率。本申请提供的方法可由冰箱如处理器执行相应的软件代码实现，也可由冰箱在执行相应的软件代码的同时，通过和服务器进行数据交互来实现，例如服务器控制冰箱实现该识别方法。冰箱和服务器之间可以通过网络连接。在一些实施例中，冰箱可以包括图像采集单元，用于采集用户存取食材过程中食材存储区域的图像；在一实施例中，图像采集单元可以是彩色相机，也可以是深度相机，或者两者的组合。彩色相机可以是普通彩色相机，也可以是广角彩色相机；深度相机可以是双目相机，也可以是结构光相机，还可以是基于飞行时间(timeoffly，简称TOF)的相机。在一些实施例中，图像采集单元10可以安装在冰箱间室内部的顶端(如图1A所示)，或图像采集单元10位于所述冰箱间室外部的顶端(如图1B所示，靠近冰箱门11的顶部)，该图像采集单元的视角范围能够覆盖整个冷藏区域和/或整个冷冻区域。在一些实施例中，该冰本文档来自技高网...

【技术保护点】
1.一种食材管理方法，其特征在于，包括：/n响应于冰箱门体的开启，获取食材存储区域的多帧第一图像；/n根据多帧所述第一图像的感兴趣区域ROI和第二图像中对应位置的ROI之间的相似度，确定各帧所述第一图像中存在的目标ROI；其中，所述第二图像为采集的所述食材存储区域的背景图像，所述第一图像和所述第二图像分别包含多个ROI，不同的ROI对应食材存储区域的不同隔层，目标ROI是指相似度小于预设相似度阈值的隔层中的最上层的隔层所对应的ROI；/n若各帧所述第一图像中有连续至少两帧第一图像存在所述目标ROI，则将所述至少两帧第一图像中的所述目标ROI对应的最上层的隔层，作为食材存取位置。/n

【技术特征摘要】
1.一种食材管理方法，其特征在于，包括：
响应于冰箱门体的开启，获取食材存储区域的多帧第一图像；
根据多帧所述第一图像的感兴趣区域ROI和第二图像中对应位置的ROI之间的相似度，确定各帧所述第一图像中存在的目标ROI；其中，所述第二图像为采集的所述食材存储区域的背景图像，所述第一图像和所述第二图像分别包含多个ROI，不同的ROI对应食材存储区域的不同隔层，目标ROI是指相似度小于预设相似度阈值的隔层中的最上层的隔层所对应的ROI；
若各帧所述第一图像中有连续至少两帧第一图像存在所述目标ROI，则将所述至少两帧第一图像中的所述目标ROI对应的最上层的隔层，作为食材存取位置。


2.根据权利要求1所述的方法，其特征在于，所述食材存取位置对应的目标ROI在所述连续至少两帧第一图像中出现次数大于第一预设次数阈值。


3.根据权利要求1或2所述的方法，其特征在于，所述确定各帧所述第一图像中存在的目标ROI之后，还包括：
根据各帧所述第一图像中存在的目标ROI，生成第一存取位置序列；所述第一存取位置序列中依次包括各帧所述第一图像中存在的目标ROI的位置标记；其中，若所述第一图像中不存在相似度小于预设相似度阈值的目标ROI，则所述第一存取位置序列中所述第一图像对应的目标ROI的位置标记为零，若所述第一图像中存在相似度小于预设相似度阈值的目标ROI，则所述第一存取位置序列中所述第一图像对应的目标ROI的位置标记为层数。


4.根据权利要求3所述的方法，其特征在于，所述生成第一存取位置序列之后，还包括：
对所述第一存取位置序列中包括的所述目标ROI的位置标记进行滤波处理。


5.根据权利要求4所述的方法，其特征在于，所述对所述第一存取位置序列中包括的所述目标ROI的位置标记进行滤波处理，包括：
将所述第一存取位置序列划分为至少一个子序列；
针对任一所述子序列，若所述子序列中非零的位置标记的个数，小于第一数量阈值，则将所述子序列中的位置标记均设置为零；
若所述子序列中非零的位置标记的个数，大于或等于所述第一数量阈值，则将所述子序列中为零的位置标记，设置为所述子序列中位置标记的众数。


6.根据权利要求4所述的方法，其特征在于，所述对所述第一存取位置序列中包括的所述目标ROI的位置标记进行滤波处理之后，还包括：
将滤波处理后的第一存取位置序列中，为零的标记之前的第一个非零的位置标记，作为存取周期的终止位置标记；
查找所述滤波处理后的第一存取位置序列中，所述第一个非零的位置标记之前与所述第一个...

【专利技术属性】
技术研发人员：高桢，曲磊，赵启东，李正义，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：山东;37