一种食材识别方法及冰箱技术

本发明专利技术公开一种食材识别方法及冰箱，冰箱包括机壳，机壳内设有储藏室，储藏室前侧设有存取开口；至少一个冰箱门，与壳体连接，用于打开或关闭存取开口；相机用于拍摄食材图像；控制器被配置为：根据相机发送的多帧食材图像，构建食材集；从食材集中选取基准食材以及与基准食材匹配的食材，组成候选食材子集；从候选食材子集中选取目标食材，将候选食材子集从食材集中删除；重复上述步骤直至食材集为空集，得到目标食材子集；根据目标食材子集确定存取食材的种类和数量。本申请能准确地识别存取食材的种类及数量，避免了单帧识别造成的误识别和漏识别，提高食材识别结果的稳定性和识别精度，进而提升了食材管理的准确性，提升用户使用体验。

【技术实现步骤摘要】
一种食材识别方法及冰箱
本专利技术涉及智能家电
，尤其涉及一种食材识别方法及冰箱。
技术介绍
冰箱是生活中常用的电器设备，通过对食材进行制冷，比如冷藏或冷冻，实现食材的保鲜储存，用户可以将食材存放入冰箱，也可以从冰箱中取出所需的食材，通过对存取的食材种类及数量等信息进行识别和录入，可以实现冰箱的智能化管理。目前冰箱食材识别主要是利用图像识别，比如在冰箱上安装相机，在用户动态存取食材的过程中，拍摄手部食材的彩色图像，并根据机器学习或深度学习等算法来识别食材种类和数量。然而在实际应用中，用户存取食材时手部可能拿取多种食材，每种食材数量不定，加之受制于光照、遮挡和拍摄角度等外部因素，以及食材尺度、颜色和集聚状态等食材自身因素，导致基于图像的食材识别方法的误识别率和漏识别率较大，降低了食材识别准确性，不利于冰箱的食材管理，用户使用体验差。
技术实现思路
为解决上述技术问题，本专利技术提供一种食材识别方法及冰箱，以提高食材识别的准确性。第一方面，本专利技术提供一种冰箱，包括：机壳，所述机壳内设有储藏室，所本文档来自技高网...

【技术保护点】
1.一种冰箱，其特征在于，包括：/n机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；/n至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；/n相机，用于拍摄食材图像；/n控制器，所述控制器被配置为：/n根据所述相机发送的多帧食材图像，构建食材集，所述食材集包括每帧食材图像中的每个食材的检测信息；/n从所述食材集中选取基准食材以及与所述基准食材匹配的食材，组成候选食材子集；/n从所述候选食材子集中选取目标食材，将所述候选食材子集从所述食材集中删除；/n重复第二步骤和第三步骤直至所述食材集为空集，得到目标食材子集；/n根据所述目标食材子集确定存取食材的种类和数量。/n

【技术特征摘要】
1.一种冰箱，其特征在于，包括：
机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；
至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；
相机，用于拍摄食材图像；
控制器，所述控制器被配置为：
根据所述相机发送的多帧食材图像，构建食材集，所述食材集包括每帧食材图像中的每个食材的检测信息；
从所述食材集中选取基准食材以及与所述基准食材匹配的食材，组成候选食材子集；
从所述候选食材子集中选取目标食材，将所述候选食材子集从所述食材集中删除；
重复第二步骤和第三步骤直至所述食材集为空集，得到目标食材子集；
根据所述目标食材子集确定存取食材的种类和数量。


2.根据权利要求1所述的冰箱，其特征在于，所述控制器被配置为按照如下方式构建食材集：
识别每帧食材图像中的每个食材的检测信息；所述检测信息包括食材检测框的区域位置信息、食材种类以及被识别为所述食材种类的置信度；
按照置信度对每帧食材图像中的每个食材的检测信息进行排序，组成所述食材集。


3.根据权利要求2所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式从所述食材集中选取基准食材：
从所述食材集中选取置信度最高的一个食材作为所述基准食材。


4.根据权利要求2所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式筛选与所述基准食材匹配的食材：
分别计算所述基准食材的食材检测框与食材集中其他食材的食材检测框的交并比；
选取所述交并比大于第一阈值的食材，作为与所述基准食材匹配的食材。


5.根据权利要求2-4任一项所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式选取目标食材：
统计所述候选食材子集中包括的食材种类以及每个食材种类的数量；
根据所述候选食材子集的食材总数，以及所述候选食材子集中每个食材种类的数量和置信度，计算所述候选食材子集中每个食材种类对应的综合置...

【专利技术属性】
技术研发人员：孙菁，高桢，曲磊，高语函，李正义，赵启东，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：山东;37