冰箱内部食物的种类识别方法与冰箱技术

本发明专利技术提供了一种冰箱内部食物的种类识别方法与冰箱。其中冰箱的储物间室内部布置有相对设置的高光谱成像装置和反射镜，高光谱成像装置与反射镜之间形成用于放置待识别食物的识别区域，并且种类识别方法包括：控制高光谱成像装置对反射镜进行拍摄，以得到反射镜对识别区域的反射图像的高光谱数据；从高光谱数据中提取出图像特征信息和特征光谱信息；以及使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出待识别食物的类型。本方案解决了冰箱内部空间狭小，高光谱成像装置难于拍摄识别区域全貌的问题，综合利用图像信息和光谱信息进行食物的种类识别，提高了识别的准确率。

Method for identifying food in refrigerator and refrigerator

The invention provides a method for identifying the type of food in a refrigerator and a refrigerator. The internal layout of the storage compartment of the refrigerator is the reflection and mirror device arranged relatively high spectral imaging, used to identify the area placed to identify food formed between hyperspectral imaging device and the reflector, and the identification methods include: control of hyperspectral imaging device on the mirror to shoot, with hyperspectral data reflecting image reflection the mirror recognition regions; extract image feature information and spectral information from hyperspectral data; and the identification model using the preset image feature information and spectral information by matching type to be determined to identify food. The solution to the internal space of the refrigerator is narrow, hyperspectral imaging device to shoot panorama recognition of regional issues, comprehensive utilization of image information and spectral information to classify food, improves the recognition accuracy.

【技术实现步骤摘要】
冰箱内部食物的种类识别方法与冰箱
本专利技术涉及储物
，特别是涉及一种冰箱内部食物的种类识别方法与冰箱。
技术介绍
随着社会的进步和人们生活水平的提高，消费者在购买食品时不仅关注食品的营养价值与安全，还会考虑价格、口感、外观及新鲜程度等因素，而冰箱的角色也从单纯的存储保鲜逐渐转变为食材管理中心和家庭营养中心，这也对冰箱提出了新的挑战，同时，这也为各种智能识别技术应用在冰箱上提供了契机。了解冰箱中存放食材种类的方式，也从打开冰箱门实际查看变为了智能化识别。利用自动识别技术，在家用冰箱上实现食品的种类识别功能，已经成为智能化冰箱的发展趋势。自动识别技术就是应用特定识别装置，将被识别物品接近识别装置，自动获取被识别物品的相关信息，并提供给计算机处理系统来完成相关后续处理的一种技术。目前应用于冰箱的自动识别技术包括射频识别和图像识别等，射频识别是在放进冰箱的食材上张贴射频识别码，利用安装在冰箱上的射频识别装置进行识别，该技术需要所购置的食材本身含有射频识别码，而目前市场上的大部分食品都不含有射频识别码，特别是蔬菜、水果，更是不含有识别码，因此该技术受到了很大的应用限制。图像识别技术也已应用于冰箱上，但是正确识别率较低，由于该技术主要是依赖于对食材图像颜色或者食材形状、纹理的不同进行识别，因此对于颜色、形状相近的食材很难正确识别，比如桔子和橙子很难区别，识别结果为柑类，因此该技术的正确率需要进一步提高。
技术实现思路
本专利技术的一个目的是要提供一种准确率高的冰箱内部食物的种类识别方法。本专利技术一个进一步的目的是要冰箱识别食物种类的功能便于用户使用。本专利技术首先提供了一种冰箱内部食物的种类识别方法，冰箱的储物间室内部布置有相对设置的高光谱成像装置和反射镜，高光谱成像装置与反射镜之间形成用于放置待识别食物的识别区域，并且种类识别方法包括：控制高光谱成像装置对反射镜进行拍摄，以得到反射镜对识别区域的反射图像的高光谱数据；从高光谱数据中提取出图像特征信息和特征光谱信息；以及使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出待识别食物的类型。可选地，高光谱数据包括设定数量的三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组三元数据组，并且图像特征信息通过对图像像素元素中数据分析提取得出，特征光谱信息通过对光谱波长元素中的数据分析提取得出。可选地，使用预设的识别模型对图像特征信息和特征光谱信息进行匹配包括：向布置有识别模型的网络侧设备发送图像特征信息和特征光谱信息，以由网络侧设备使用识别模型对图像特征信息和特征光谱信息进行匹配。可选地，确定出待识别食物的类型的步骤之后还包括：向用户输出识别结果，并接收用户对识别结果的反馈，在反馈结果为正确的情况下，记录识别结果以及对应的图像特征信息和特征光谱信息，以作为识别模型的后续训练样本。可选地，向用户输出识别结果的步骤包括：向与冰箱绑定的移动终端发送包括识别结果的消息。可选地，在确定出待识别食物的类型的步骤之后还包括：获取与食物类型匹配的保存信息，并按照保存信息建立食物的储藏档案。根据本专利技术的另一个方面，还提供了一种冰箱，其包括：箱体，其内限定有储物间室；反射镜，设置于储物间室内部；高光谱成像装置，也设置于箱体内部并与反射镜间隔相对，高光谱成像装置与反射镜之间形成用于放置待识别食物的识别区域，并且高光谱成像装置配置成对反射镜进行拍摄，以得到反射镜对识别区域的反射图像的高光谱数据；高光谱数据处理装置，配置成从高光谱数据中提取出图像特征信息和特征光谱信息；识别装置，配置成使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出待识别食物的类型。可选地，反射镜设置于识别区域的顶部，并且高光谱成像装置设置于识别区域的底部。可选地，上述冰箱还包括：光源系统，设置于识别区域内，以为高光谱成像装置提供拍摄光线，其中光源系统的光谱范围设置为400～1100nm。可选地，光源系统设置于识别区域的顶壁后部，向斜下方提供拍摄光线。本专利技术的冰箱内部食物的种类识别方法与冰箱，在冰箱内部设置高光谱成像装置，拍摄得到待识别食物的高光谱数据，综合利用图像信息和光谱信息进行食物的种类识别，识别的准确率高。另外针对冰箱内部空间狭小，高光谱成像装置难于拍摄识别区域全貌的问题，通过设置反光镜，利用拍摄反射图像的方式得到反映识别区域全貌的高光谱数据。进一步地，本专利技术的冰箱内部食物的种类识别方法与冰箱，还可以利用云技术进行食物的高光谱数据的处理和分析，并直接通过用户终端输出识别信息，大大提高了用户的便利性。根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本专利技术的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。在附图中：图1是根据本专利技术一个实施例的冰箱的示意图；图2是根据本专利技术一个实施例的冰箱中识别区域的示意图；图3是根据本专利技术一个实施例的冰箱的功能示意框图；以及图4是根据本专利技术一个实施例的冰箱的内部食物的种类识别方法的示意图。具体实施方式图1是根据本专利技术一个实施例的冰箱10的示意图，图2是根据本专利技术一个实施例的冰箱10中识别区域的示意图。图3是根据本专利技术一个实施例的冰箱10的功能示意框图。本实施例的冰箱10一般性地可以包括：箱体110、门体120、高光谱成像装置210、高光谱数据处理装置230、光源系统220、识别装置240、反射镜250等。箱体110内限定有至少一个前侧敞开的储物间室，通常为多个，如冷藏室、冷冻室、变温室等等。具体的储物间室的数量和功能可以根据预先的需求进行配置，在一些实施例中，冷藏室的保藏温度可为2～9℃，或者可为4～7℃；冷冻室的保藏温度可为-22～-14℃，或者可为-20～16℃。冷冻室设置于冷藏室的下方，变温室设置于冷冻室和冷藏室之间。冷冻室内的温度范围一般在-14℃至-22℃。变温室可根据需求进行调整，以储存合适的食物，或者作为保鲜储藏室。门体120，设置于箱体110前侧，用于开闭储物间室。例如门体120可以通过铰接的方式设置箱体110前部的一侧，通过枢转的方式开闭储物间室，门体120的数量可以与储物间室的数量匹配，从而可以将储物间室逐一单独开启。例如可以为冷藏室、冷冻室、变温室分别设置冷藏室门体、冷冻室门体、变温室门体。在一些可选实施例中，门体120也可以采用平开门、对开门、侧滑门、抽拉门等形式。储物间室由制冷系统提供冷量，以实现冷藏、冷冻、变温的储物环境。制冷系统可为由压缩机、冷凝器、节流装置和蒸发器等构成的制冷循环系统。蒸发器配置成直接或间接地向储物间室内提供冷量。例如压缩式直冷冰箱中，蒸发器可设置于冰箱内胆的后壁面外侧或内侧。压缩式风冷冰箱中，箱体110内还具有蒸发器室，蒸发器室通过风路系统与储物间室连通，且蒸发器室内设置蒸发器，出口处设置有风机，以向储物间室进行循环制冷。由于上述箱体110、门体120、制冷系统本身是本领域技术人员习知且易于实现的，为了不掩盖和模糊本申请的专利技术点，后文对箱体110、门体120、制冷系统本身不做赘述。储本文档来自技高网...

【技术保护点】
一种冰箱内部食物的种类识别方法，所述冰箱的储物间室内部布置有相对设置的高光谱成像装置和反射镜，所述高光谱成像装置与所述反射镜之间形成用于放置待识别食物的识别区域，并且所述种类识别方法包括：控制所述高光谱成像装置对所述反射镜进行拍摄，以得到所述反射镜对识别区域的反射图像的高光谱数据；从所述高光谱数据中提取出图像特征信息和特征光谱信息；以及使用预设的识别模型对所述图像特征信息和所述特征光谱信息进行匹配，以确定出所述待识别食物的类型。

【技术特征摘要】
1.一种冰箱内部食物的种类识别方法，所述冰箱的储物间室内部布置有相对设置的高光谱成像装置和反射镜，所述高光谱成像装置与所述反射镜之间形成用于放置待识别食物的识别区域，并且所述种类识别方法包括：控制所述高光谱成像装置对所述反射镜进行拍摄，以得到所述反射镜对识别区域的反射图像的高光谱数据；从所述高光谱数据中提取出图像特征信息和特征光谱信息；以及使用预设的识别模型对所述图像特征信息和所述特征光谱信息进行匹配，以确定出所述待识别食物的类型。2.根据权利要求1所述的方法，其中，高光谱数据包括设定数量的三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组所述三元数据组，并且所述图像特征信息通过对所述图像像素元素中数据分析提取得出，所述特征光谱信息通过对所述光谱波长元素中的数据分析提取得出。3.根据权利要求1所述的方法，其中，使用预设的识别模型对所述图像特征信息和所述特征光谱信息进行匹配包括：向布置有所述识别模型的网络侧设备发送所述图像特征信息和所述特征光谱信息，以由所述网络侧设备使用所述识别模型对所述图像特征信息和所述特征光谱信息进行匹配。4.根据权利要求3所述的方法，其中，确定出所述待识别食物的类型的步骤之后还包括：向用户输出识别结果，并接收用户对所述识别结果的反馈，在反馈结果为正确的情况下，记录所述识别结果以及对应的图像特征信息和特征光谱...

【专利技术属性】
技术研发人员：张冰，俞国新，王霁昀，陶瑞涛，范强，梁静娜，李靖，项红荧，闫茂松，
申请(专利权)人：青岛海尔智能技术研发有限公司，
类型：发明
国别省市：山东,37