冰箱间室内部食物种类的检测系统及其检测方法技术方案

本发明专利技术提供了一种冰箱间室内部食物种类的检测系统及其检测方法，其中方法包括：获取间室内部的动态视频；根据动态视频获取第一食物种类列表；获取间室内部的至少一张静态图像；根据每张静态图像获取一份第二食物种类列表；以及根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。本发明专利技术的方法拍摄冰箱内部的静态图像，并在门体开启的时间内获取间室内部的动态视频，通过动态视频和静态图像分别识别间室内部食物种类，并将两次的识别结果进行比较，从而得到最终食物种类的检测结果，实现了对冰箱内部食物种类的检测。

Detection system and detection method of food types in the fridge compartment

【技术实现步骤摘要】
冰箱间室内部食物种类的检测系统及其检测方法
本专利技术涉及冰箱领域，特别涉及一种冰箱间室内部食物种类的检测系统及其检测方法。
技术介绍
目前，冰箱内的食材管理是用户非常关注的重点，而实现冰箱内食材的管理首先要解决冰箱内食品种类的识别问题，目前，用户接受程度最高的识别方式主要包括静态的图像识别以及动态的视频流识别。但是，静态的图像识别仅根据一张采集到的食品原图像进行识别，由于冰箱内部食材之间会相互遮挡，经常会造成某些食材漏检，从而造成识别正确率较低，影响用户体验。动态视频识别虽然识别正确率较高，但是冰箱一旦断电，冰箱内食品种类发生变动的话，识别得到的食品列表无法进行更新，只能维持原有的食品列表，造成体验效果较差。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的冰箱间室内部食物种类的检测系统及其检测方法。本专利技术一个进一步的目的是检测冰箱间室内部的食物种类。本专利技术的另一个进一步的目的是使得检测更加准确。根据本专利技术的一个方面，本专利技术提供了一种冰箱间室内部食物种类的检测方法，包括：在间室的门体被打开的时间范围内，拍摄间室内部的动态视频；根据动态视频获取第一食物种类列表，第一食物种类列表包含根据动态视频确定得出的间室内部所有食物种类；在门体被关闭后，获取间室内部的至少一张静态图像；根据每张静态图像获取一份第二食物种类列表，每份第二食物种类列表包含根据一张静态图像确定得出的间室内部所有食物种类；以及根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。可选地，根据比较结果生成第三食物种类列表的步骤之后还包括：判断冰箱是否断电重启；若是，重新获取间室内部的静态图像；根据重新获取的静态图像重新获取第二食物种类列表；判断重新获取的第二食物种类列表和第三食物种类列表是否相同；若否，将重新获取的第二食物种类列表以及静态图像发送至用户终端，以供用户参考并修改第三食物种类列表；以及接收经用户修改后的第三食物种类列表并进行存储，以替代原先的第三食物种类列表。可选地，根据动态视频获取第一食物种类列表的步骤包括：将动态视频上传至云服务器；云服务器根据动态视频识别间室内部的食物种类，并根据识别结果生成第一食物种类列表；以及获取云服务器反馈的第一食物种类列表。可选地，根据静态图像获取第二食物种类列表的步骤包括：将静态图像上传至云服务器；云服务器根据静态图像识别间室内部的食物种类，并根据识别结果生成第二食物种类列表；以及获取云服务器反馈的第二食物种类列表。可选地，根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表的步骤包括：依次比较第一食物种类列表与每份第二食物种类列表包含的食物种类是否相同；若连续预设次数的比较结果中至少出现一次相同的情况，则将第一食物种类列表作为第三食物种类列表；若连续预设次数的比较结果均为不相同，则将静态图像和第一食物种类列表发送至用户终端，以供用户参考并制定第三食物种类列表；以及接收经用户制定的第三食物种类列表并进行存储。根据本专利技术的另一个方面，本专利技术还提供了一种冰箱间室内部食物种类的检测系统，包括：门体开闭检测模块，配置成检测间室的门体是否被打开；第一拍摄模块，配置成在门体被打开的时间范围内，拍摄间室内部的动态视频；第二拍摄模块，配置成获取在门体被关闭后，间室内部的至少一张静态图像；列表获取模块，配置成根据动态视频获取第一食物种类列表，根据每张静态图像获取一份第二食物种类列表，第一食物种类列表包含根据动态视频确定得出的间室内部所有食物种类，每份第二食物种类列表包含根据一张静态图像确定得出的间室内部所有食物种类；其中列表获取模块，还配置成根据第一食物种类列表以及第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。可选地，第一拍摄模块包括摄像头，设置于冰箱间室顶部；第二拍摄模块包括摄像头，设置于冰箱门体侧边边框上。可选地，上述检测系统还包括：电路检测模块，配置成检测冰箱是否断电重启；和用户终端；其中第二拍摄模块，还配置成在冰箱断电重启后，重新获取间室内部的静态图像；列表获取模块，还配置成根据重新获取的静态图像重新获取第二食物种类列表，并在重新获取的第二食物种类列表和第三食物种类列表不相同时，将第二食物种类列表以及静态图像发送至用户终端，以供用户参考并修改第三食物种类列表；用户终端配置成，接收列表获取模块发送的重新获取的第二食物种类列表和静态图像；列表获取模块，还配置成接收经用户修改后的第三食物种类列表并进行存储，以替代原先的第三食物种类列表。可选地，上述检测系统还包括：云服务器，配置成接收动态视频和静态图像，根据动态视频识别间室内部的食物种类，并根据识别结果生成第一食物种类列表，根据静态图像识别间室内部的食物种类，并根据识别结果生成第二食物种类列表；其中列表获取模块，还配置成上传动态视频和静态图像，并接收云服务器反馈的第一食物种类列表和第二食物种类列表。可选地，列表获取模块，还配置成依次比较第一食物种类列表与每份第二食物种类列表包含的食物种类是否相同，在连续预设次数的比较结果中至少出现一次相同的情况下，将第一食物种类列表作为第三食物种类列表，在连续预设次数的比较结果均为不相同的情况下，将静态图像和第一食物种类列表发送至用户终端，以供用户参考并制定第三食物种类列表，以及接收经用户制定的第三食物种类列表并进行存储；用户终端，还配置成接收列表获取模块发送的第二食物种类列表和静态图像。本专利技术提供了一种用于冰箱间室内部食物种类的检测方法，包括：在间室的门体被打开的时间范围内，获取间室内部的动态视频；根据动态视频获取第一食物种类列表；在门体被关闭后，获取间室内部的至少一张静态图像；根据每张静态图像获取一份第二食物种类列表；以及根据第一食物种类列表与每份第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。本专利技术的方法拍摄冰箱内部的静态图像，并在门体开启的时间内获取间室内部的动态视频，通过动态视频和静态图像分别识别间室内部食物种类，并将两次的识别结果进行比较，从而得到最终食物种类的检测结果，实现了对冰箱内部食物种类的检测。由于动态视频识别无法在间室内部静止时检测冰箱内部食物，而静态图像识别又存在遮挡等原因，导致识别准确率较低，为了克服两种识别手段的弊端，本专利技术的方法将动态视频识别和静态图像识别的手段相结合，提高了识别的准确度。更进一步地，本专利技术的检测方法还在冰箱断电重启后，重新获取间室内部的静态图像；根据重新获取的静态图像重新获取第二食物种类列表；在重新获取的第二食物种类列表和第三食物种类列表是不相同时，将重新获取的第二食物种类列表以及静态图像发送至用户终端，以供用户参考并修改第三食物种类列表；以及接收经用户修改后的第三食物种类列表并进行存储，以替代原先的第三食物种类列表。本专利技术的检测方法在冰箱断电重启后，重新对冰箱内食物进行识别，结合用户手动修正，以重新确定冰箱内部的食物种类。本专利技术的方法防止在冰箱断电期间，用户拿取食物，造成的食物信息不准确，提高了检测的准确度。根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述以及其他目的、优点和本文档来自技高网...

【技术保护点】
一种冰箱间室内部食物种类的检测方法，包括：在所述间室的门体被打开的时间范围内，拍摄所述间室内部的动态视频；根据所述动态视频获取第一食物种类列表，所述第一食物种类列表包含根据所述动态视频确定得出的所述间室内部所有食物种类；在所述门体被关闭后，获取所述间室内部的至少一张静态图像；根据每张所述静态图像获取一份第二食物种类列表，每份所述第二食物种类列表包含根据一张所述静态图像确定得出的所述间室内部所有食物种类；以及根据所述第一食物种类列表与每份所述第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。

【技术特征摘要】
1.一种冰箱间室内部食物种类的检测方法，包括：在所述间室的门体被打开的时间范围内，拍摄所述间室内部的动态视频；根据所述动态视频获取第一食物种类列表，所述第一食物种类列表包含根据所述动态视频确定得出的所述间室内部所有食物种类；在所述门体被关闭后，获取所述间室内部的至少一张静态图像；根据每张所述静态图像获取一份第二食物种类列表，每份所述第二食物种类列表包含根据一张所述静态图像确定得出的所述间室内部所有食物种类；以及根据所述第一食物种类列表与每份所述第二食物种类列表的比较结果生成第三食物种类列表以作为最终食物种类的检测结果。2.根据权利要求1所述的检测方法，其中根据所述比较结果生成第三食物种类列表的步骤之后还包括：判断所述冰箱是否断电重启；若是，重新获取所述间室内部的静态图像；根据所述重新获取的静态图像重新获取第二食物种类列表；判断所述重新获取的第二食物种类列表和所述第三食物种类列表是否相同；若否，将所述重新获取的第二食物种类列表以及所述静态图像发送至用户终端，以供用户参考并修改所述第三食物种类列表；以及接收经用户修改后的所述第三食物种类列表并进行存储，以替代原先的所述第三食物种类列表。3.根据权利要求1或2所述的检测方法，其中根据所述动态视频获取第一食物种类列表的步骤包括：将所述动态视频上传至云服务器；所述云服务器根据所述动态视频识别所述间室内部的食物种类，并根据识别结果生成所述第一食物种类列表；以及获取所述云服务器反馈的所述第一食物种类列表。4.根据权利要求1或2所述的检测方法，其中根据所述静态图像获取第二食物种类列表的步骤包括：将所述静态图像上传至云服务器；所述云服务器根据所述静态图像识别所述间室内部的食物种类，并根据识别结果生成所述第二食物种类列表；以及获取所述云服务器反馈的所述第二食物种类列表。5.根据权利要求1所述的检测方法，其中根据所述第一食物种类列表与每份所述第二食物种类列表的比较结果生成第三食物种类列表的步骤包括：依次比较所述第一食物种类列表与每份所述第二食物种类列表包含的食物种类是否相同；若连续预设次数的比较结果中至少出现一次相同的情况，则将所述第一食物种类列表作为所述第三食物种类列表；若连续预设次数的比较结果均为不相同，则将所述静态图像和所述第一食物种类列表发送至所述用户终端，以供用户参考并制定所述第三食物种类列表；以及接收经用户制定的所述第三食物种类列表并进行存储。6.一种冰箱间室内部食物种类的检测系统，包括：门体开闭检测模块，配置成检测所述间室的门体是否被打开；第一拍摄模块，配置成在所述门体被打开的时间范围内，拍摄所述间室内...

【专利技术属性】
技术研发人员：于海洋，
申请(专利权)人：青岛海尔智能技术研发有限公司，
类型：发明
国别省市：山东,37