一种对冰箱内食物的管理方法和设备技术

本申请公开了一种对冰箱内食物的管理方法，包括：根据冰箱的外部摄像头拍摄的图像，识别放入冰箱食物的类别和数量；根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；针对所述放入冰箱食物生成AR标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的AR标签；其中，所述食物的信息至少包括食物类别、数量和位置；在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。应用本申请，能够更高效地管理冰箱内食物。

【技术实现步骤摘要】
一种对冰箱内食物的管理方法和设备
本申请涉及冰箱技术，特别涉及一种对冰箱内食物的管理方法和设备。
技术介绍
现有冰箱技术中，冰箱食材管理主要包括食物的识别、食品信息的录入、食品摆放区域的分配以及菜谱推荐。现有全景图技术中，主要是如何通过摄像头来识别以及如何获得不同位置的图像，形成一张全景图片。现有AR技术目前处于起步阶段，应用非常广泛，包括：AR头戴设备、社交系统、图片视频展示系统、场景定制、游戏&教育、照相、旅游向导、智能餐桌、AR标签、AR图书、AR处理等。现有双摄像头/多摄像头技术主要用于图像拍摄，可实现功能包括增大拍摄视角、景深、图像扫描、空间定位、建立三维模型、控制变焦、图像矫正、测距、测量长度等等。目前的冰箱技术有如下问题：1、现有冰箱的食材查看功能只能看到单张的平面图像，被挡住的食品很难看清；2、现有冰箱的食物被拿走之后，保质期标签的状态并不会随之更新；3、现有冰箱的食品查找只能通过照片和列表查找，有多少快过期的食物并不直观；4、现有冰箱对不同时间放入的相同食物并不能识别和区分，对不适合放在一起的食物也没有提示；5、现有冰箱食物的图像识别是通过多张图片的前后对比或对视频片段的截取进行对比分析，并且每次在观察事物之前需要重新拍摄图片，对于用户观察和交互来说并不方便。
技术实现思路
本申请提供一种对冰箱内食物的管理方法，能够更有效地实现对食物的管理。为实现上述目的，本申请采用如下技术方案：一种对冰箱内食物的管理方法，包括：根据冰箱的外部摄像头拍摄的图像，至少识别放入冰箱食物的类别和数量；根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；针对所述放入冰箱食物生成AR标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的AR标签；其中，所述食物的信息至少包括食物类别、数量和位置；在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。较佳地，所述内部摄像头为至少两个，不同的内部摄像头所在位置不同；所述放入冰箱食物的位置为根据所有内部摄像头拍摄图像确定出的三维空间位置；在生成所述标签后，根据所有内部摄像头拍摄的图像生成AR全景图；在显示所述内部摄像头实时拍摄的影像时，根据用户指示显示指定内部摄像头的实时拍摄影像。较佳地，当根据所述内部摄像头拍摄的图像确定食物的位置发生变化后，更新相应食物AR标签中的位置。较佳地，若用户查看的食物在指定内部摄像头的拍摄影像中不能显示完全，则选择其他内部摄像头拍摄的影像显示用户查看的食物。较佳地，在所述外部摄像头拍摄放入冰箱食物时，该方法进一步包括：所述外部摄像头拍摄用户，获取放入用户信息，并将所述放入用户信息加入所述食物的AR标签中。较佳地，该方法进一步包括：根据所述内部摄像头和所述外部摄像头拍摄的图像确定食物移出冰箱，根据所述内部摄像头拍摄的图像确定移出冰箱食物的位置，并根据该位置确定移出冰箱食物的信息；对所述移出冰箱食物对应的AR标签进行更新。较佳地，当所述放入冰箱食物与所述移出冰箱食物的种类相同、大小和/或形状不同时，将所述移出冰箱食物的AR标签推荐给用户作为所述放入冰箱食物的AR标签。较佳地，所述食物的信息包括保质期；该方法进一步包括：当接收到用户的查询请求后，通过食物的保质期筛选显示食物及其AR标签；和/或，所述食物的信息包括备注信息，用于接收用户输入的自定义信息。较佳地，所述食物的保质期是根据用户输入确定的，或者，所述食物的保质期是根据放入时间及同类食品的保质期确定的；和/或，当根据食物的保质期确定食物已经过期后，提示用户该食物已过期。较佳地，所述食物的信息包括放入时间，该方法进一步包括：当接收到用户的推荐请求后，将同类食物中放入时间早的食物推荐给所述用户；和/或，该方法进一步包括：根据所述内部摄像头拍摄的图像，判断相邻位置上的食物类型，若相邻位置上的食物类型属于预先设定的指定组合，则提示用户分开存放。较佳地，所述指定组合为蔬菜和水果，和/或，所述指定组合为生食和熟食，和/或，所述指定组合为食品和药品。较佳地，当所述食物的信息包括放入时间时，该方法进一步包括：根据用户的请求，按照食物的放入时间，选择处于指定时间阶段的食物，并根据所述内部摄像头拍摄的图像，将选择出的食物从拍摄图像的背景中抠出，进行高亮显示。较佳地，该方法进一步包括：对于根据食物的放入时间和所述内部摄像头拍摄的图像确定在冰箱内放置时间超过第一设定时间段的食物，提示用户该食物可能过期；和/或，该方法进一步包括：对于根据食物的放入时间和位置以及所述内部摄像头拍摄的图像确定在冰箱内超过第二设定时间段未移动的食物，提示用户该食物可能过期。较佳地，该方法进一步包括：根据食物的标签信息在互联网上搜索相同食物的价格信息，并将搜索结果提示给用户。较佳地，该方法进一步包括：根据用户指定菜谱中需要使用的食物，选择食物及其标签信息提示用户。一种对冰箱内食物的管理设备，包括：图像识别单元、设置单元和交互单元；所述图像识别单元，用于根据冰箱的外部摄像头拍摄的图像，识别放入冰箱食物的类别和数量；还用于根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；所述设置单元，用于针对所述放入冰箱食物生成AR标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的AR标签；其中，所述食物的信息至少包括食物类别、数量和位置；所述交互单元，用于在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。由上述方案可见，本申请中，根据冰箱的外部摄像头拍摄的图像，识别放入冰箱食物的类别和数量；根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；针对所述放入冰箱食物生成AR标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的AR标签；其中，所述食物的信息至少包括食物类别、数量和位置。通过上述方式，能够通过内外摄像头的结合，更准确识别食物信息进行标记。进一步地，在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。通过该方式，可以将摄像头的实时影像进行显示，不需要再通过开关冰箱门来触发拍摄最新的冰箱内图片并显示。附图说明图1为本申请中对冰箱内食物管理方法的基本流程示意图；图2为标签设置流程示意图；图3为信息查询流程的示意图；图4为分析对比和提醒流程示意图；图5a、图5b和图5c为例1的示意图；图6为例2的示意图；图7a、图7b、图7c和图7d为例3的示意图；图8为例4的示意图；图9为例5的示意图；图10为例6的示意图；图11为例7的示意图；图12为例8的示意图；图13为例9的示意图；图14为例10的示意图；图15为例11的示意图。具体实施方式为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。在本申请中，冰箱设置有外部摄像头和内部摄像头。这样可以结合外部摄像头和内部摄像头更准确地识别食物信息以及用户操作。同时，内部摄像头至少有两个，以形成不同角度的图像。图1为本申请中冰箱内食物的管理方法基本流程示意图。如图1所示，该方法包括：步骤101，根据冰箱的外部摄像头拍摄的图像，识别放入冰箱食物的类别和数量。进一步地，外部摄像头还可以进一步识别放入者的用户信息。步骤102，根据本文档来自技高网...

【技术保护点】
一种对冰箱内食物的管理方法，其特征在于，包括：根据冰箱的外部摄像头拍摄的图像，至少识别放入冰箱食物的类别和数量；根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；针对所述放入冰箱食物生成AR标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的AR标签；其中，所述食物的信息至少包括食物类别、数量和位置；在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。

【技术特征摘要】
1.一种对冰箱内食物的管理方法，其特征在于，包括：根据冰箱的外部摄像头拍摄的图像，至少识别放入冰箱食物的类别和数量；根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；针对所述放入冰箱食物生成AR标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的AR标签；其中，所述食物的信息至少包括食物类别、数量和位置；在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。2.根据权利要求1所述的方法，其特征在于，所述内部摄像头为至少两个，不同的内部摄像头所在位置不同；所述放入冰箱食物的位置为根据所有内部摄像头拍摄图像确定出的三维空间位置；在生成所述标签后，根据所有内部摄像头拍摄的图像生成AR全景图；在显示所述内部摄像头实时拍摄的影像时，根据用户指示显示指定内部摄像头的实时拍摄影像。3.根据权利要求1所述的方法，其特征在于，当根据所述内部摄像头拍摄的图像确定食物的位置发生变化后，更新相应食物AR标签中的位置。4.根据权利要求2所述的方法，其特征在于，若用户查看的食物在指定内部摄像头的拍摄影像中不能显示完全，则选择其他内部摄像头拍摄的影像显示用户查看的食物。5.根据权利要求1所述的方法，其特征在于，在所述外部摄像头拍摄放入冰箱食物时，该方法进一步包括：所述外部摄像头拍摄用户，获取放入用户信息，并将所述放入用户信息加入所述食物的AR标签中。6.根据权利要求1所述的方法，其特征在于，该方法进一步包括：根据所述内部摄像头和所述外部摄像头拍摄的图像确定食物移出冰箱，根据所述内部摄像头拍摄的图像确定移出冰箱食物的位置，并根据该位置确定移出冰箱食物的信息；对所述移出冰箱食物对应的AR标签进行更新。7.根据权利要求6所述的方法，其特征在于，当所述放入冰箱食物与所述移出冰箱食物的种类相同、大小和/或形状不同时，将所述移出冰箱食物的AR标签推荐给用户作为所述放入冰箱食物的AR标签。8.根据权利要求1所述的方法，其特征在于，所述食物的信息包括保质期；该方法进一步包括：当接收到用户的查询请求后，通过食物的保质期筛选显示食物及其AR标签；和/或，所述食物的信息包括备注信息，用于接收用户输入的自定义信息。9.根据权利要求8所述的方法，其特征在于，所述食物的保质期是根据用户输入确定的，...

【专利技术属性】
技术研发人员：葛莹，章佳，李文轩，史志建，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏,32