冰箱、服务器和冰箱的对象识别方法技术

公开了一种冰箱的对象识别方法。公开的冰箱的对象识别方法包括以下步骤：获取冰箱的储藏室的捕获图像；当与先前储藏的图像相比确认了捕获图像中的变化时，检查已经捕获了储藏室的图像的图像捕获设备的成像方向的改变；以及当成像方向被保持时，执行捕获图像的对象识别操作。

【技术实现步骤摘要】
【国外来华专利技术】冰箱、服务器和冰箱的对象识别方法
本公开涉及冰箱、服务器及其对象识别方法，更具体地，涉及用于通过比较冰箱的原始图像和当前捕获的图像来识别图像捕获方向的改变的冰箱、服务器和冰箱的对象识别方法。
技术介绍
冰箱可以是指用于通过使用制冷剂的制冷循环来使可食用和可饮用的食物保持冷藏或冷冻的电子装置(或家用电器)。除了食物之外，冰箱还可以储藏药品、酒精饮料或化妆品。近年来，为了管理储藏在冰箱中的食物，应用了用于捕获冰箱储藏室的图像并通过使用捕获的图像来执行关于所储藏的食物的对象识别的方法。为此，冰箱可以通过使用附接到门的前表面的相机来捕获储藏室的图像。然而，由于门被用户多次打开和关闭，冲击可能施加到门上，这可能导致附接到门的前表面的相机的图像捕获方向的改变。当相机在图像捕获方向改变的同时捕获储藏室的图像时，可以通过识别原始图像和当前捕获的图像之间的显著变化来执行附加对象识别，尽管储藏在储藏室中的食物没有实际变化。在这种情况下，上述附加对象识别具有不必要的成本增加的问题，该问题归因于当执行对象识别时的资源使用引起的成本。
技术实现思路
技术问题本公开的目的在于提供冰箱、服务器和冰箱的对象识别方法，该冰箱通过比较冰箱的原始图像和当前捕获的图像来识别图像捕获方向的改变。技术方案根据本公开的一方面，提供一种冰箱的对象识别方法，该方法包括：通过拍摄(capture)冰箱的储藏室来获取捕获图像；基于捕获图像与预先存储的原始图像相比的变化被识别，识别拍摄了储藏室的图像捕获设备的图像捕获方向的改变；以及基于图像捕获方向被保持，针对捕获图像执行对象识别操作。根据本公开的另一方面，提供一种冰箱，其包括：储藏室，配置为储藏食物；图像捕获设备，配置为捕获储藏室的图像；存储器，配置为存储先前由图像捕获设备捕获的原始图像；以及处理器，配置为通过经由控制捕获设备捕获储藏室的图像来获取捕获图像，基于捕获图像与原始图像相比的变化被识别，识别图像捕获设备的图像捕获方向是否改变，并且基于图像捕获方向被保持，针对捕获图像执行对象识别操作。根据本公开的又一方面，提供一种服务器，其包括：存储器，配置为存储先前从冰箱接收的原始图像；通信设备，配置为从冰箱接收通过拍摄冰箱的储藏室而获取的捕获图像，基于捕获图像与原始图像相比的变化被识别，识别捕获图像的图像捕获方向是否改变，并且基于图像捕获方向被保持，针对捕获图像执行对象识别操作。专利技术效果附图说明图1是用于示出根据一实施例的冰箱的具体配置的框图，图2是示出根据一实施例的冰箱的具体配置的框图，图3是示出根据一实施例的服务器的具体配置的框图，图4是示出根据一实施例的服务器的具体配置的框图，图5是示出根据一实施例的发生了图像捕获方向的改变的示例的图，图6至图9是示出根据一实施例的用于使用图像中的多个特征点来识别图像捕获方向的改变的方法的示例的图，图10是示出根据一实施例的用于使用人工智能模型来识别图像捕获方向的改变的方法的示例的图，图11是用于示出根据一实施例的对象识别方法的流程图，图12是用于具体示出根据一实施例的对象识别方法的流程图，图13是用于示出第一实施例的使用冰箱和服务器的对象识别方法的序列图，以及图14是用于示出根据第二实施例的使用冰箱和服务器的对象识别方法的序列图。具体实施方式示例性实施例的详细描述在简要解释本公开中使用的术语之后，本公开将在下面被更详细地描述。考虑到本公开中的功能，选择了本公开的实施例中使用的术语作为尽可能广泛使用的通用术语，但是这些术语可以根据本领域技术人员的意图、先例、新技术的出现等而变化。此外，在某种情况下，还可以存在任意选择的术语，在该情况下，将在本公开的描述中描述含义。因此，本公开中使用的术语应基于术语本身的含义以及贯穿本公开的内容而不是基于术语的简单名称来定义。本公开的实施例可以被各种各样地改变并包括各种实施例，并且具体实施例将在附图中示出并在说明书中详细地描述。然而，应理解，这不是为了限制具体实施例的范围，并且所公开的精神和技术范围中包括的所有修改、等同形式和/或替代形式被包括。在描述本公开中，当确定详细描述可能不必要地使本公开的要点模糊时，可以省略相关技术的详细描述。术语“第一”、“第二”等可以用于描述各种元件，但是这些元件可以不受术语限制。术语仅用于将一个元件与另一个元件区分开。除非另有具体规定，否则单数表达可以涵盖复数表达。将理解，诸如“包括”或“由……构成”的术语在此用于表示特征、数量、步骤、操作、元件、部分或其组合的存在，而不排除其他特征、数量、步骤、操作、元件、部分或其组合中的一个或更多个的存在或添加可能性。在下文中，参照附图，将详细描述本公开的实施例以使本领域技术人员容易地实践实施例。然而，本公开可以以各种不同的形式来实现，并且不限于在此描述的实施例。此外，在附图中，为了清楚地描述本公开，省略了与描述无关的部分。在下文中，将参照附图更详细地描述本公开。图1是用于示出根据一实施例的冰箱的具体配置的框图。参照图1，冰箱100可以包括储藏室110、图像捕获设备120、存储器130和处理器140。储藏室110可以是布置在冰箱100内部用于储藏食物的地方。储藏室110可以用作被保持在大约0至5摄氏度以冷却并储藏食物的冷藏室以及被保持在大约负30至0摄氏度以冷冻并储藏食物的冷冻室。储藏室110可以具有开放的前表面，使得食物被放入和取出，并且其开放的前表面可以通过门(未示出)打开和关闭。用于放置食物的搁架可以设置在储藏室110中。图像捕获设备120可以获取与图像捕获方向对应的预定区域的捕获图像。具体地，图像捕获设备120可以设置在门的面对储藏室110的一侧表面上，以具有朝向储藏室110的图像捕获方向。此外，图像捕获设备120可以获取储藏室110中的与图像捕获方向对应的预定区域的捕获图像。这里的图像捕获方向可以是图像捕获设备120的透镜所面对的方向。通过透镜形成的图像可以根据图像捕获方向的改变而改变。因此，当图像捕获方向改变时，与其对应的预定区域也可以改变。这里的预定区域可以是指可由图像捕获设备120通过透镜检测到的唯一检测区域。图像捕获设备120的数量可以多于一个，并且多个图像捕获设备可以获取分别与多个图像捕获方向对应的多个预定区域的捕获图像。具体地，图像捕获设备120可以以预定间隔设置在门的面对储藏室110的所述一侧表面上，并且可以获取储藏室110中的分别与所述多个图像捕获方向对应的所述多个预定区域的捕获图像。当发生预定事件时，图像捕获设备120可以获取预定区域中的捕获图像。这里的预定事件可以对应于冰箱100的开启事件、预定周期到达事件或冰箱100的门关闭事件，并且不限于以上示例。存储器130可以存储用于冰箱100的通用操作的各条数据，诸如用于处理或控制处理器140的程序。具体地，存本文档来自技高网...

【技术保护点】
1.一种冰箱的对象识别方法，该方法包括：/n通过拍摄冰箱的储藏室来获取捕获图像；/n基于捕获图像与预先存储的原始图像相比的变化被识别，识别已经拍摄了储藏室的图像捕获设备的图像捕获方向的改变；以及/n基于图像捕获方向被保持，针对捕获图像执行对象识别操作。/n

【技术特征摘要】
【国外来华专利技术】20181001 KR 10-2018-01171331.一种冰箱的对象识别方法，该方法包括：
通过拍摄冰箱的储藏室来获取捕获图像；
基于捕获图像与预先存储的原始图像相比的变化被识别，识别已经拍摄了储藏室的图像捕获设备的图像捕获方向的改变；以及
基于图像捕获方向被保持，针对捕获图像执行对象识别操作。


2.根据权利要求1所述的对象识别方法，进一步包括：
基于图像捕获方向改变，通过对原始图像进行替换来存储捕获图像。


3.根据权利要求1所述的对象识别方法，其中识别图像捕获方向的改变包括：
通过在原始图像和捕获图像之间比较每个像素来检测像素值变化区域；以及
基于像素值变化区域的面积大于预定大小，识别图像捕获方向的改变。


4.根据权利要求3所述的对象识别方法，其中识别图像捕获方向的改变包括：
从捕获图像中检测与原始图像中的多个第一特征点对应的多个第二特征点；以及
通过比较所述多个第一特征点和所述多个第二特征点中的每个的像素坐标值来计算所述多个第二特征点的移动距离和移动方向，并基于计算出的移动距离和移动方向来识别图像捕获方向的改变。


5.根据权利要求4所述的对象识别方法，其中基于移动距离和移动方向来确认图像捕获方向的改变包括：
基于所述多个第二特征点的移动距离和移动方向在预定误差范围内重合，确定图像捕获方向改变；以及
基于所述多个第二特征点之中的至少一个第二特征点的移动距离或移动方向超出预定误差范围地不同于其余第二特征点的移动距离或移动方向，确定图像捕获方向被保持。


6.根据权利要求4所述的对象识别方法，其中识别图像捕获方向的改变包括：
基于所述多个第二特征点的数量和所述多个第一特征点的数量之间的变化率超过预定阈值率，确定图像捕获方向被保持。


7.根据权利要求1所述的对象识别方法，其中识别图像捕获方向的改变包括通过使用人工智能模型集识别图像捕获方向的改变来识别图像捕获方向的改变，以及
其中人工智能模型是卷积神经网络(CNN)、循环神经网络(RNN)和卷积循环神经网络(CRNN)中的至少一种。


8.一种冰箱，包括：
储藏室，配置为储藏食物；
图像捕获设备，配置为捕获储藏室的图像；
...

【专利技术属性】
技术研发人员：韩成柱，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR