用户终端设备及其控制方法技术

提供了一种用户终端设备。所述用户终端设备包括：相机，被配置为获取捕捉的图像；存储器，被配置为存储食物摄入历史；处理器，被配置为从捕捉的图像提取食物图像，并基于提取的食物图像的特征信息和先前存储的食物摄入历史确定包括在捕捉的图像中的食物项目的食物类型；显示器，被配置为显示关于确定的食物类型的相关信息。

User terminal equipment and its control method

A user terminal device is provided. The user terminal device includes: a camera configured to obtain captured images; a memory configured to store a history of food intake; a processor is configured to extract a food image from the captured image, and is based on the feature information of the extracted food image and the previously stored food intake history to be included in the capture. The food type of the food items in the image; the display is configured to display relevant information about the type of food identified.

【技术实现步骤摘要】
【国外来华专利技术】用户终端设备及其控制方法
与示例性实施例一致的设备和方法涉及一种用户终端设备及其控制方法，更具体地，涉及一种能够管理用户的饮食习惯和健康的用户终端设备及其控制方法。
技术介绍
肥胖率正在上升，并且针对饮食习惯的管理的需求也正在增加。帮助人们保持健康和健美是保健行业的中心目标之一，并且已经开发了各种用于改善饮食和生活方式的项目来帮助人们实现这些目标。为了改善饮食习惯，有必要准确地监视一个人的饮食摄入。例如，如果人们在一天或一段时间期间曾经食用过的食物的类型、量、卡路里、摄入时间等是已知的，则可准确地估计食用了多少食物，需要多少运动以消耗摄入的卡路里等。随着诸如智能电话等移动装置变得更加普遍，各种应用服务已经被引入来帮助管理饮食。这些应用的示例包括“S-健康”、“Noom饮食”等。
技术实现思路
技术问题然而，由于用户必须通过在这样的传统应用中输入文本来手动选择或输入与用户食用的食物的类型、量、摄入时间等有关的信息，因此对用户而言，在每餐后执行应用和输入上述信息通常是麻烦和不方便的。因此，需要用户更容易地管理用户食用的食物的方法。技术方案示例性实施例克服了以上缺点以及以上未描述的其它缺点。此外，示例性实施例不必需克服上述缺点，并且示例性实施例可不克服任何上述问题。示例性实施例提供允许用户通过图像的识别方便地输入用户食用的食物的用户终端设备及其控制方法。根据示例性实施例的一方面，提供了一种用户终端设备，包括：相机，被配置为获取捕捉的图像；存储器，被配置为存储食物摄入历史；处理器，被配置为从捕捉的图像提取食物图像，并基于提取的食物图像的特征信息和先前存储的食物摄入历史确定包括在捕捉的图像中的食物项目的食物类型；显示器，被配置为显示关于确定的食物类型的相关信息。处理器可基于食物摄入历史对每个食物类型应用权重，并且如果食物项目被确定为是多个不同食物类型中的一种，则将包括在捕捉的图像中的所述食物项目确定为多个不同食物类型中的具有最高权重的食物类型。食物摄入历史可包括由用户已经食用的种类食物类型和与所述食物类型相关联的各个摄入频率，并且处理器可根据摄入频率的顺序将权重应用于每个食物类型，并且将食物摄入历史存储在存储器中。处理器可控制显示器显示基于提取的食物的特征信息确定的食物类型的列表。所述列表可按照权重的顺序被分类。处理器可将提取的食物图像确定为根据用户输入从列表中选择的食物类型。处理器可将捕捉的图像存储在存储器中，并且如果发生预设事件，则从存储在存储器中的捕捉的图像中选择包括食物图像的捕捉的图像。处理器可在显示器上按照时间线显示用户界面(UI)，在该UI中按照捕获时间的顺序排列和显示选择的捕捉的图像。相关信息可包括确定的食物类型和卡路里信息中的至少一个。处理器可根据用户输入和所述确定的结果中的至少一个来更新食物摄入历史。如果从捕捉的图像中提取到多个食物图像，则处理器可提供用于选择提取的多个食物图像中的至少一个的UI，并且通过该UI确定选择的食物图像的食物类型。处理器可从捕捉的图像中包括的食物的量计算和显示用户已经食用掉的卡路里量，食物的量是由用户输入的，并且处理器可将输入的食物的量存储为用于确定与确定的食物类型相同的食物类型的食物的量的信息。根据另一示例性实施例的一方面，提供了一种用户终端设备，包括：相机，被配置为获取捕捉的图像；通信接口，被配置为与存储食物摄入历史的外部服务器进行通信；处理器，被配置为从捕捉的图像提取食物图像，将提取的食物图像的特征信息发送到外部服务器，并且从外部服务器接收关于由外部服务器基于提取的食物图像的特征信息和食物摄入历史确定的食物类型的相关信息；显示器，被配置为显示接收到的相关信息。根据另一示例性实施例的一方面，提供了一种用户终端设备的控制方法，包括：获取捕捉的图像；从捕捉的图像提取食物图像；基于提取的食物图像的特征信息和先前存储的食物摄入历史确定包括在捕捉的图像中的食物项目的食物类型；显示关于确定的食物类型的相关信息。所述方法还可包括基于先前存储的食物摄入历史将权重应用于每个食物类型。所述估计可包括：如果所述食物项目被确定为多个不同食物类型中的一个，则将包括在所述捕捉的图像中的食物项目确定为多个不同食物类型中的具有最高权重的食物类型。食物摄入历史可包括由用户已经食用的食物类型和与所述食物类型相关联的各个摄入频率。应用权重的步骤可包括：根据摄入频率的顺序将权重应用于每个食物类型，并且存储食物摄入历史。所述确定的步骤可包括：显示基于提取的食物的特征信息确定的食物类型的列表。所述列表可按照权重的顺序被分类。提取的食物图像可被确定为根据用户输入从列表中选择的食物类型。所述方法还可包括：存储捕捉的图像。所述显示的步骤可包括：如果发生预设事件，则从存储的捕捉的图像选择包括食物图像的捕捉的图像；按照时间线显示用户界面(UI)，在UI中按照捕捉时间的顺序排列和显示选择的捕捉的图像。所述相关信息可包括确定的食物类型和卡路里信息中的至少一个。所述方法还可包括：根据用户输入和所述确定的结果中的至少一个来更新食物摄入历史。所述确定的步骤可包括：如果从捕捉的图像提取到多个食物图像，则提供用于选择提取的多个食物图像中的至少一个的UI，并且通过该UI确定选择的食物图像的食物类型。所述显示的步骤还可包括：从包括在捕捉的图像中的食物的量计算并显示用户已经食用的卡路里量，食物的量是由用户输入的；将输入的食物的量存储为用于确定与确定的食物类型相同的食物类型的食物的量的信息。根据另一示例性实施例的一方面，提供了一种用户终端设备的控制方法，包括：获取捕捉的图像；从捕捉的图像提取食物图像；将提取的食物图像的特征信息发送到存储食物摄入历史的外部服务器；从外部服务器接收关于由外部服务器基于所提取的食物图像的特征信息和食物摄取历史确定的食物类型的相关信息；显示接收到的相关信息。有益效果如上所述，根据本公开的各种示例性实施例，用户可更方便地将关于用户食用的食物的信息输入到在用户终端设备中执行的应用，并且可提供针对每个用户的用户定制信息。附图说明通过参照附图描述特定示例性实施例，以上和/或其它方便将更加清楚，其中：图1是示出根据示例性实施例的用户终端设备的配置的示意性框图；图2是示出根据示例性实施例的用于通过捕捉食物的图像来确定食物的类型的方法的示图；图3是示出根据示例性实施例的用于将权重应用于食物类型的方法的示图；图4是示出根据示例性实施例的用于确定具有高权重的食物类型的方法的示图；图5A至图5D是示出根据示例性实施例的用于更新超出识别范围的食物类型的方法的示图；图6是示出根据示例性实施例的按照时间线形式显示捕捉的图像的用户界面(UI)的示图。图7是示出根据示例性实施例的用于选择存储的捕捉图像中的包括食物图像的捕捉的图像的方法的示图；图8是示出根据示例性实施例的用于检测仅由用户选择的食物类型的方法的示图；图9是示出根据另一示例性实施例的用户终端设备的存储器的配置的详细框图；图10是示出根据示例性实施例的基于机器学习技术的食物识别过程的示图；图11是示出根据另一示例性实施例的用户终端设备的配置的示意性框图；图12是示出根据示例性实施例的用于通过与包括用户数据库(DB)的外部服务器进行通信来估计食物的种类的方法的框图；图13是示本文档来自技高网...

【技术保护点】
1.一种用户终端设备，包括：显示器；相机，被配置为捕捉图像；存储器，被配置为存储食物摄入历史；处理器，被配置为从捕捉的图像提取食物图像，基于提取的食物图像的特征信息和先前存储的食物摄入历史来确定包括在捕捉的图像中的食物项目的食物类型，并控制显示器显示关于确定的食物类型的相关信息。

【技术特征摘要】
【国外来华专利技术】2015.11.25 KR 10-2015-01657941.一种用户终端设备，包括：显示器；相机，被配置为捕捉图像；存储器，被配置为存储食物摄入历史；处理器，被配置为从捕捉的图像提取食物图像，基于提取的食物图像的特征信息和先前存储的食物摄入历史来确定包括在捕捉的图像中的食物项目的食物类型，并控制显示器显示关于确定的食物类型的相关信息。2.如权利要求1所述的用户终端设备，其中，处理器还被配置为：基于食物摄入历史将权重应用于每个食物类型，以及响应于食物项目被确定为多个不同食物类型中的一个，将包括在捕捉的图像中的食物项目确定为所述多个不同食物类型中具有最高权重的食物类型。3.如权利要求2所述的用户终端设备，其中，食物摄入历史包括由用户已经食用过的食物类型和与食物类型相关联的各个摄入频率，其中，处理器还被配置为根据摄入频率的顺序将权重应用于每个食物类型，并将食物摄入历史存储在存储器中。4.如权利要求3所述的用户终端设备，其中，处理器还用于：控制显示器显示基于提取的食物的特征信息确定的食物类型的列表，其中，列表按照权重的顺序被分类，以及将提取的食物图像确定为根据用户输入从列表选择的食物类型。5.如权利要求1所述的用户终端设备，其中，处理器还被配置为：将捕捉的图像存储在存储器中，响应于预设事件，从存储在存储器中的捕捉的图像选择包括食物图像的捕捉的图像，并控制显示器按照时间线来显示用户界面UI，其中，在该UI中，选择的捕捉的图像按照捕捉时间的顺序被排列和显示。6.如权利要求1所述的用户终端设备，其中，相关信息包括确定的食物类型和卡路里信息中的至少一个。7.如权利要求1所述的用户终端设备，其中，处理器还被配置为根据用户输入和确定的结果中的至少一个来更新食物摄入历史。8.如权利要求1所述的用户终端设备，其中，处理器还被配置为响应于从捕捉的图像提取到多个食物图像，提供用于选择提取的多个食物图像中的至少一个的用户界面UI，并通过所述UI确定选择的食物图像的食物类型。9.如权利要求6所述...

【专利技术属性】
技术研发人员：姜诚玟，韩兴宇，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR