电子设备和操作该电子设备的方法技术

一种电子设备包括处理器，其中，处理器被配置为：获得多个图像，使用特征提取模型提取关于所述多个图像的深度特征，使用提取的所述深度特征和分类模型将所述多个图像分类成特定群组，在显示器上显示分类的结果，使用所述分类的结果确定所述特征提取模型和/或所述分类模型是否需要被更新，并且基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。该电子设备可使用基于规则的算法或人工智能(AI)算法评估图像的深度特征。当使用AI算法评估图像的深度特征时，该电子设备可使用机器学习、神经网络或深度学习算法等。

Electronic equipment and methods of operating the electronic equipment

【技术实现步骤摘要】
【国外来华专利技术】电子设备和操作该电子设备的方法
本公开总体上涉及电子设备和操作该电子设备的方法，例如，涉及一种能够将多个图像分类成特定群组或者将特定的关键字分配给特定群组的电子设备以及一种操作该电子设备的方法。此外，本公开涉及使用机器学习算法(诸如深度学习)提供识别和决策的人工智能(AI)系统及其应用。
技术介绍
随着信息和通信技术以及半导体技术的发展，各种电子设备已经发展成为提供各种多媒体服务的多媒体设备。例如，电子设备提供各种多媒体服务，诸如，信使服务、广播服务、无线互联网服务、相机服务和音乐再现服务。此外，电子设备提供对图像进分类和搜索的功能。电子设备可通过使用预设的分类标准将用户的图像分类成特定群组，但由于使用设置的分类标准，故不能提供针对用户优化的分类结果。此外，电子设备可将用户的图像与关键字一起存储，并且提供使用所述关键字的图像搜索功能。然而，在使用关键字的图像搜索期间，只能找到依照由用户分配的关键字而存储的图像，因此用户不得不准确地记住与期望被找到的图像相应的关键字。此外，近来，人工智能(AI)系统被引入到图像处理领域。AI系统是不同于现有的基于规则的智能系统的系统，在该系统中，机器进行自我学习、做决定并且变得智能。AI系统的使用越多，识别率就越高并且就能越准确地理解用户的喜好，因此基于深度学习的AI系统逐渐替代现有的基于规则的智能系统。AI技术包括机器学习(深度学习)和使用机器学习的元素技术。机器学习是对输入数据的特征进行自分类并学习的算法技术。元素技术是用于使用诸如深度学习的机器学习算法模拟诸如识别和确定的功能的技术，并且包括语言理解、视觉理解、推理/预测、知识表示或操作控制的
可应用AI技术的各种领域如下。语言理解是一种识别人的语言/字符并且应用/处理所述语言/字符的技术，并且包括自然语言处理、机器翻译、会话系统、提问与回答或语音识别/合成。视觉理解是一种识别对象的技术，并且包括对象识别、对象追踪、图像搜索、人识别、场景理解、空间理解、图像增强。推理/预测是一种通过确定信息来逻辑地推理和预测信息的技术，并且包括基于知识/概率的推理、最优化预测、基于偏好的计划或推荐。知识表示是一种将经验信息自动化为知识数据的技术，并且包括知识构造(数据产生/分类)或知识管理(数据应用)。操作控制是一种控制车辆的自动驾驶或机器人的运动的技术，并且包括运动控制(导航、避免碰撞、驾驶)或操纵控制(行为控制)。
技术实现思路
解决方案提供了能够提取图像的特征、基于所提取的特征将图像分类并基于所提取的特征搜索相似图像的电子设备以及操作所述电子设备的方法。附图说明通过以下结合附图的详细描述，本公开的这些和/或其他方面、特征和伴随的优点将会变得清楚并且更容易理解，其中，相同的附图标号表示相同的元素，其中：图1是示出根据本公开的示例实施例的由电子设备执行的将图像分类的示例方法的示图；图2是示出根据本公开的示例实施例的对电子设备进行操作的示例方法的流程图；图3A、图3B和图3C是示出根据本公开的示例实施例的提取图像的深度特征的示例方法的示图；图4是示出根据本公开的示例实施例的由电子设备使用基于通用数据训练的特征提取模型和分类模型将多个图像分类的示例结果的示图；图5是示出根据本公开的示例实施例的由电子设备使用被更新的特征提取模型和分类模式将多个图像分类的示例结果的示图；图6A和图6B是示出根据本公开的示例实施例的使用基于用户数据训练的特征提取模型和分类模型将多个图像分类的示例方法的示图；图7A是示出根据本公开的示例实施例的服务器和电子设备的示例操作的流程图；图7B是示出根据本公开的示例实施例的对服务器、第一处理器和第二处理器进行操作的示例方法的流程图；图7C是示出根据本公开的示例实施例的对服务器、第一处理器、第二处理器和第三处理器进行操作的示例方法的流程图；图8A是示出根据本公开的示例实施例的对电子设备进行操作的示例方法的流程图；图8B是示出根据本公开的示例实施例的对在电子设备中包括的第一处理器和第二处理器进行操作的示例方法的流程图；图8C是示出根据本公开的示例实施例的对在电子设备中包括的第一处理器、第二处理器和第三处理器进行操作的示例方法的流程图；图9和图10是示出根据本公开的示例实施例的由电子设备执行的搜索图像的示例方法的示图；图11是示出根据本公开的示例实施例的电子设备的示例配置的框图；图12是示出根据本公开的示例实施例的示例处理器的框图；图13是示出根据本公开的示例实施例的示例数据学习单元的框图；图14是示出根据本公开的示例实施例的示例数据分类单元的框图；图15是示出根据本公开的示例实施例的电子设备与服务器互相配合一起学习并识别数据的示例的示图；图16是示出根据本公开的另一示例实施例的电子设备的示例配置的框图。本专利技术的最佳实施方式提供了能够提取图像的特征、基于所提取的特征将所述图像分类并且基于所提取的特征搜索相似图像的电子设备以及操作所述电子设备的方法。提供了能够在不由用户设置的情况下分配适合于图像的特征的关键字的电子设备以及操作所述电子设备的方法。其他示例方面在下面的描述中将被部分地阐明，并且部分地将通过该描述显而易见。根据示例实施例的一示例方面，一种电子设备包括：显示器；存储器，被配置为存储至少一个指令；以及处理器，被配置为运行存储在存储器中的所述至少一个指令以促使电子设备进行以下操作：获得多个图像，使用特征提取模型提取关于所述多个图像的深度特征，使用提取的深度特征和分类模型将所述多个图像分类成特定群组，在显示器上显示分类的结果，使用所述分类的结果确定所述特征提取模型和所述分类模型是否需要被更新，并且基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。根据另一示例实施例的一示例方面，一种操作电子设备的方法包括：获得多个图像；使用特征提取模型提取关于所述多个图像的深度特征；使用提取的所述深度特征和分类模型将所述多个图像分类成特定群组并且显示分类的结果；使用所述分类的结果确定所述特征提取模型和所述分类模型是否需要被更新；以及基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。具体实施方式这里使用的包括描述性术语或技术术语的所有术语应该被理解为具有对本领域的普通技术人员明显的含义。然而，所述术语根据本领域的普通技术人员的意图、先例或新技术的出现可具有不同的含义。此外，可任意地选择一些术语，并且在这种情况下，在本公开中将对选择的术语的含义进行描述。因此，这里使用的术语必须基于术语的含义以及贯穿本公开的描述被定义。此外，当部件“包括”或“包含”元件时，除非存在与此相反的特定描述，否则部件还可包括其他元件而不排除其他元件。在以下描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，单元和块可被实现为硬件(例如，电路)、固件或软件或者可通过硬件、固件或软件的任何组合被实现。现将参照附图对本公开的各种示例实施例进行更充分的描述。然而，本公开的示例实施例可以以许多不同的形式实现，并且不应被理解为受限于这里阐明的实施例；相反地，提供这些实施例使得本公开将是彻底且完整的，并且将向本领域的普通技术人员充分地传达本公开的示例实施例的构思。在以下的描述中，由于如果公知本文档来自技高网...

【技术保护点】
1.一种电子设备，包括：显示器；存储器，被配置为存储至少一个指令；以及处理器，被配置为运行存储在存储器中的所述至少一个指令，其中，处理器被配置为运行所述至少一个指令以促使电子设备进行以下操作：获得多个图像，使用特征提取模型提取关于所述多个图像的深度特征，使用提取的深度特征和分类模型将所述多个图像分类成特定群组，在显示器上显示分类的结果，使用所述分类的结果确定所述特征提取模型和/或所述分类模型是否需要被更新，并且基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。

【技术特征摘要】
【国外来华专利技术】2017.01.03 KR 10-2017-0000789;2017.10.20 KR 10-2011.一种电子设备，包括：显示器；存储器，被配置为存储至少一个指令；以及处理器，被配置为运行存储在存储器中的所述至少一个指令，其中，处理器被配置为运行所述至少一个指令以促使电子设备进行以下操作：获得多个图像，使用特征提取模型提取关于所述多个图像的深度特征，使用提取的深度特征和分类模型将所述多个图像分类成特定群组，在显示器上显示分类的结果，使用所述分类的结果确定所述特征提取模型和/或所述分类模型是否需要被更新，并且基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。2.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备存储所述多个图像和所述深度特征。3.如权利要求2所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备存储关于所述多个图像的呈可交换图像文件格式(EXIF)的所述深度特征。4.如权利要求1所述的电子设备，其中，所述特征提取模型包括第一神经网络，以及所述处理器被配置为运行所述至少一个指令以促使电子设备通过将所述多个图像中的每一个输入到第一神经网络来从第一神经网络中的至少一层提取向量，其中，关于所述多个图像的所述深度特征中的每一个包括提取的向量。5.如权利要求4的电子设备，其中，所述分类模型包括第二神经网络，第二神经网络被配置为基于关于所述多个图像的所述深度特征之间的相似度将所述多个图像分类成所述特定群组。6.如权利要求5所述的电子设备，其中，关于所述多个图像的所述深度特征之间的相似度包括通过在所述深度特征中包括的向量之间的差值而确定的相似度的程度，其中，相似度的程度随着向量之间的差值增大而减小，相似度的程度随着向量之间的差值减小而增大，并且与被分类成一个群组的图像相应的向量之间的差值在预设的范围内。7.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备进行以下操作：获得第一图像，提取第一图像的深度特征，基于第一图像的深度特征从分类的所述多个图像之中提取至少一个图像，并且在显示器上显示提取的所述至少一个图像。8.如权利要求1所述的电子设备，其中，处...

【专利技术属性】
技术研发人员：姜诚珉，翰兴宇，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR