用户感兴趣信息生成的装置和方法制造方法及图纸

本发明专利技术涉及人工智能(AI)，其通过利用诸如深度学习的机器学习算法来模仿人脑的功能，诸如识别和推理，并且涉及用于从显示给用户的图像中获得用户的感兴趣信息的基于上下文感知的人工智能应用技术。根据本发明专利技术一个实施例的电子设备获取与图像相关的上下文数据，并且使用上下文数据从索引树的节点当中选择与上下文数据相对应的感兴趣节点，索引树用于搜索与通过使用作为机器学习的结果而生成的模型从图像中提取的候选对象相对应的样本图像，其中通过使用索引树的每个节点的主题和上下文数据之间的比较结果来选择感兴趣节点；并且通过使用感兴趣节点从包括在图像中的候选对象当中选择感兴趣对象。

【技术实现步骤摘要】
【国外来华专利技术】用户感兴趣信息生成的装置和方法
本公开涉及人工智能(artificialintelligence，AI)系统，其用于通过利用诸如深度学习的机器学习算法及其应用来模仿人脑的功能，诸如识别和推理，并且涉及用于从显示给用户的图像中获得用户的感兴趣信息的基于上下文感知的AI应用技术。
技术介绍
不同于现有的基于规则的智能系统，人工智能(AI)系统是实现人类水平的智能的系统，并且是机器学习、判断和反复改进分析和决策的系统。随着AI系统使用的增加，例如，可以相应地增加准确度、识别率以及对用户品味的理解或预期。因此，现有的基于规则的智能系统正逐渐被基于深度学习的AI系统所取代。AI技术由机器学习(深度学习)和利用机器学习的元素技术(elementtechnology)组成。机器学习是能够对输入数据的特性进行分类或学习的算法技术。元素技术是使用诸如深度学习的机器学习算法来模拟诸如人脑的识别和判断等功能的技术。机器学习由诸如语言理解、视觉理解、推理、预测、知识表示、运动控制等
组成。实现AI技术的各个领域可能包括以下内容。语言理解是用于识别、应用和/或处理人类语言或字符的技术，包括自然语言处理、机器翻译、对话系统、问答、语音识别或合成等。视觉理解是用于如人类视觉那样识别和处理对象的技术，包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推断预测是用于判断、逻辑推断和预测信息的技术，包括基于知识和基于概率的推断、最优化预测、基于偏好的规划、推荐等。知识表示是用于将人类经验信息自动化(automate)为知识数据的技术，包括知识构建(数据生成或分类)、知识管理(数据利用)等。运动控制是用于控制车辆的自主行驶和机器人的运动的技术，包括运动控制(导航、碰撞、驾驶)、操作控制(行为控制)等。通过分析用户对暴露给用户的各种内容的反馈，提供了估计用户的感兴趣信息的技术。作为代表，诸如聚合社交网络上发布的内容的积极反馈以及从获得积极反馈的内容的公共点获得用户的感兴趣信息的技术是已知的。为了从暴露给用户的图像中提取关于用户的兴趣的信息，有必要分析哪些话题(topic)包括在图像中。为此，执行过程，用于包括在图像中的对象的识别以及由每个识别的对象表示的话题的标识。为了不限制可以提取的感兴趣信息的范围，不期望要标识的对象的话题被限制在特定的范围内。然而，在不限制范围的情况下进行对象标识的计算负载是一个难以处理的水平，除非存在具有高性能的电子设备，诸如具有优异计算性能的服务器。此外，不限制范围的对象标识很可能存在准确度问题。即使计算负载和准确度的问题得到解决，当前技术也没有提供在图像中所识别的对象当中选择被标识为暴露于图像的用户感兴趣的感兴趣对象的方法。如果在图像中识别出了多个不同的对象，则在获得用户的感兴趣信息时，选择多个对象中的哪个是感兴趣对象是非常重要的。大量图像可以具有多个对象。当前提供的技术缺少从暴露给用户的图像中生成用户的感兴趣信息的关键配置。因此，有必要提供一种基于上下文感知的AI应用技术，其具有涉及在图像中选择感兴趣对象的核心配置，该技术可以用于计算性能不是相对优异、但是提供了高准确度的电子设备(诸如用户终端等)。
技术实现思路
技术问题本公开旨在解决上述问题，并且本公开的目的是提供用于实现AI应用技术的电子设备和方法，该AI应用技术用于在图像被显示时通过考虑上下文数据来从图像中获得估计为用户感兴趣的信息。本公开提供了用于实现AI应用技术的电子设备及其方法，能够通过选择索引树的感兴趣节点来提高选择图像中感兴趣对象的速度，该索引树用于搜索与图像中识别的每一个对象相对应的样本图像，并且从感兴趣节点开始搜索与识别的对象匹配的样本图像。本公开的技术挑战不限于上述技术挑战，并且本领域技术人员从以下描述中可以清楚地理解未提及的其他技术挑战。解决问题的技术方案根据实施例，电子设备包括处理器、显示图像的显示器和存储由处理器执行的多个指令的存储器。多个指令包括：用于获得与显示在显示器上的图像相关联的上下文数据的指令；用于通过使用上下文数据，在索引树的节点中选择与上下文数据相对应的感兴趣节点的指令，该索引树用于搜索与图像的候选对象相对应的样本图像，以及使用索引树的每个节点的主题和上下文数据之间的比较结果来选择感兴趣节点的指令，以及用于使用感兴趣节点从包括在图像中的候选对象中选择感兴趣对象的指令。根据每个节点的主题之间的语义关系，索引树可以分层地(hierarchically)连接到另一节点。在实施例中，上下文数据可以包括多个上下文元素，并且用于选择感兴趣节点的指令可以包括用于在与多个上下文元素相对应的多个节点中选择最低节点作为感兴趣节点的指令。在实施例中，多个上下文元素可以包括第一上下文元素和第二上下文元素，并且基于对应于第一上下文元素的第一节点和对应于第二上下文元素的第二节点之间的最低节点是第二节点，用于选择感兴趣对象的指令可以包括：基于未能(fail)在候选对象中搜索到与第二节点相对应的对象、用于在多个候选对象中搜索与第一节点相对应的对象的指令；以及用于使用第一节点，在包括在图像中的候选对象中选择感兴趣对象的指令。第一注释在索引树上的深度为N，其中N是大于或等于1的自然数，并且第一节点在索引树上的深度为N+2，其中N是大于或等于1的自然数，并且用于在多个候选对象中搜索与第一节点相对应的对象的指令可以包括，基于未能在候选对象中搜索到与第二节点相对应的对象，经过存在于第二节点和第一节点之间的一个或多个节点，并且行进(travel)到第一节点。在实施例中，用于选择感兴趣对象的指令可以包括：用于基于未能在候选对象中搜索到与感兴趣节点相对应的对象在多个候选对象中搜索与感兴趣节点的上节点(uppernode)相对应的对象的指令，以及用于使用上节点，在包括在图像中的候选对象中选择感兴趣对象的指令。在实施例中，索引树的节点可以包括叶节点和非叶节点，每一个非叶节点可以包括用于接收特征数据并生成指示对应于该特征数据的子节点的输出的分类器，用于使用感兴趣节点在包括在图像中的候选对象中选择感兴趣对象的指令可以包括：用于基于感兴趣节点是非叶节点将候选对象的特征数据输入到感兴趣节点的分类器，并且行进到由分类器的输出指示的子节点的指令，以及用于重复指令以行进到子节点直到到达叶节点的指令。叶节点与在图像档案(archive)的每个样本图像中与分配给叶节点的主题(subject)相匹配的一个或多个图像匹配，并且用于使用感兴趣节点在包括在图像中的候选对象中选择感兴趣对象的指令可以包括：用于基于到达叶节点标识与叶节点相匹配的样本图像是否与候选对象相匹配的指令，以及用于选择标识为匹配与叶节点相匹配的图像的候选对象作为感兴趣对象的指令。用于使用感兴趣节点在包括在图像中的候选对象中选择感兴趣对象的指令可以包括，基于当前节点的分类器的输出指示对于所有候选对象都不存在与特征数据相对应的子节点，行进到当前节点的上节点的指令，并且当前节点的上节点是在当前节点的上节本文档来自技高网...

【技术保护点】
1.一种电子设备，包括：/n处理器；/n显示器，用于显示图像；以及/n存储器，存储由处理器执行的多个指令，/n其中，所述多个指令包括：/n用于获得与显示在显示器上的图像相关联的上下文数据的指令；/n用于通过使用上下文数据，在索引树的节点中选择与上下文数据相对应的感兴趣节点，并且使用索引树的每个节点的主题和上下文数据之间的比较结果来选择感兴趣节点的指令，所述索引树用于搜索与图像的候选对象相对应的样本图像；以及/n用于通过使用感兴趣节点从包括在图像中的候选对象中选择感兴趣对象的指令；/n其中，所述索引树根据每个节点的主题之间的语义关系分层地连接到另一节点。/n

【技术特征摘要】
【国外来华专利技术】20171110 KR 10-2017-01494141.一种电子设备，包括：
处理器；
显示器，用于显示图像；以及
存储器，存储由处理器执行的多个指令，
其中，所述多个指令包括：
用于获得与显示在显示器上的图像相关联的上下文数据的指令；
用于通过使用上下文数据，在索引树的节点中选择与上下文数据相对应的感兴趣节点，并且使用索引树的每个节点的主题和上下文数据之间的比较结果来选择感兴趣节点的指令，所述索引树用于搜索与图像的候选对象相对应的样本图像；以及
用于通过使用感兴趣节点从包括在图像中的候选对象中选择感兴趣对象的指令；
其中，所述索引树根据每个节点的主题之间的语义关系分层地连接到另一节点。


2.根据权利要求1所述的电子设备，其中：
所述上下文数据包括多个上下文元素，并且用于选择感兴趣节点的指令包括用于在与多个上下文元素相对应的多个节点中选择最低节点作为感兴趣节点的指令。


3.根据权利要求2所述的电子设备，其中，所述多个上下文元素包括第一上下文元素和第二上下文元素，并且基于对应于第一上下文元素的第一节点和对应于第二上下文元素的第二节点之间的最低节点是第二节点，
用于选择感兴趣对象的指令包括：
用于基于未能在候选对象中搜索到与第二节点相对应的对象，在多个候选对象中搜索与第一节点相对应的对象的指令；以及
用于使用第一节点在包括在图像中的候选对象中选择感兴趣对象的指令。


4.根据权利要求3所述的电子设备，其中：
第一注释在索引树上具有深度N，其中N是大于或等于1的自然数，并且第一节点在索引树上具有深度N+2，其中N是大于或等于1的自然数，
用于在多个候选对象中搜索与第一节点相对应的对象的指令包括，基于未能在候选对象中搜索与第二节点相对应的对象，经过存在于第二节点和第一节点之间的一个或多个节点，并且行进到第一节点。


5.根据权利要求1所述的电子设备，其中，用于选择感兴趣对象的指令包括：
用于基于未能在候选对象中搜索到与感兴趣节点相对应的对象，在多个候选对象中搜索与感兴趣节点的上节点相对应的对象的指令；以及
使用所述上节点从包括在图像中的候选对象中选择感兴趣对象的指令。


6.根据权利要求1所述的电子设备，其中：
所述索引树的节点包括叶节点和非叶节点，
每一个非叶节点包括分类器，其用于接收特征数据并生成指示与特征数据相对应的子节点的输出，
使用感兴趣节点从包括在图像中的候选对象中选择感兴趣对象的指令包括：
用于基于感兴趣节点是非叶节点，将候选对象的特征数据输入到感兴趣节点的分类器并行进到由分类器的输出所指示的子节点的指令；以及
用于重复所述指令以行进到子节点直到到达叶节点的指令。


7.根据权利要求6所述的电子设备，其中：
所述叶节点与在图像档案的每个样本图像中与分配给叶节点的主题相匹配的一个或多个图像匹配，
用于使用感兴趣节点从包括在图像中的候选对象中选择感兴趣对象的指令包括：
用于基于到达叶节点，标识与叶节点相匹配的样本图像是否与候选对象匹配的指令；以及
用于选择被标识为与匹配叶节点的图像相匹配的候选对象作为感兴趣对象的指令。


8.根据权利要求6所述的电子设备，其中：
用于使用感兴趣节点在包括在图像中的候选对象中选择感兴趣对象的指令包括，基于当前节点的分类器的输出指示对于所有候选对象不存在与特征数据相对应的子节点而行进到当前节点的上节点的指令；
当前节点的上节点是当前节点的上节点中与包括在上下文数据中的多个上下文元素之一相匹配的最近的上节点。...

【专利技术属性】
技术研发人员：金度坤，金璟洙，金圣晋，K安基特，李强熙，李炯旻，朴宰贤，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR