模型(31)被配置成利用信息通过机器学习来进行训练，以用于基于问题和屏幕识别信息输出指示问题的意图的意图信息。推理单元(21)基于问题和用于识别当输入单元(11)已经获取到问题时显示的描述屏幕的屏幕识别信息从模型获取意图信息。推理单元(21)获得与所获取的意图信息对应的应答、与意图信息和屏幕识别信息对应的控制命令，以及用于识别与意图信息和屏幕识别信息对应变换目的地的描述屏幕的变换目的地屏幕识别信息。应用程序输出由推理单元(21)获得的应答，使控制命令执行单元(41)执行由推理单元(21)获得的控制命令，并且在显示单元(43)上显示与由推理单元(21)获得的变换目的地屏幕识别信息对应的描述屏幕。的地屏幕识别信息对应的描述屏幕。的地屏幕识别信息对应的描述屏幕。
【技术实现步骤摘要】
【国外来华专利技术】操作支持装置、操作支持方法和程序
[0001]本专利技术涉及一种操作支持装置、操作支持方法和程序。
技术介绍
[0002]在每个行业中，都需要提供一种简单且适当地响应来自用户的关于如何操作装置等问题的方法。
[0003]专利文献1公开了一种装置操作引导装置。在装置操作引导装置中，通过查询输入机构输入来自用户的关于装置操作方法的查询。另外，装置操作输入机构是用户用来对装置进行操作的输入机构。接收机构接收从数据库读取的操作引导信息。然后，操作引导机构根据操作引导信息呈现操作引导，以允许用户对装置操作输入机构进行操作以执行期望的操作。
[0004]引文列表
[0005]专利文献
[0006]专利文献1：日本未审查专利申请公开No.2005
‑
107583
技术实现思路
[0007]技术问题
[0008]然而，在每个行业中，产品正变得越来越小型且轻薄，并且制造或测试这种产品的过程也越来越复杂，因此，在这些过程中的每个过程中使用的装置也变得越来越复杂。在这样的情况下，存在的问题是装置的使用变得越来越困难并且容易导致操作者的操作错误。该问题影响每个行业中的公司等，影响的方向是增加损失。
[0009]在存在上述复杂性的情况下有这样一个问题，即在由操作目标装置的用户等提出问题的情况下，问题的意图可能根据情况而不同。另外，存在的问题还在于，简单地返回对来自用户的问题的应答并不保证用户已经可靠地理解了所有正确的操作方法。换言之，操作支持装置必须提供与问题的意图一致的应答，该问题的意图取决于情况。此外，除了简单地返回问题的应答，期望必要时操作支持装置能够适当地控制目标装置。
[0010]考虑到以上情况做出了本专利技术，本专利技术是为了提供一种操作支持装置、操作支持方法和程序，其不仅能够对问题内容的表面层进行响应，还能够根据情况，在一些情况下代表用户执行对目标装置的至少一部分控制。
[0011]技术方案
[0012][1]为了解决以上问题，根据本专利技术的一方面，提供了一种操作支持装置，所述操作支持装置包括输入单元、显示单元、控制命令执行单元、推理单元、应用运行单元、应答存储单元和控制命令生成单元。输入单元用于获取问题。显示单元显示针对目标装置的描述屏幕。控制命令执行单元执行用于控制目标装置的控制命令。推理单元基于模型、问题和用于识别当输入单元已经获取到问题时显示的描述屏幕的屏幕识别信息从模型获取意图信息。推理单元获得对应于获取的意图信息的应答、对应于意图信息和屏幕识别信息的控制
命令、以及用于识别针对变换目的地的描述屏幕的变换目的地屏幕识别信息，所述变换目的地对应于意图信息和屏幕识别信息。该模型被配置成利用信息通过机器学习进行训练，以基于问题和屏幕识别信息输出指示问题的意图的意图信息。应用运行单元执行应用程序，以用于输出由推理单元获得的应答，使控制命令执行单元执行由推理单元获得的控制命令，并且在显示单元上显示与由推理单元获得的变换目的地屏幕识别信息对应的描述屏幕。应答存储单元存储意图信息与应答之间的对应关系。控制命令生成单元存储关于与意图信息和屏幕识别信息对应的控制命令和变换目的地屏幕识别信息的信息，并且以与查询对应的控制命令和变换目的地屏幕识别信息基于意图信息和屏幕识别信息对推理单元的查询进行响应。此外，推理单元通过基于获取的意图信息参考应答存储单元来获得与意图信息对应的应答。此外，推理单元通过基于获取的意图信息和屏幕识别信息对控制命令生成单元进行查询来获得控制命令和变换目的地屏幕识别信息。
[0013][2]另外，根据本专利技术的一方面的操作支持装置还包括机器学习处理单元，所述机器学习处理单元提供包含问题、屏幕识别信息和意图信息的训练数据，以通过机器学习来训练模型。
[0014][3]此外，在根据本专利技术一方面的操作支持装置中，显示单元显示由应用运行单元输出的应答。
[0015][4]此外，在根据本专利技术的另一方面的操作支持装置中，显示单元具有用于显示由包括在目标装置中的相机捕获的图像的区域。
[0016][5]根据本专利技术的一方面，提供了一种操作支持方法，所述操作支持方法包括：由输入单元获取问题，由显示单元显示针对目标装置的描述屏幕，由控制命令执行单元执行用于控制目标装置的控制命令，提供模型，该模型利用信息通过机器学习进行了训练，以用于基于问题和屏幕识别信息输出指示问题的意图的意图信息，由推理单元基于问题和用于识别当输入单元已经获取到问题时显示的描述屏幕的屏幕识别信息从模型获取意图信息，并且获得与获取到的意图信息对应的应答、与意图信息和屏幕识别信息对应的控制信息、以及用于识别针对变换目的地的描述屏幕的变换目的地屏幕识别信息，所述变换目的地对应于意图信息和屏幕识别信息，并且由应用运行单元执行应用程序，以用于输出由推理单元获得的应答，使控制命令执行单元执行由推理单元获得的控制命令，并且在显示单元上显示与由推理单元获得的变换目的地屏幕识别信息对应的描述屏幕。
[0017][6]根据本专利技术的一方面，提供了一种使计算机用作根据上述[1]至[4]中任一项所述的操作支持装置的程序。
[0018]有益效果
[0019]根据本专利技术，操作支持装置可以基于根据情况的意图来响应问题并且控制外部硬件。
附图说明
[0020]图1是示出根据本专利技术的实施例的操作支持装置的示意性功能配置的框图。
[0021]图2是示出实施例的操作支持装置中的信息(信号)交换的流程的示例的示意图(1/2)。
[0022]图3是示出实施例的操作支持装置中的信息(信号)交换的流程的示例的示意图
(2/2)。
[0023]图4是示出由根据实施例的操作支持装置处理的数据之间的关系的示意图，其示出了问题内容和屏幕ID与接口之间的关系。
[0024]图5是示出由根据实施例的操作支持装置处理的数据之间的关系的示意图，其示出了意图与应答内容之间的关系。
[0025]图6是示出由根据实施例的操作支持装置处理的数据之间的关系的示意图，其示出了意图、屏幕ID、控制命令和变换目的地屏幕ID之间的关系。
[0026]图7是列出要由根据实施例的操作支持装置使用的控制命令的类型的表。
[0027]图8是示出由根据实施例的操作支持装置的显示单元显示的屏幕的配置示例的示意图。
[0028]图9是示出管理表的配置示例的示意图，该管理表用于管理关于由根据实施例的操作支持装置显示的描述屏幕的信息。
[0029]图10是示出根据实施例的训练数据的示例的示意图，该训练数据用于通过机器学习训练学习模型。
[0030]图11是示出根据实施例的操作支持装置基于特定问题示例的处理的情况的示意图。
具体实施方式
[0031]接下来，将参考附图描述本专利技术的实施例。在本实施例中，操作支持装置基于问题估计意图信息，并且基于意图信息执行处理，该意图信息指示由用户输入的问题的意图。在下文中，意图信息也被称为“意图”。本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种操作支持装置，包括：输入单元，其用于获取问题；显示单元，其显示针对目标装置的描述屏幕；控制命令执行单元，其执行用于控制所述目标装置的控制命令；模型，其被配置成利用信息通过机器学习来进行训练，以用于基于所述问题和屏幕识别信息输出指示所述问题的意图的意图信息；推理单元，其基于所述问题和屏幕识别信息从所述模型获取所述意图信息，并获得与所获取的意图信息对应的应答、与所述意图信息和所述屏幕识别信息对应的控制命令以及变换目的地屏幕识别信息，所述屏幕识别信息用于识别当所述输入单元已经获取到所述问题时显示的描述屏幕，所述变换目的地屏幕识别信息用于识别与所述意图信息和所述屏幕识别信息对应的变换目的地的描述屏幕；应用运行单元，其执行应用程序，所述应用程序用于输出由所述推理单元获得的所述应答，使所述控制命令执行单元执行由所述推理单元获得的所述控制命令，并且在所述显示单元上显示与由所述推理单元获得的所述变换目的地屏幕识别信息对应的描述屏幕；应答存储单元，其存储所述意图信息与所述应答之间的对应关系；以及控制命令生成单元，其存储关于与所述意图信息和所述屏幕识别信息对应的所述控制命令和所述变换目的地屏幕识别信息的信息，并且以与查询对应的所述控制命令和所述变换目的地屏幕识别信息来响应来自所述推理单元基于所述意图信息和所述屏幕识别信息的所述查询，其中，所述推理单元通过基于所获取的意图信息参考所述应答存储单元来获得与所述意图信息对应的所述应答，并且所述推理单元通过基于所获取的意图信息和所述屏幕识别信息对所述控制命令生成单元进行查询来获得所述控制命令和所述变换目的地屏幕识别信息。2.根据权利要求1所述的操作支持装置，还包括机器学习处理单元，所述机器学习处理单元提供包含所述问题、所述屏幕识别信息和所述意图信息的训练数据，以通过机器学习对所述模型进行训练。3.根据权利要求1或2所述的操作支持装置，其中，所述显示单元显示由所述...
【专利技术属性】
技术研发人员：金敏秀，
申请(专利权)人：JE国际公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。