外部控制装置、声音对话型控制系统、控制方法及记录介质制造方法及图纸

课题：本发明专利技术实现以用户容易理解的形式提供信息的外部控制装置。解决方案：外部控制装置进行以下控制：获取与声音输入输出装置受理的声音输入信息相关的关联信息，基于所获取的关联信息的内容，判定在向用户提供的响应信息中是否包含图像，在显示装置显示该图像。

External control device, voice dialogue control system, control method and recording medium

【技术实现步骤摘要】
外部控制装置、声音对话型控制系统、控制方法及记录介质
本专利技术涉及以声音或图像提供与声音输入信息对应的响应信息的外部控制装置等。
技术介绍
作为以往技术，已知能够使用声音或图像这样的多个手段向用户提供信息的装置。例如在专利文献1中公开了一种将与用户的声音对应的响应消息以声音或文本形式输出的终端装置。现有技术文献专利文件专利文献1：日本公开专利公报“特开2014-002383号”(2014年1月9日公开)
技术实现思路
本专利技术所要解决的技术问题但是，专利文献1中记载的终端装置是能够以声音或文本形式向用户提供信息的构成，但存在无法基于信息的内容以用户容易理解的形式提供该信息的问题。本专利技术的一方案以解决所述问题为目的，提供一种以用户容易理解的形式提供信息的外部控制装置。解决问题的方案为了解决所述技术问题，本专利技术一方案的外部控制装置进行以下控制：接收声音输入输出装置所受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与该声音输入信息联的关联信息，基于所获取的所述关联信息的内容，判定向所述用户提供的响应信息中是否包含图像，在判定为在向所述用户提供的所述响应信息中包含所述图像的情况下，在显示装置显示该图像。本专利技术一方案的控制方法进行以下控制：接收声音输入输出装置所受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与该声音输入信息相关的关联信息，基于所获取的所述关联信息的内容，判定在向所述用户提供的所述响应信息中是否包含图像，在判定为在向所述用户提供的所述响应信息中包含所述图像的情况下，在显示装置显示所述图像。专利技术效果根据本专利技术的一方案，能够以用户容易理解的形式提供信息。附图说明图1是表示本专利技术第一实施方式的声音对话型控制系统的概要的示意图。图2是表示本专利技术第一实施方式的声音对话型控制系统的要部构成的一例的框图。图3是表示本专利技术第一实施方式的声音对话型控制系统中的一连串处理的时序图。图4表示本专利技术第一实施方式的声音输入输出装置执行的处理的一例的流程图。图5是表示本专利技术第二实施方式的声音对话型控制系统的概要的示意图。图6是表示本专利技术第二实施方式的声音对话型控制系统中的一连串处理的时序图。图7是表示本专利技术第三实施方式的声音对话型控制系统的概要的示意图。图8是表示本专利技术第三实施方式的声音对话型控制系统中的一连串处理的时序图。图9是表示本专利技术第三实施方式的声音输入输出装置执行的处理的一例的流程图。具体实施方式〔第一实施方式〕以下使用图1至图4对本专利技术的一实施方式进行详细说明。(声音对话型控制系统的构成)使用图1及图2对本实施方式的声音对话型控制系统1的构成进行说明。图1是表示声音对话型控制系统1的概要的示意图。如图1所示，声音对话型控制系统1包括外部控制装置100、声音输入输出装置200、路由器300及显示装置400。构成声音对话型控制系统1的各种装置全部配置在相同的室内或相同的建筑物内。以下使用各种装置配置在用户住宅内的例子进行说明。如图1所示，声音对话型控制系统1从声音输入输出装置200以声音输出与由声音输入输出装置200受理的用户的声音输入信息对应的响应信息。另外，在响应信息为适合基于图像提供的内容的情况下，声音对话型控制系统1在显示装置400上显示图表、一览表、地图(图片)或动画等图像。外部控制装置100是能够经由路由器300与声音输入输出装置200及显示装置400通信的服务器。外部控制装置100是对例如基于在住宅设置的太阳光发电装置的发电量、基于在住宅内设置的家电设备的电力消耗量等进行管理的HEMS(HomeEnergyManagementSystem)服务器。外部控制装置100接收声音输入输出装置200受理的用户声音输入信息，对该声音输入信息进行解析。外部控制装置100基于所解析的内容，获取与声音输入信息相关的关联信息。另外，外部控制装置100基于所获取的关联信息的内容，判定向用户提供的响应信息中是否包含图像。例如，在所获取的关联信息中包含图表、一览表、地图(图片)或动画等图像信息的情况下，与以声音提供相比，这类信息以图像提供对于用户来说容易掌握内容。因此，外部控制装置100在关联信息中含有适合以图像显示的信息的情况下，判定为向用户提供的响应信息中含有图像。在判定为响应信息中含有图像的情况下，外部控制装置100例如进行下述控制：使向用户提供的响应信息的一部分从声音输入输出装置200以声音输出，并在显示装置400上显示图像。并且，向用户提供的图像可以包含在所获取的关联信息中，另外，也可以由外部控制装置100根据所获取的关联信息生成。并且，外部控制装置100也可以在使显示装置400显示图像之前，从声音输入输出装置200输出向用户询问是否在显示装置400显示图像的提案消息(消息)。在该情况下，外部控制装置100在针对提案消息，从声音输入输出装置200接收到来自用户的表示许可将图像显示在显示装置400上这一情况的声音输入信息后，使显示装置400显示图像。另外，外部控制装置100也可以将响应信息的至少一部分以声音信息形式从声音输入输出装置200输出并向用户提供。(外部控制装置100的构成)使用图2对外部控制装置100的构成进行说明。图2是表示声音对话型控制系统1的要部构成的一例的框图。在以下的说明中，以对外部控制装置100是对在住宅内设置的家电设备所使用的电力消耗量等进行管理的HEMS服务器的情况为例进行说明。外部控制装置100包括通信部10、存储部20及控制部30，控制部30包括声音解析部31、含义解析部32、信息获取部33、图像显示判定部34及语音数据生成部35。通信部10经由路由器300在与声音输入输出装置200及显示装置400之间进行各种数据收发。在存储部20中收纳有与住宅的发电量及电力消耗量等相关的各种信息。也可以在存储部20收纳的信息中含有例如表示发电量及电力消耗量的演变的图表等图像。控制部30对外部控制装置100的各部进行综合控制。声音解析部31针对从声音输入输出装置200接收到的声音输入信息(＝包含用户语音的声音数据)进行声音解析，生成文本数据。含义解析部32以适当的子句对声音解析部31生成的文本数据进行划分等并进行含义解析，将解析结果向信息获取部33发送。并且，声音解析部31及含义解析部32中的声音解析及含义解析，也可以以在以往的声音识别技术中使用的方法实施。信息获取部33基于声音解析部31及含义解析部32解析的内容，从该存储部20获取与外部控制装置100从声音输入输出装置200受理的声音输入信息相关的关联信息。信息获取部33将从存储部20获取的关联信息向图像显示判定部34输出。图像显示判定部34基于从信息获取部33输出的关联信息的内容，判定在向用户提供的响应信息中是否含有图像。即，图像显示判定部34基于从信息获取部33获取的关联信息的内容，判定是仅以声音向用户提供响应信息还是以声音和图像一起向用户提供。例如，在从信息获取部33获取的关联信息中含有图表、一览表、地图(图片)或动画等适合于图像提供的信息的情况下，图像显示判定部34判定为响应信息中含有图像。在该情况下，图像显示判定部34将在存储部20中收纳的包含图像信息的URL的响应信息向语音数据生成部35输出。另一方面，在从信息获本文档来自技高网...

【技术保护点】
1.一种外部控制装置，其特征在于，进行以下控制：接收声音输入输出装置所受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与所述声音输入信息相关联的关联信息，基于所获取的所述关联信息的内容，判定向所述用户提供的响应信息中是否包含图像，在判定为所述响应信息包含所述图像的情况下，将所述图像显示在显示装置上。

【技术特征摘要】
2017.12.04 JP 2017-2326961.一种外部控制装置，其特征在于，进行以下控制：接收声音输入输出装置所受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与所述声音输入信息相关联的关联信息，基于所获取的所述关联信息的内容，判定向所述用户提供的响应信息中是否包含图像，在判定为所述响应信息包含所述图像的情况下，将所述图像显示在显示装置上。2.根据权利要求1所述的外部控制装置，其特征在于，在判定为所述响应信息包含所述图像的情况下，将所述响应信息的一部分以声音从所述声音输入输出装置输出。3.根据权利要求1或2所述的外部控制装置，其特征在于，进行以下控制：使向所述用户询问是否将所述图像显示在所述显示装置上的消息从所述声音输入输出装置输出，在所述用户许可了将所述图像显示在所述显示装置上的情况...

【专利技术属性】
技术研发人员：神崎昭浩，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本,JP