对话系统以及对话单元技术方案

本发明专利技术提供一种能够高精度地判定用户是否正在向系统说话的对话系统。PU(22)通过操作显示部(12)来控制作为人物的图像的智能体图像(14)。PU(22)执行基于麦克风(34)的输出信号(Ss)的声音区间检测。另外，PU(22)基于红外线照相机(32)的红外线图像数据(Dir)，来判定用户的嘴是否正在动作。在检测到是声音区间的意旨并且判定为用户的嘴正在动作的情况下，PU(22)判定为用户正在讲话，并将智能体图像14设为听取姿势的图像。为听取姿势的图像。为听取姿势的图像。

【技术实现步骤摘要】
对话系统以及对话单元


[0001]本专利技术涉及对话系统以及对话单元。

技术介绍

[0002]例如，在下述专利文献1中记载有多模态对话装置。该装置通过将声音特征量、以及与用户的面部朝向相关的特征量向识别模型输入，来识别是否与对话装置正在对话。
[0003]专利文献1：日本特开2011
‑
215900号公报
[0004]但是，在通过与面部朝向相关的特征量和声音特征量来判定是否与装置正在对话的情况下，其精度未必高。

技术实现思路

[0005]以下，描述用于解决上述课题的机构以及其作用效果。
[0006]1.一种对话系统，是与用户进行对话的对话系统，其具备：执行装置，其执行检测处理以及识别处理，上述识别处理是在通过上述检测处理检测出规定状态的情况下，识别为上述用户对上述对话系统说话的处理，上述检测处理是将拍摄上述用户的照相机的输出信号作为输入而检测上述规定状态的处理，上述规定状态包含上述用户的嘴正在动作的状态。
[0007]在上述结构中，以检测出规定状态的情况为条件，识别为用户向对话系统说话的情况。这里，在规定状态包含用户的嘴正在动作的状态的情况下，能够以大概率判定为用户正在发声。因此，基于该状态而判定为正在向对话系统说话，由此能够提高判定精度。
[0008]2.根据上述1所述的对话系统，上述规定状态还包含上述用户的视线朝向了上述对话系统的状态以及上述用户正在指示上述对话系统的状态这两个状态中的至少一个状态。
[0009]另外，在规定状态包含用户的视线朝向了该系统的状态的情况下，能够推测用户与对话系统进行对话的意思。因此，基于该状态而判定为正在向对话系统说话，由此能够提高判定精度。另外，在规定状态包含指示了该系统的状态的情况下，能够推测用户正试着与对话系统进行沟通。因此，基于该状态而判定为正在向对话系统说话，由此能够提高判定精度。
[0010]3.根据上述1或者2所述的对话系统，上述检测处理是除了上述照相机的输出信号之外还将麦克风的输出信号作为输入而检测上述规定状态的处理，上述规定状态包含上述用户的嘴正在动作的状态和输出声音的状态双方都成立的状态。
[0011]在上述结构中，由于在规定状态中包含用户的嘴正在动作的状态，所以能够以大概率判定为用户正在发声。
[0012]在上述结构中，规定状态包含上述用户的嘴正在动作的状态和输出声音的状态。因此，能够确定声音的输出是用户发出的概率高的状况，或者是用户朝向对话系统发出的概率高的状况。
[0013]4.根据上述3所述的对话系统，上述检测处理包含检测输出上述声音的区间的声音区间检测处理，上述规定状态中的输出上述声音的状态是由上述声音区间检测处理判定为声音区间的状态。
[0014]在上述结构中，将判定为声音区间的状态作为输出声音的状态的检测。因此，例如与参考通过声音识别将输出信号转换为文本数据的内容等的情况比较，能够减轻是否是规定状态的判定处理的运算负荷。因此，能够迅速地结束是否是规定状态的判定处理。
[0015]5.根据上述1～4中任一个所述的对话系统，上述执行装置操作显示装置来执行显示智能体图像的显示处理，上述智能体图像是智能体的图像，上述智能体是与上述用户对话的人物，上述显示处理包含在由上述识别处理识别为说话的情况下，显示表示上述智能体听取上述用户的话语的姿势的图像的处理。
[0016]在上述结构中，在识别为用户向对话系统说话的情况下，通过智能体成为听取姿势，用户能够识别自己的话语被听取的情况。
[0017]6.根据上述3～5中任一个所述的对话系统，执行以下处理：发声处理，其通过操作扬声器，对上述用户说话；以及中止处理，其在上述发声处理的执行中，在由上述识别处理识别为对上述对话系统说话的情况下，中止上述发声处理。
[0018]在上述结构中，在识别为用户向对话系统说话的情况下，中止发声处理。这里，用户向对话系统说话的识别处理基于上述规定状态，所以被高精度地进行。因此，在将噪音误检测为输出声音的状态的情况下，能够抑制执行中止处理的情况。在将噪音误检测为输出声音的状态时而执行中止处理的情况下，存在产生用户说话的所谓的打断的担忧。因此，在上述结构中，能够抑制打断的产生。
[0019]7.根据上述6所述的对话系统，具备存储装置，执行登录处理、认证处理以及履历信息相关联处理，上述登录处理是将上述照相机的输出信号作为输入，将上述用户的面部图像的信息存储于上述存储装置的处理，上述认证处理包含将上述照相机的输出信号作为输入，判定上述照相机拍摄的上述用户是否是存储于上述存储装置的上述用户的处理，上述履历信息相关联处理是将存储于上述存储装置的上述用户和上述对话系统之间的交流的履历信息存储于上述存储装置的处理，上述发声处理包含基于与由上述认证处理认证后的上述用户相关联的履历信息来决定发声的内容的处理。
[0020]在上述结构中，根据履历信息来决定发声的内容，所以能够抑制重复对用户说过一次的内容的情况。
[0021]8.根据上述1～7中任一个所述的对话系统，上述执行装置具备第一执行装置以及第二执行装置，上述对话系统具备对话单元以及后端单元，上述对话单元具备上述第一执行装置以及第一通信机，上述后端单元具备上述第二执行装置、第二存储装置以及第二通信机，在上述第二存储装置存储有映射数据，上述检测处理包含输出信号取得处理、图像数据发送处理、图像数据接收处理、状态判定处理、判定结果发送处理以及判定结果接收处理，上述输出信号取得处理是上述第一执行装置取得上述照相机的输出信号的处理，上述图像数据发送处理是上述第一执行装置操作上述第一通信机，由此将与上述照相机的输出信号对应的图像数据向上述后端单元发送的处理，上述图像数据接收处理是上述第二执行装置接收上述图像数据的处理，上述映射数据是规定判定映射的数据，上述判定映射是将上述图像数据作为输入，输出用于是否是上述规定状态的判定的变量的处理，上述状态判
定处理是通过上述第二执行装置将上述图像数据输入到上述判定映射来计算与是否是上述规定状态的判定结果相关的变量的处理，上述判定结果发送处理是上述第二执行装置操作上述第二通信机而将与上述判定结果相关的变量向上述对话单元发送的处理，上述判定结果接收处理是上述第一执行装置接收上述判定结果的处理。
[0022]在上述结构中，由第二执行装置执行状态判定处理，所以能够减轻第一执行装置的运算负荷。
[0023]9.一种上述8所述的对话系统的上述对话单元。
附图说明
[0024]图1是表示第一实施方式的对话系统的结构的框图。
[0025]图2是表示同实施方式的对话系统执行的处理的顺序的流程图。
[0026]图3是表示同实施方式的对话系统执行的处理的顺序的流程图。
[0027]图4是表示同实施方式的智能体以及图示板的显示例的图。
[0028]图5是表示第二实施方式的对话系统执行的处理的顺序的流程图。
[0029]图6是表示第三实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话系统，其与用户进行对话，其特征在于，具备：执行装置，其执行检测处理以及识别处理，上述识别处理是在通过上述检测处理检测出规定状态的情况下，识别为上述用户对上述对话系统说话的处理，上述检测处理是将拍摄上述用户的照相机的输出信号作为输入而检测上述规定状态的处理，上述规定状态包含上述用户的嘴正在动作的状态。2.根据权利要求1所述的对话系统，其特征在于，上述规定状态还包含上述用户的视线朝向了上述对话系统的状态以及上述用户正在指示上述对话系统的状态这两个状态中的至少一个状态。3.根据权利要求1或2所述的对话系统，其特征在于，上述检测处理是除了上述照相机的输出信号之外还将麦克风的输出信号作为输入而检测上述规定状态的处理，上述规定状态包含上述用户的嘴正在动作的状态和输出声音的状态双方都成立的状态。4.根据权利要求3所述的对话系统，其特征在于，上述检测处理包含检测输出上述声音的区间的声音区间检测处理，上述规定状态中的输出上述声音的状态是由上述声音区间检测处理判定为声音区间的状态。5.根据权利要求1～4中任一项所述的对话系统，其特征在于，上述执行装置操作显示装置来执行显示智能体图像的显示处理，上述智能体图像是智能体的图像，上述智能体是与上述用户对话的人物，上述显示处理包含在由上述识别处理识别为说话的情况下，显示表示上述智能体听取上述用户的话语的姿势的图像的处理。6.根据权利要求3～5中任一项所述的对话系统，其特征在于，执行以下处理：发声处理，其通过操作扬声器，对上述用户说话；以及中止处理，其在上述发声处理的执行中，在由上述识别处理识别为对上述对话系统说话的情况下，中止上述发声处理。7.根据权利要求6所述的对话系统，其特征在于，具备存储装置，执行登录处理、认证处理以及履历信息相关联处理，上述登录处理是将上述照相机的输出信号作...

【专利技术属性】
技术研发人员：大须贺晋，田中五大，锅仓彩那，中野凉太，渡边凌太，佐藤辰耶，北冈教英，西村良太，原直，太田健吾，石川晃之，石川友香，
申请(专利权)人：株式会社爱信，
类型：发明
国别省市：