信息处理设备、信息处理方法和程序技术

提供了信息处理设备、信息处理方法和程序。信息处理设备包括：图像分析单元，执行对来自图像输入单元的图像进行分析的处理；话音分析单元，执行对从话音输入单元输入的话音进行分析的处理；以及数据处理单元，接收所述图像分析单元的分析结果和所述话音分析单元的分析结果的输入，并控制要输出给用户的信息。所述数据处理单元基于系统状态信息以及从图像分析结果和话音分析结果中的至少任意一个中获得的用户信息来确定要提供给用户的信息的输出模式，并以所确定的输出模式将信息输出给用户。

【技术实现步骤摘要】

本公开涉及信息处理设备、信息处理方法及程序。具体地，本公开涉及用于基于用户的语音等来进行各种处理的信息处理设备、信息处理方法和程序。
技术介绍
当使用诸如个人计算机(PC)、电视机和视频记录器/播放器等各种家用设备时， 用户操作每个设备所配备的输入单元、遥控器等，以使得该设备执行需要的处理。例如，当使用PC时，通常使用键盘或鼠标作为输入装置。另外，对于电视机或视频记录器/播放器， 经常使用遥控器来进行诸如切换频道和选择要再现的内容等各种处理。针对利用用户的语音和动作来执行对所述各种设备的指令的系统，已经进行了各种研究。具体地，这种系统的示例包括用于利用话音识别来识别用户的语音的系统以及利用图像处理来识别用户的动作和姿势的系统。除了诸如遥控器、键盘和鼠标等常用输入装置之外，有一种用于利用多种包括话音识别和图像识别的各种沟通模式与用户沟通的接口被称为多模式接口(multi-modal interface)。美国第6，988，072号专利公开了有关多模式接口的相关技术的一个示例。然而，用于这种多模式接口等的话音识别设备和图像识别设备在性能上具有局限性，限制了可识别的用户的语音和动作。因此，在当前环境下，经常出现用户意图未被正确地传达到系统侧的情况。对于信息处理设备，存在向用户提供信息或对用户的请求进行响应的各种方法， 例如在显示单元上显示消息以及通过扬声器来输出话音和声响效果等。然而，基于话音的描述对于某些用户来说可能太饶舌了，而且也可能被某些用户所错过。另外，当在显示单元上呈现描述和帮助信息时，如果用户没有在看该显示单元，那么这些描述和帮助信息就是无用的。下列文献是公开了用于控制来自系统的响应的结构的现有技术的例。公开号为2004-333543的未经审查的日本专利申请公开了一种话音交互系统和话音交互方法，其描述了用于提供能够根据用户使用话音交互系统的学习程度来改变系统侧的话音输出的话音交互系统和话音交互方法的结构。另外，公开号为2005-202076的未经审查的日本专利申请公开了一种用于根据用户与系统之间的距离来更顺利地进行交互的技术。具体地，在所提出的技术中，当机器人和用户彼此间隔开时，存在用户听不到机器人发出的话音的高可能性，因此，将机器人的话音的音量调高，以便顺利交互。然而，这些文献所描述的结构针对特定点(例如用户的学习程度或距离)的处理， 而没有利用来自各个观察点的观测信息。另外，公开号为2008-217444的未经审查的日本专利申请公开了一种用于与用户交互的设备、方法及程序。具体地，基于来自用户的密切观察的状态，来改变响应，以便自然交互。当用户的位置远离电视机或者当其视线并非指向电视机时，利用话音来进行对来自用户的请求的响应。为此，利用红外线或声波来检测与用户的距离以及视线的方向。然而， 在该结构中，用户不利地佩戴某种装置。
技术实现思路
期望提供一种能够监视用户的状态并根据用户的状态以最优的方法向用户提供来自设备的消息和帮助信息的信息处理设备、信息处理方法及程序。在本公开的一个实施例中，信息处理设备包括图像分析单元，用于执行对相机拍摄的图像进行分析的处理；话音分析单元，用于执行对从麦克风输入的话音进行分析的处理；以及数据处理单元，用于接收所述图像分析单元的分析结果和所述话音分析单元的分析结果的输入，并控制要输出给用户的信息。所述数据处理单元基于系统状态信息以及从图像分析结果和话音分析结果中的至少任意一个中获得的用户信息来确定要提供给用户的信息的输出模式，并以所确定的输出模式将所述信息输出给用户。另外，在本公开的实施例的信息处理设备中，所述数据处理单元基于图像分析单元的分析结果来确定用户是否正在关注信息处理设备，并且在确定用户没有在关注该信息处理设备时，利用话音或者声响效果来进行信息的输出。此外，在本公开的实施例的信息处理设备中，所述数据处理单元基于图像分析单元的分析结果来确定用户是否在信息处理设备前面，并且在确定了用户不在信息处理设备前面时，利用话音或者声响效果来进行信息的输出。另外，在本公开的实施例的信息处理设备中，所述数据处理单元在基于系统状态信息而确定了该信息处理设备正在向显示单元播放内容时执行对显示单元的信息输出。另外，在本公开的实施例的信息处理设备中，所述数据处理单元基于系统状态信息来确定该信息处理设备是否要向用户输出告警，并且在确定要输出告警时，利用话音或声响效果来执行信息的输出。另外，在本公开的实施例的信息处理设备中，所述数据处理单元通过基于与用户之前导致的错误有关的信息改变要输出给用户的信息的等级来控制输出。另外，在本公开的实施例的信息处理设备中，当在预定时段内由同一用户引起的同一类型的错误的次数超过预定阈值时，所述数据处理单元进行控制，以输出详细说明。另外，在本公开的实施例的信息处理设备中，当在预定时段内由同一用户相继引起的多个不同类型的错误的次数超过预定阈值时，所述数据处理单元进行控制，以输出详细说明。另外，在本公开的实施例的信息处理设备中，所述数据处理单元基于用于指示所述用户之前在所述信息处理设备上的操作的操作历史信息来确定所述用户使用所述信息处理设备的技巧的等级，并且在确定所述用户不是初学者时，进行控制以输出简要说明，而在确定所述用户为初学者时，输出正常等级的说明或详细说明。另外，在本公开的另一实施例中，一种要在信息处理设备中进行的信息处理方法包括利用图像分析单元对相机拍摄的图像进行分析；利用话音分析单元对从麦克风输入的话音进行分析；以及利用数据处理单元来接收所述图像分析单元的分析结果和所述话音分析单元的分析结果的输入，并控制要输出给用户的信息，其中，基于系统状态信息以及从图像分析结果和话音分析结果中的至少任意一个中获得的用户信息来确定要提供给用户的信息的输出模式，并以所确定的输出模式将所述信息输出给用户。另外，在本公开的另一实施例中，一种程序使得信息处理设备进行包括以下的信息处理利用图像分析单元对相机拍摄的图像进行分析；利用话音分析单元对从麦克风输入的话音进行分析；以及利用数据处理单元来接收所述图像分析单元的分析结果和所述话音分析单元的分析结果的输入，并控制要输出给用户的信息，其中，基于系统状态信息以及从图像分析结果和话音分析结果中的至少任意一个中获得的用户信息来确定要提供给用户的信息的输出模式，并以所确定的输出模式将所述信息输出给用户。注意，可以将本公开的上述另一实施例的程序的示例提供到能够执行来自存储介质或通信介质的、计算机可读格式的各种程序代码的计算机系统和信息处理设备。通过以计算机可读格式提供的程序，可以在信息处理设备或计算机系统上执行根据该程序的处理。根据下文中将要描述的基于本公开的实施例和附图的更为详细的说明，本公开的实施例的其他特征和优点将变得明显。注意，本说明书中的系统是指多个设备的逻辑集合机构，而并非局限于各个设备在一个机箱内的系统。根据本公开的实施例，提供了以根据用户状态或者系统状态而改变的信息提供模式或等级来提供信息的设备和方法。具体地，数据处理单元接收用于执行对相机拍摄的图像进行分析的处理的图像分析单元的分析结果和用于执行对从麦克风输入的话音进行分析的处理的话音分析单元的分析结果的输入，并控制向用户的信息输出。数据处理单元基于从图像本文档来自技高网...

【技术保护点】
１．一种信息处理设备，包括：图像分析单元，执行对来自图像输入单元的图像进行分析的处理；话音分析单元，执行对从话音输入单元输入的话音进行分析的处理；以及数据处理单元，接收所述图像分析单元的分析结果和所述话音分析单元的分析结果的输入，并控制要输出给用户的信息；其中所述数据处理单元基于系统状态信息以及从所述图像分析单元的分析结果和所述话音分析单元的分析结果中的至少任意一个中获得的用户信息来确定要提供给用户的信息的输出模式，并以所确定的输出模式将信息输出给用户。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：佐野茜，乌戈·迪普罗菲奥，泽田务，松田晃一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP