视听感知系统和设备以及机器人系统技术方案

一种视听感知系统包括听觉感知模块和视觉感知模块，分别接收对象的声音和图像，且将其转换成音频和视觉信号。以上两个模块中的至少一个是具有多于一个工作模式的第一感知模块。处理和控制模块基于从以上两个模块中除了第一感知模块之外的一个接收到的音频或视觉信号控制第一感知模块切换其工作模式。还公开了一种具有上述视听感知系统的视听感知设备，该设备可用作安装到机器人上的机器人控制单元(RCU)，使得人机回圈机器人操作员能够视觉上和听觉上监控机器人周围的对象。RCU可在RCU模式和移动电话模式之间切换。此外，还公开了一种包括上述试听感知设备的机器人系统。

Audio visual perception system and equipment and robot system

【技术实现步骤摘要】
视听感知系统和设备以及机器人系统
本公开总体上涉及人机交互
，更具体地，涉及机器人技术这一子领域，并且更具体地涉及视听感知系统、配备有视听感知系统的视听感知设备，以及包括视听感知装置的机器人系统。
技术介绍
随着社交机器人或服务机器人朝着在家和办公室中执行日常任务的方向稳步发展，该领域的主要挑战之一是它们必须能够应对复杂且不断变化的环境。当前正在快速发展以解决上述挑战的一项技术是在服务机器人执行复杂且具有挑战性的任务的过程中使人涉入回路中，尤其是在利用人机回圈操作员的认知能力来应对极其复杂的情况或需要当前对于自动系统来说仍然困难的决策的情况时。人机回圈机器人操作员(human-in-the-looprobotoperator)(其可以在控制台，或者远程或者在同一地点然而在幕后)有时会利用配备有各种传感器的机器人控制单元装置(即RCU，也称为机器人控制器)来感知其正在操作的机器人的环境。例如，机器人控制单元装置可以配备有一个或多个相机从而使得人机回圈机器人操作员能够看到机器人周围的人或物体，并且/或者配备一个更多个麦克风使他/她可以听到对机器人讲的话或机器人周围的声音提示。
技术实现思路
在第一方面，本公开提供了一种视听系统。该视听感知系统包括音频感知模块、视觉感知模块以及可通信地耦合到音频感知模块和视觉感知模块中每个的处理和控制模块。音频感知模块被配置成接收来自对象的声音，然后将声音转换成音频信号。视觉感知模块被配置成接收对象的图像，然后将图像转换成视觉信号。还配置成使得音频感知模块和视觉感知模块中的至少一个是具有多于一个工作模式的第一感知模块；以及处理和控制模块被配置成基于从音频感知模块和视觉感知模块中除了第一感知模块之外的一个模块接收到的感觉信号来控制第一感知模块切换其工作模式，其中感觉信号是与音频感知模块和视觉感知模块中除了第一感知模块之外的该一个模块对应的音频信号或视觉信号中的一个。可选地，在视听感知系统中，视觉感知模块可以具有多于一个工作模式，且多于一个工作模式涉及不同调焦范围、不同角度、单色光功能、捕获不同波长光的能力、波克效应功能、不同光圈、不同视频功能或不同清晰度中的至少一个。在此，根据一些实施例，视觉感知模块包括常规角工作模式和广角工作模式，且处理和控制模块被配置成控制视觉感知模块，以便如果从音频感知模块接收到的音频信号表示对象在与常规角工作模式对应的第一预定范围内，则启动常规角工作模式；或者否则控制视觉感知模块启动广角工作模式。在此，根据一些其他实施例，视觉感知模块包括近场工作模式和远场工作模式，且处理和控制模块被配置成控制视觉感知模块，以便如果从音频感知模块接收到的音频信号表示对象在与近场工作模式对应的第二预定范围内，则启动近场工作模式；或者否则控制视觉感知模块启动远场工作模式。可选地，在视听感知系统中，音频感知模块可以具有多于一种工作模式，且多于一种工作模式涉及以下至少之一：不同的灵敏度水平，波束形成能力、插断功能、不同的信道频率、不同的噪声降低水平、声音消除功能或自动语音识别功能。在此，根据一些实施例，音频感知模块包括短距离工作模式和长距离工作模式，且处理和控制模块被配置成控制音频感知模块，以便如果从视觉感知模块接收到的视觉信号表示对象在与短距离工作模式对应的第三预定范围内，则启动短距离工作模式；或者否则控制音频感知模块启动长距离工作模式。在上述任何视听感知系统的实施例中，对象可以是人类讲话者、动物或能够发出音频提示(比如声音或噪声等)和视觉提示(比如图像或姿势等)的物体。在此，物体可以是机器人、机器等。根据视听感知系统的一些实施例，对象是人类讲话者，且声音包括人类讲话者发出的热词。这样，视觉感知模块相应地具有多于一种工作模式，且处理和控制模块被配置成基于处理和控制模块识别的热词控制视觉感知模块切换其工作模式。根据视听感知系统的一些其他实施例，对象是人类讲话者，且图像包括人类讲话者做出的姿势。这样，音频感知模块相应地具有多于一种工作模式，且处理和控制模块被配置成基于处理和控制模块识别的姿势控制音频感知模块切换其工作模式。在第二方面，本公开还提供一种视听感知设备，包括根据以上任一视听感知系统的实施例的视听感知系统。在此，视听感知设备可以是机器人的集成部分，被配置成使得机器人能够视觉上和听觉上感测机器人周围的对象。视听感知设备可以被配置为具有安装到机器人上的可安装部分的机器人控制单元(RCU)，其中视听感知设备被配置为使得人机回圈机器人操作员能够视觉上和听觉上监控机器人周围的对象。在此，可选地可安装部分可以是能够从机器人拆除的，且能够在允许机器人控制的RCU模式和允许移动电话功能的移动电话模式之间切换，且其还配置成使得如果可安装部分安装到机器人上，则开启RCU模式，禁止移动电话模式；以及否则启动移动电话模式，关闭RCU模式。此外，上述视听感知设备可以可选地还包括用户接口，被配置为使得用户能够在RCU模式和移动电话模式之间切换RCU设备的操作。根据一些实施例，上述可安装部分包括显示面板，且用户接口是配置为显示在显示面板上的图形用户接口(GUI)。根据视听感知设备的一些实施例，视听感知系统的视觉感知模块包括布置在可安装部分上的第一相机装置，以及视听感知系统的音频感知模块包括布置在可安装部分上的第一麦克风装置。在此，可选地，第一相机装置包括各自具有不同的特征的至少两个镜头，不同的特征有关于(即涉及或包括)以下至少之一：不同的调焦范围、不同的角度、单色光功能、捕获不同波长的光的能力、波克效应功能不同的光圈、不同的视频功能、或不同的分辨率。进一步可选地，在视听感知设备中，视听感知系统的视觉感知模块还包括第二相机装置，第二相机装置位置上与可安装部分分离然而与可安装部分可通信地耦接。根据视听感知设备的一些实施例，第一麦克风装置包括具有多个第一麦克风的第一麦克风阵列，多个第一麦克风分别布置在可安装部分的不同位置处。在此，第一麦克风阵列中多个第一麦克风中的每个可以是全向麦克风，其布置在可安装部分的边缘的顶端上且被配置成朝外或朝向侧面。根据视听感知设备的一些实施例，视听感知系统的音频感知模块还包括第二麦克风装置，第二麦克风装置位置上与可安装部分分离然而与可安装部分可通信地耦接。第二麦克风装置可以包括具有多个第二麦克风的第二麦克风阵列。根据视听感知设备的一些实施例，第一相机装置包括常规角镜头和广角镜头，第一麦克风装置被配置为使得能够基于来自声音源的声音确定声音源是在位于可安装部分上的第一相机装置的常规角范围内还是在该第一相机装置的广角范围内。视听感知系统的处理和控制模块被配置成：如果从第一麦克风装置接收到的音频信号表示对象在常规角范围内，则将第一命令发送至第一相机装置，从而启动常规角镜头，或者被配置成在其他情况将第二命令发送至第一相机装置，从而启动广角镜头。此外，在上述视听感知设备中，第一音频装置可以可选地包括两个麦克本文档来自技高网...

【技术保护点】
1.一种视听感知系统，包括：/n音频感知模块，被配置成接收来自对象的声音，并将所述声音转换成音频信号；/n视觉感知模块，被配置成接收所述对象的图像，并将所述图像转换成视觉信号；以及/n处理和控制模块，与所述音频感知模块和所述视觉感知模块中的每一个可通信地耦接；/n其中：/n所述音频感知模块和所述视觉感知模块中的至少一个是具有多于一个工作模式的第一感知模块；以及/n所述处理和控制模块被配置成基于从所述音频感知模块和所述视觉感知模块中除了所述第一感知模块之外的一个模块所接收到的感觉信号，控制所述第一感知模块切换其工作模式，其中所述感觉信号是与所述音频感知模块和所述视觉感知模块中除了所述第一感知模块之外的所述一个模块相对应的音频信号或视觉信号其中之一。/n

【技术特征摘要】
20181130 US 16/206,8451.一种视听感知系统，包括：
音频感知模块，被配置成接收来自对象的声音，并将所述声音转换成音频信号；
视觉感知模块，被配置成接收所述对象的图像，并将所述图像转换成视觉信号；以及
处理和控制模块，与所述音频感知模块和所述视觉感知模块中的每一个可通信地耦接；
其中：
所述音频感知模块和所述视觉感知模块中的至少一个是具有多于一个工作模式的第一感知模块；以及
所述处理和控制模块被配置成基于从所述音频感知模块和所述视觉感知模块中除了所述第一感知模块之外的一个模块所接收到的感觉信号，控制所述第一感知模块切换其工作模式，其中所述感觉信号是与所述音频感知模块和所述视觉感知模块中除了所述第一感知模块之外的所述一个模块相对应的音频信号或视觉信号其中之一。


2.根据权利要求1所述的视听感知系统，其中所述视觉感知模块包括常规角工作模式和广角工作模式，其中所述处理和控制模块被配置成控制所述视觉感知模块，以便：
如果从所述音频感知模块接收到的音频信号表示所述对象在与所述常规角工作模式对应的第一预定范围内，则启动所述常规角工作模式；或者
否则启动所述广角工作模式。


3.根据权利要求1所述的视听感知系统，其中所述视觉感知模块包括近场工作模式和远场工作模式，其中所述处理和控制模块被配置成控制所述视觉感知模块，以便：
如果从所述音频感知模块接收到的音频信号表示所述对象在与所述近场工作模式对应的第二预定范围内，则启动所述近场工作模式；或者
否则启动所述远场工作模式。


4.根据权利要求1所述的视听感知系统，其中所述音频感知模块包括短距离工作模式和长距离工作模式，其中所述处理和控制模块被配置成控制所述音频感知模块，以便：
如果从所述视觉感知模块接收到的视觉信号表示所述对象在与所述短距离工作模式对应的第三预定范围内，则启动所述短距离工作模式；或者
否则启动所述长距离工作模式。


5.一种视听感知设备，包括根据权利要求1所述的视听感知系统。


6.根据权利要求5所述的视听感知设备，被配置为具有安装到机器人上的可安装部分的机器人控制单元RCU，其中所述视听感知设备被配置为使得人机回圈操作员能够视觉上和听觉上监控所述机器人周围的所述对象。


7.根据权利要求6所述的视听感知设备，其中所述可安装部分能够从所述机器人拆除，且能够在允许机器人控制的RCU模式和允许移动电话功能的移动电话模式之间切换，所述视听感知设备被配置成使得：
如果所述可安装部分安装到所述机器人上，则开启所述RCU模式而禁止所述移动电话模式；以及
否则开启所述移动电话模式，并且关闭所述RCU模式。


8.根据权利要求7所述的视听感知设备，还包括：用户接口，被配置为使得用户能够在所述RCU模式和所述移动电话模式之间切换所述RCU设备的操作。


9.根据权利要求6所述的视听感知设备，其中：
所述视听感知系统的所述视觉感知模块包括布置在所述可安装部分上的第一相机装置；以及
所述视听感知系统的所述音频感知模块包括布置在所述可安装部分上的第一麦克风装置。


10.根据权利要求9所述的视听感知设备，其中所述视听感知系统的所述视觉感知模块还包括第二相机装置，所述第二相机装置位置上与所述可安装部分分离但是与所述可安装部分可通信地耦接。


11.根据权利要求9所述的视听感知设备，其中所述第一...

【专利技术属性】
技术研发人员：贝蒂娜·博拉，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东;44