本发明专利技术公开了一种仿人面部表情机器人交互系统和方法及人脸检测和跟踪方法，它包括图像采集装置（I）、上位机（II）、控制单元（III）和机器人本体（IV）。控制机器人的面部表情输出，一方面可以通过上位机控制系统的控制界面进行选择，上位机将表情模式通过串口通信发送到控制单元来控制机器人输出六种基本面部表情（高兴、愤怒、恐惧、惊讶、厌恶、悲伤）；另一方面，图像采集装置采集到人脸面部表情，输入到上位机进行特征提取和基础面部表情（眼睛的睁闭、嘴巴的张合）的识别，上位机将表情识别结果通过串口通信发送到控制单元，控制单元根据接收到的表情指令控制机器人再现表情。该面部表情机器人交互系统能够实现六种基本面部表情，并具有基础面部表情实时再现的能力。
【技术实现步骤摘要】
本专利技术涉及仿人机器人领域，具体地说是一种仿人面部表情机器人交互系统。
技术介绍
一般的仿人机器人它的形状与人类似，具有移动功能、操作功能、感知功能、记忆和自治能力，能够实现人机交互。随着对于仿人机器人的研究不断深入，机器人研究对生物学、心理学、社会学、行为学、语言学等领域的知识与技术的需求会不断增加，各学科之间的交叉性越来越强。可以预见未来机器人技术是朝着网络化、高度智能化的方向发展，所以必然导致仿人机器人与人类相互交流、共存。因此这就要求仿人机器人不仅要具有双腿、双臂、头、眼、颈、腰等与人类相似的物理特征，还能模仿人类的视觉、触觉、语言，甚至情感等抽象特征。美国著名心理学家AlbertMehrabian经过研究发现，人在进行情感表达时，语言只表达7%的内容，声调也只能表达38%的内容，而55%的内容全由人的表情与动作来表达，可见表情交流的必要性。由此可见，研究人类与机器人的面部表情交流是很有必要的。
技术实现思路
本专利技术的目的在于针对已有技术存在的，提供一种，可以实现六种基本面部表情(高兴、愤怒、恐惧、惊讶、厌恶、悲伤)的再现以及基础面部表情(眼睛的睁闭、嘴巴的张合)的识别与再现。本专利技术的仿人面部表情机器人交互系统，包括图像采集装置(I)、上位机(II)、控制单元(III)和机器人本体(IV)，其特征在于所述图像采集装置(I)的输出连接到上位机(II)，上位机(II)的输出经控制单元(III)连接到机器人本体(IV)；控制机器人的面部表情输出，一方面可以通过上位机(II)的控制界面进行选择，上位机(II)将表情模式通过串口通信发送到控制单元(III)来控制机器人输出六种基本面部表情一高兴、愤怒、恐惧、惊讶、厌恶和悲伤；另一方面，图像采集装置(I)采集到人脸面部表情，输入到上位机(II)进行特征提取和基础面部表情一眼睛的睁闭、和嘴巴的张合的识别，上位机(II)将表情识别结果通过串口通信发送到控制单元(III)，控制单元(III)根据接收到的表情指令控制机器人再现表情。上述仿人面部表情机器人交互系统，其特征在于所述的机器人本体(IV)的结构在一个架构(0)上仿人体面部安装有两个眉毛转动部件(1)、两个眼睑转动部件(2)、两个眼球转动部件(3)以及一个下颂运动部件(4);所述两个眼睑转动部件(2)分别固定于左右两个对称的支座(13)上，再由所述支座(13)固定在本体构架(0)上；所述两个眼球转动部件(3)通过一个舵机架(20)连接在本体构架(0)上；所述下颂运动部件(4)由另一个舵机架(35)固定于所述本体构架(0)上；上述每个所述的眉毛转动部件(1)的结构眉毛(7)与眉毛舵机臂(6)通过螺栓联接，眉毛舵机臂(6)安装在舵机(5)的输出轴上，所述眉毛舵机(5)与所述连杆(8)连接；上述每个所诉眼睑转动部件(2)的结构眼睑(11)由螺栓紧固在所述眼睑舵机臂(10)上，眼睑舵机臂(10)安装在眼睑舵机(9)输出轴上，眼睑舵机(9)由一根连杆(12)固定在所述支座(13)上；上述每个所述眼球转动部件(3)由两部分组成眼球左右转动部件(14)和眼球上下转动部件(15)；所述眼球左右转动部件的结构眼球左右转动舵机(16)通过螺钉与舵机架(20)相联，左右转动关节轴承(18)分别连接眼球左右转动舵机臂(17)与眼球部件(19)，眼球部件(19)通过一个轴承座(21)固定在底板(22)上，底板(22)与本体构架(0)固定连接。所述眼球上下运动部件的结构眼球上下转动舵机(23)通过螺钉与一个舵机架(26)相联，舵机架(26)固定在本体构架(0)上，上下转动关节轴承(25)分别连接眼球上下转动舵机臂(24 )与眼球部件(19 )，眼球部件(19 )通过一个轴承座(21)固定在底板(22 )上；上述每个所述眼球部件(19)的结构眼球(29)连接在转轴(26)上，转轴(26)安装在轴承座(21)上，通过固定于滑块(28 )上的一个叉型连接杆(30 )与转轴(26 )相配合；上述下颂运动部件(4)的结构颂舵机(31)通过螺钉与一个下颂舵机架(35)相联，下颂舵机架(35)固连在一个下颂支架(36)上，关节轴承(34)分别连接下颂舵机臂(32)和所述下颂(33 )，下颂(33 )上端固定在一个轴承座(37 )上，轴承座(37 )和下颂支架(36 )用螺栓固定在一个上板(38)上，上板(38)与本体构架(0)固定连接。上述控制单元括以DSP2812处理器、JTAG接口、复位电路、电源电路、晶振电路、舵机驱动与隔离电路以及串口通信接口电路；上述JTAG接口采用14芯的接口，计算机通过USB2. 0接口与仿真器盒相连，再通过JTAG接口线连接到DSP控制板，用于系统调试和装入程序；上述复位电路采用LDO的复位输出作为处理器的复位控制信号，与控制芯片的复位端相连接；上述电源电路中SPX1117-3.3电源转换芯片作为5V转3. 3V的高性能稳压芯片，为舵机驱动与隔离电路提供电源；SPX1117-1.8电源转换芯片提供1.8V给DSP内核使用；上述晶振电路选用外部有源晶振30MHZ来提供芯片的时钟信号，与处理器的Xl/XCLKlN和X2引脚连接；上述舵机驱动与隔离电路采用DSP^12的事件管理器模块，产生7路PWM脉冲控制信号，同时控制 7 路舵机，引脚为GPI0A0、GPI0A2、GPI0A4、GPI0A6、GPI0B0、GPI0B2 和 GPI0B4 ；同时采用了高速光耦合器6W37对来自控制器的脉冲信号和驱动信号进行隔离电路，提高系统的抗干扰能力；上述串口通信接口电路采用RS-232接口，与处理器的GPI0F4和GPI0F5引脚连接。一种仿人面部表情机器人交互方法，采用上述仿人面部表情机器人交互系统进行人机交互，其特征在于包括三种交互模式一运动部件选择模式、面部表情选择模式和表情识别模式，操作步骤如下(1)进入上位机控制界面，打开串口，选择一种交互模式进行交互，上位机(II)将控制指令通过串口发送给控制单元；(2)控制单元(III)接收到上位机(II)发出的指令后，控制面部表情机器人实现相应的面部器官运动；(3)控制单元(III)将接收到的表情控制指令发回给上位机(II);(4)上位机(II)接收到控制单元(III)的指令后，显示此时面部表情机器人的表情状态。上述运动部件选择交互模式，操作步骤如下(1)打开串口，选择运动部件控制按钮，将面部器官运动控制指令通过串口发送给控制单元(III)；(2)控制单元(III)接收到上位机(II)发出的指令后，控制面部表情机器人实现相应的面部器官运动；(3)控制单元(III)将接收到的表情控制指令发回给上位机(II);(4)上位机接收到控制单元(III)的指令后，显示此时面部表情机器人的表情状态。上述面部表情选择交互模式，操作步骤如下(1)打开串口，选择面部表情控制按钮，将面部表情控制指令发通过串口送给控制单元(III)；(2)控制单元(III)接收到上位机(II)发出的指令后，控制面部表情机器人实现相应的面部器官运动；(3)控制单元(III)将接收到的表情控制指令发回给上位机(II);(4)上位机(II)接收到控制单元(III)的指令后，显示此时面部表情机器人的表情状态。上述表情识别交本文档来自技高网...
【技术保护点】
【技术特征摘要】
【专利技术属性】
技术研发人员：柯显信，杨晓晨，冒小萍，刘杨，陈玉亮，柏垠，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。