情感机器人系统技术方案

本发明专利技术涉及情感机器人系统，尤其是指一种能够产生仿人面部表情并且能够与人进行交互的机器人。本发明专利技术由具有六种面部表情的机器人头部系统和以ＰＣ为控制中心的软件平台构成。情感机器人通过红外传感器、麦克、摄像头等设备检测外部环境的信息。ＰＣ对收集到的外部环境信息首先进行情感特征提取，其次分析出语音情感和检测到的人脸的面部表情，然后决策出机器人要表达的情感。情感机器人通过语音输出，面部表情和身体语言来表达其情感。ＰＣ通过串口向单片机发送指令，单片机在接收到指令后，驱动电机运动从而产生机器人的面部表情和身体语言。它可用于家庭服务机器人，助老助残机器人，迎宾机器人，解说机器人，以及人与机器人的交互研究平台。

【技术实现步骤摘要】

本专利技术涉及机器人，尤其是指一种能够产生仿人面部表情并且能够与人进行交互的机器人
技术介绍
人类是有意向的动物，同时把那些与他们互动的生物理解为是有意向的。Dennet的人类 能动性的观点表明人们表达和解释他们的行为通过意愿，信念和渴望的形式。因此，情感机 器人对用户传达意愿的能力是其设计中需要考虑的重要部分。这并不需要以人类的方式赋予 机器意愿和信念，但是用户要可以直观和可靠的以这些形式解释和预测机器人的行为。为了 与人自然的交流，情感机器人必须能够读懂用户的情感。这就需要机器人能用视觉感知用户 的脸，身体，语言和眼睛。除了识别用户的话语，感知声音韵律也很重要。当然情感机器人 也必须可以把这些线索传递给用户。这些都强有力的表明必须赋予情感机器人能够表达感情 的脸，可以转的眼睛，有韵律的声音和做出各种姿势的身体。经文献检索发现，中国专利申请号03280106，名称机器人头部，该专利系统由两台计 算机实现图像和语音信息处理。仅能实现简单的视觉跟踪、语音识别、语音合成功能。中国 专利申请号CN101020315A，名称仿人机器人头部系统，该专利系统只是一个六自由度的装 置，只能模拟双眼、颈部和下巴的运动，具有简单的图像预处理和语音交互。以上两个专利 都没有仿人的面部表情，不能检测人脸、不能通过语音的情感分析来理解与机器人交互的人 类的情感，也不能与人类进行情感交互。为了是机器人能够与人类进行更好的和谐交互，要 求机器人必须能够理解人类的行为，并根据交互的内容做出行为表达。为了使人与机器人之 间的交互像人与人一样自然、亲切和生动，以仿生学为基础，设计并研制了具有情感处理和 表达能力的情感机器人。情感计算及其情感模型赋予了该机器人具有类似于人一样的观察、 理解和生成各种情感特征的能力。通过视觉(摄像头)、听觉(麦克风)和触觉(红外传感器) 等来感知外部环境的变化，利ri六种面部表情、肢体动作和语音来表达自身的情感^
技术实现思路
专利技术的目的，即解决的技术问题；现在大多数的机器人是作为一种具有特殊功能的工具，其功能比较单一，与人类没有情 感上的交互。具有情感交互的表情机器人可以广泛应用于家庭服务、病人护理、助老助残、 导购导游、表演、机器人玩具、机器人宠物等人们的日常生活中。本专利技术的主要目的在于提供一种情感机械头，具有惊讶、恐怖、厌恶、愤怒、欣喜、悲 痛等6种细微的面部表情；提供一种具有情感的机器人，通过对伺服电机的PID控制能够实 现惊讶、恐怖、厌恶、愤怒、欣喜、悲痛等6种表情之间的自然过渡；提供一种具有情感的 机器人，该情感机器人的情感模型与情感表达具有映射关系；提供一种具有情感的机器人， 能够通过表情、计算机视觉、语音交互等方式与人类自然交流；提供一种情感机器人，能够 通过语音交互理解人类的情感；提供一种情感机器人，能够通过中文、英文、男声、女声等 四种方式与人进行语音交互，在交互过程中实现中英文对译。本专利技术是通过以下技术方案实现的。本专利技术包括机械头本体、PIC控制器、以PC为中 心的上位机。机器人通过红外传感器、麦克、USB摄像头检测外部环境的信息。检测到的红 外传感器信息经过PIC控制器的处理，通过串口通讯传递给以PC为中心的上位机。麦克和 USB摄像头检测到的信息直接传递给以PC为中心的上位机。红外传感器用来检测外部障碍， 麦克是作为语音输入的工具，USB摄像头用来进行人脸识别。PC对收集到的外部环境信息首 先进行情感特征提取，分析出语音情感和识别到的人脸的面部表情。收集到外部信息经过PC 处理后合成机器人要表达的情感。语音输出模块，机械头的身体语言和机械头的面部表情构 成了情感机器人的情感表达。PC通过串口指令向PIC单片机发送要调用的面部表情数据包和 身体语言数据包。PIC单片机在接收到数据包后，产生相应的PWM, PWM驱动电机运动。机器 人头部电机通过连接线拉动面部皮肤的运动单元运动，从而产生机械头的面部表情。机械头 颈部电机的运动产生点头摇头等身体语言。PC在经过语音识别和语音合成后通过音响设备输 出具有情感的语音。主要应用了语音识别技术、语音合成技术、图像识别技术、电机控制技 术、计算机通信技术、单片机应用技术、机械设计技术、材料成型技术，涉及到信息、机械、 材料、美学等多个学科。情感机械头的机械设计是参照成年男性头部，以l:'l的比例进行设 计，有12个自由度。以Ekman和Friesen的FACS分类方法为理论基础，参考人类面部表情 肌的分布和运动，设计了眉毛、上下眼睑、眼球、嘴、下颚、颈部等六个运动模块。运动模 块参照FACS里面的特征点运动合成机器人的面部表情。所述具有12个自由度的,头本体的机械连接部分采用铝合金，面部皮肤釆，具有高弹 性的硅胶。机械头本体部分用来模拟人类头部的面部表情。机器人头部里面的空间非常小， 而要求的自由度有12个，所以机器人头部的动力驱动器采用非常小的伺服电机。与同类型的 舵机相比较，GWS扭矩比较大，易于控制，也比较稳定。机器人颈部采用扭矩和休积都大的 HG14-M。机器人动作包括上下点头、左右摇头。它们各用一台伺服电机带动。其它十台电 机是控制头部的面皮动作的。它包括下巴(1台)、眼球的上下运动(1台)、眼球的左右运 动(2台)、眨眼(2台)、皱眉(1台)、挑眉(l台)、嘴角(2台)。机械头本体22包括眼部固定底座1，固定底座1固定在头部骨架17上；眼球上下动驱动部分2;眼球上下动连杆3;眼球上下动作执行部分4;眼球原地转动基座5固定在眼球上下动作执行部分4之上；右眼原地转动驱动及执行部分6、左眼原地转动驱动及执行部分7， 两者固定在5之上；右眼眼睑运动固定基座8、左眼眼睑运动固定基座9，各自固定在各侧眼 球原地转动执行件之上；右眼眼睑运动驱动部分10、左眼眼睑运动驱动部分ll，各自固定在 对应侧眼睑运动固定基座上；右眼眼睑连杆及执行部分12、左眼眼睑连杆及执行部分13，分 别与相应侧驱动部件连接；头部左右转动驱动及执行部分14固定在基座上，其伸出轴通过连 接件15与低头抬头驱动及执行部分16相连接；头部骨架17通过连接件15固定在14执行部 分的伸出轴之上；嘴张合驱动部分18固定在头部骨架17上，嘴张合执行件20通过嘴张合连 杆19与嘴张合驱动部分18相连接；面部皮肤21通过拉线与右眼眼睑运动驱动部分10、左 眼眼睑运动驱动部分11嘴张合驱动部分18相连接。下位机系统23由PIC单片机控制器25和红外传感器模块24组成，红外传感器模块24 通过数据线与PIC单片机控制器25相连，PIC单片机控制器25通过数据线与机械头本体22 相连接；下位机系统23与上位机系统26通过串口线相连接。上位机系统26由PC28、麦克29、摄像头30和音响31组成；麦克29、摄像头30和音 响31分别通过各自的数据线与PC28相连接。面部表情心理学研究表明人脸能够产生大约55 000种不同的表情，其中有多种能够用 人类自然语言词汇区别开来。Ekman和Friesen在1978年通过总结过去对面部表情评定工作 的基础上制定出的一个尽最大可能区分面部运动的综合系统，称作面部动作编码系统(facial action coding system,简称FACS)，在制本文档来自技高网...

【技术保护点】
情感机器人系统，其特征在于：系统由机械头本体、下位机系统、上位机系统组成；　机械头本体（２２）包括眼部固定底座（１），固定底座（１）固定在头部骨架（１７）上；眼球上下动驱动部分（２）；眼球上下动连杆（３）；眼球上下动作执行部分（４）；眼球原地转动基座（５）固定在眼球上下动作执行部分（４）之上；右眼原地转动驱动及执行部分（６）、左眼原地转动驱动及执行部分（７），两者固定在（５）之上；右眼眼睑运动固定基座（８）、左眼眼睑运动固定基座（９），各自固定在各侧眼球原地转动执行件之上；右眼眼睑运动驱动部分（１０）、左眼眼睑运动驱动部分（１１），各自固定在对应侧眼睑运动固定基座上；右眼眼睑连杆及执行部分（１２）、左眼眼睑连杆及执行部分（１３），分别与相应侧驱动部件连接；头部左右转动驱动及执行部分（１４）固定在基座上，其伸出轴通过连接件（１５）与低头抬头驱动及执行部分（１６）相连接；头部骨架（１７）通过连接件（１５）固定在（１４）执行部分的伸出轴之上；嘴张合驱动部分（１８）固定在头部骨架（１７）上，嘴张合执行件（２０）通过嘴张合连杆（１９）与嘴张合驱动部分（１８）相连接；面部皮肤（２１）通过拉线与右眼眼睑运动驱动部分（１０）、左眼眼睑运动驱动部分（１１）嘴张合驱动部分（１８）相连接；　下位机系统（２３）由ＰＩＣ单片机控制器（２５）和红外传感器模块（２４）组成，红外传感器模块（２４）通过数据线与ＰＩＣ单片机控制器（２５）相连，ＰＩＣ单片机控制器（２５）通过数据线与机械头本体（２２）相连接；下位机系统（２３）与上位机系统（２６）通过串口线相连接；　上位机系统（２６）由ＰＣ（２８）、麦克（２９）、摄像头（３０）和音响（３１）组成；麦克（２９）、摄像头（３０）和音响（３１）分别通过各自的数据线与ＰＣ（２８）相连接；　机器人系统通过红外传感器、麦克、摄像头检测外部环境信息；检测到的红外传感器信息经过ＰＩＣ控制器的处理，通过串口通讯传递给以ＰＣ为中心的上位机；麦克和ＵＳＢ摄像头检测到的信息直接传递给以ＰＣ为中心的上位机；红外传感器用来检测外部障碍，麦克是作为语音输入的工具，ＵＳＢ摄像头用来进行人脸识别；ＰＣ对收集到的外部环境信息首先进行情感特征提取，分析出语音情感和识别到的人脸的面部表情；收集到外部信息经过ＰＣ处理后合成机器人要表达的情感；Ｐｃ通过串口指令向ＰＩＣ单片机发送要调用的面部表情数据包和身体语言数据包；ＰＩＣ单片机在接收到数据包...

【技术特征摘要】
1、情感机器人系统，其特征在于系统由机械头本体、下位机系统、上位机系统组成；机械头本体(22)包括眼部固定底座(1)，固定底座(1)固定在头部骨架(17)上；眼球上下动驱动部分(2)；眼球上下动连杆(3)；眼球上下动作执行部分(4)；眼球原地转动基座(5)固定在眼球上下动作执行部分(4)之上；右眼原地转动驱动及执行部分(6)、左眼原地转动驱动及执行部分(7)，两者固定在(5)之上；右眼眼睑运动固定基座(8)、左眼眼睑运动固定基座(9)，各自固定在各侧眼球原地转动执行件之上；右眼眼睑运动驱动部分(10)、左眼眼睑运动驱动部分(11)，各自固定在对应侧眼睑运动固定基座上；右眼眼睑连杆及执行部分(12)、左眼眼睑连杆及执行部分(13)，分别与相应侧驱动部件连接；头部左右转动驱动及执行部分(14)固定在基座上，其伸出轴通过连接件(15)与低头抬头驱动及执行部分(16)相连接；头部骨架(17)通过连接件(15)固定在(14)执行部分的伸出轴之上；嘴张合驱动部分(18)固定在头部骨架(17)上，嘴张合执行件(20)通过嘴张合连杆(19)与嘴张合驱动部分(18)相连接；面部皮肤(21)通过拉线与右眼眼睑运动驱动部分(10)、左眼眼睑运动驱动部分(11)嘴张合驱动部分(18)相连接；下位机系统(23)由PIC单片机控制器(25)和红外传感器模块(24)组成，红外传感器模块(24)通过数据线与PIC单片机控制器(25)相连，PIC单片机控制器(25)通过数据线与机械头本体(22)相连接；下位机系统(23)与上位机系统(26)通过串口线相连接；上位机系统(26)由PC(28)、麦克(29)、摄像头(30)和音响(31)组成；麦克(29)、摄像头(30)和音响(31)分别通过各自的数据线与PC(28)相连接；机器人系统通过红外传感器、麦克、摄像头检测外部环境信息；检测到的红外传感器信息经过PIC控制器的处理，通过串口通讯传递给以PC为中心的上位机；麦克和USB摄像头检测到的信息直接传递给以PC为中心的上位机；红外传感器用来检测外部障碍，麦克是作为语音输入的工具，USB摄像头用来进行人脸识别；PC对收集到的外部环境信息首先进行情感特征提取，分析出语音情感和识别到的人脸的面部表情；收集到外部信息经过PC处理后合成机器人要表达的情感；Pc通过串口指令向PIC单片机发送要调用的面部表情数据包和身体语言数据包；PIC单片机在接收到数据包后，产生相应的PWM，PWM驱动电机运动；机器人头部电机通过连接线拉动面部皮肤的运动单元运动，从而产生机械头的面部...

【专利技术属性】
技术研发人员：王志良，刘遥峰，解仑，赵晖，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：11[中国|北京]