本发明专利技术属于机器人技术领域，公开了一种机器人识别面部快乐微表情的方法及其装置，装置包括视觉识别模块，用于采集图像信号输入，经过图像预处理、微笑特征提取和微笑识别，输出微表情的识别结果；脑电识别模块，用于对人体脑电波信号采集，分析得出微表情的结果；信息融合模块，利用脑电识别模块对视觉识别模块的结果进行校验辅助判断；还包括专家决策模块、执行机构、专家决策模块及评价模块。本发明专利技术可提高识别快乐微表情的效率；通过对鼻子区域定位，以此为背景亮度自动调节人脸其他区域的亮度，可方便准确达到预处理的目的；对快乐微表情采用7种特征区域，用特征区权重法来对快乐微表情判断识别，可提高微表情的识别精度。
【技术实现步骤摘要】
一种机器人识别面部快乐微表情的方法及其装置
本专利技术属于机器人
.，尤其涉及一种机器人识别面部快乐微表情的方法及其装置。
技术介绍
人类通过视觉获取的信息约占80％，其中微表情是指一种人类在试图隐藏某种情感时无意识做出的、短暂的面部表情，其持续时间短(最短可持续40毫秒)、动作幅度小，即使受过专业训练的心理专家也很难准确识别，且微表情不受主观意识控制，更能体现出真实的感受和动机，所以微表情在刑事侦查、医疗、教育等行业有着重要的参考价值。同时视觉识别人的微动作、微表情在机器人的人机交互领域具有重要意义。人类微表情主要有快乐、悲伤、恐惧、愤怒、厌恶、惊讶、轻蔑等七种表情。教育机器人用爱的微笑去征服学生的心灵，作为实施类人愉快教育的途径之一，将会收到良好的效果，也是机器人教育关键技术之一。通常快乐微笑动作特征为眼睑上扬，眼角出现鱼尾纹，鼻子两侧附近会出现两条条纹一直延伸到嘴角处，嘴唇卷起露出牙齿甚至牙龈。也有礼貌的微笑表示回绝、抿嘴笑表拒绝、歪脸笑表嘲笑等。有时同一特征其含义是相反的。因此，人类表情复杂多变，在实验里，快乐表情只有10％人能察觉到，对于不同环境下快乐微表情表示含义应针对具体环境而言。综上所述，现有技术存在的问题是：快乐微表情由于持续时间段、动作幅度小导致现有机器人识别快乐微表情效率低；同时也出现很多误判。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种机器人识别面部快乐微表情的方法及其装置。本专利技术是这样实现的，一种机器人识别面部快乐微表情的装置，所述机器人识别面部快乐微表情的装置包括：视觉识别模块，与人机接口连接，用于采集图像信号输入，经过图像预处理、微笑特征提取和微笑识别，输出微表情的识别结果；脑电识别模块，与人机接口连接，用于对人体脑电波信号采集，分析得出微表情的结果；信息融合模块，分别与视觉识别模块、脑电识别模块连接，利用脑电识别模块对视觉识别模块的结果进行校验辅助判断；专家决策模块，与信息融合模块连接，用于通过信息融合模块得出判断的结果，在机器的分析基础上得出决策；并将得出的决策指令传输给执行机构；执行机构，与专家决策模块连接，用于得到专家决策模块的指令后完成相应的任务。进一步，所述机器人识别面部快乐微表情的装置还包括评价模块，与执行机构连接，用于根据识别结果对执行机构的操作的完成的等级进行评价，评价等级包括不合格、合格、良、优。本专利技术的另一目的在于提供一种机器人识别面部快乐微表情的方法包括：采集图像信号并输入，经过图像预处理、微笑特征提取和微笑识别，输出微表情的识别结果；对人体脑电波信号采集，分析得出微表情的结果；对输出微表情的识别结果和分析得出的微表情的结果进行校验辅助判断；对得出判断的结果，在机器的分析基础上得出决策；并将得出的决策指令传输出去并对完成相应决策指令的等级进行评价，评价等级包括不合格、合格、良、优。进一步，所述图像预处理的方法包括；1)灰度化处理，通过数学计算将彩色图像的R、G、B分量转换为一个灰度值表示的图像，计算公式为：Gray＝0.3R+0.59G+0.11B；2)人脸特征定位，对人脸的眉毛区域、眼眶及鱼尾纹区域、鼻子区域、嘴角区域、脸颊区域和下巴区域进行定位；以人脸关键点的左眼、右眼、左嘴角、右嘴角的坐标计算均值得到人脸中心坐标，计算公式为：同时计算出各关键点到中心点的距离：求出最大距离smax＝Max(s1+s2+s3+s4)；然后以此定位各个区域，裁剪区域；3)亮度处理，采集整个人脸的亮度范围[Low—High]，整个人脸区域亮度自动调节算法：Cha—变化亮度值，Low—低亮度，High—高亮度，Pef—调节后的亮度；得到整个人脸各个区域的灰度后调节的亮度值；4)归一化处理，采用双线性插值法，得到的区域曲线。进一步，微笑特征提取的方法包括：通过PCA算法进行特征降维处理图像预处理图片；快乐微表情的7种特征值为眉毛自然、松弛、前额平滑；眼睛眯起、鱼尾纹；下眼睑紧绷、提升、凸起笑容沟纹；嘴角翘起、拉伸；上唇提升；鼻唇沟；脸颊隆起、提升苹果肌、酒窝；呼吸痉挛、鼓下巴。进一步，微笑识别的方法包括：在提取出微笑的特征区域后进行训练学习，将特征区域图像通过SVM分类器对采集到特征值进行分类识别，得到分类库，并用统计计算方法得到特征区权重法；通过嘴角变化特征得到真实快乐的权重a，眉毛变化特征得到真实快乐的概率为b，在计算特征值时A＝c(a+b)，其中c为两种特征联合判断时采用的权重，通过训练学习得到；分类器对下次采集到信息进行分类决策。进一步，所述对输出微表情的识别结果和分析得出的微表情的结果进行校验辅助判断，具体步骤包括：第一步：脑电信号的采集及其预处理；脑电信号数据采集模块利用人机交互接口输入脑电波信号，再利用单片机实现对脑电信号处理，连接液晶显示器显示脑电波的电波图；第二步：脑电信号特征值的提取；从脑电波预处理结果模块提取出少量的有用的信息表示为特征向量，作为后续分类器的输入；加入傅里叶变换进行脑电图的频域分析得出脑电节律的分布与变换情况；利用时域特征提取去提取脑电信号的一些波形特征，把两者结合起来求出脑电波信号在时间、频率两域上的分布图，得出信号的频率变化情况，用于分类器的识别；第三步：分类器识别；利用提取出的特征值样本集，进行分类机器训练和分类器识别；对后续的识别评价方法采用模板匹配和基于贝叶斯极大似然理论确定分类器的分类函数，所述的模板匹配是指搜寻库内相同尺寸、方向和图像元素，所述贝叶斯极大似然理论是指通过数学统计的方法来确定分类函数，并利用分类函数的分类统计法进行识别结果。本专利技术的优点及积极效果为：本专利技术采用脑电信号辅助判断图像视觉识别的结果的方法，利用两种判断结果信息融合可改善单一识别判断的不足，提高识别快乐微表情的效率。本专利技术提出了一种在预处理方面加快处理的方法，通过对鼻子区域定位，以此为背景亮度自动调节人脸其他区域的亮度，可方便准确达到预处理的目的。本专利技术对快乐微表情采用7种特征区域，用特征区权重法来对快乐微表情判断识别，改善单一特征来确定快乐微表情带来的误判，可提高微表情的识别精度。附图说明图1是本专利技术实施例提供的机器人识别面部快乐微表情的方法流程图。图2是本专利技术实施例提供的脑电识别模块识别流程图。图3是本专利技术实施例提供的机器人识别面部快乐微表情的装置示意图。图中：9、视觉识别模块；10、脑电识别模块；11、信息融合模块；12、专家决策模块；13、执行机构；14、人机接口；15、评价模块。图4是本专利技术实施例提供的机器人识别面部快乐微表情的装置实物图。图中：1、高频荧光灯；2、CCD摄像头；3、显示器；4、图像采集卡；5、酷睿I7-3770处理器；6、贴片；7、头盔；8、手臂。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。下面结合附图对本专利技术的应用原理作进一步描述。如图1至图2所示，本专利技术实施例提供的机器人识别面部快乐微表情的方法包括：采集图像信号输入，经过图像预处理、微笑特征提取和微笑识别，输出微表情的识别结果；对人体脑电波信号采集，分析得出微表情的结果；对输出微表情的识别结果和分析得出的微表情本文档来自技高网...
【技术保护点】
一种机器人识别面部快乐微表情的方法，其特征在于，所述机器人识别面部快乐微表情的方法包括：采集图像信号并输入，经过图像预处理、微笑特征提取和微笑识别，输出微表情的识别结果；对人体脑电波信号采集，分析得出微表情的结果；对输出微表情的识别结果和分析得出的微表情的结果进行校验辅助判断；对得出判断的结果，在机器的分析基础上得出决策；并将得出的决策指令传输出去并对完成相应决策指令的等级进行评价，评价等级包括不合格、合格、良、优。
【技术特征摘要】
1.一种机器人识别面部快乐微表情的方法，其特征在于，所述机器人识别面部快乐微表情的方法包括：采集图像信号并输入，经过图像预处理、微笑特征提取和微笑识别，输出微表情的识别结果；对人体脑电波信号采集，分析得出微表情的结果；对输出微表情的识别结果和分析得出的微表情的结果进行校验辅助判断；对得出判断的结果，在机器的分析基础上得出决策；并将得出的决策指令传输出去并对完成相应决策指令的等级进行评价，评价等级包括不合格、合格、良、优。2.如权利要求1所述的机器人识别面部快乐微表情的方法，其特征在于，所述图像预处理的方法包括；1)灰度化处理，通过数学计算将彩色图像的R、G、B分量转换为一个灰度值表示的图像，计算公式为：Gray＝0.3R+0.59G+0.11B；2)人脸特征定位，对人脸的眉毛区域、眼眶及鱼尾纹区域、鼻子区域、嘴角区域、脸颊区域和下巴区域进行定位；以人脸关键点的左眼、右眼、左嘴角、右嘴角的坐标计算均值得到人脸中心坐标，计算公式为：同时计算出各关键点到中心点的距离：求出最大距离smax＝Max(s1+s2+s3+s4)；然后以此定位各个区域，裁剪区域；3)亮度处理，采集整个人脸的亮度范围[Low—High]，整个人脸区域亮度自动调节算法：Cha表示变化亮度值，Low表示低亮度，High表示高亮度，Pef表示调节后的亮度；得到整个人脸各个区域的灰度后调节的亮度值；4)归一化处理，采用双线性插值法，得到的区域曲线。3.如权利要求1所述的机器人识别面部快乐微表情的方法，其特征在于，微笑特征提取的方法包括：通过PCA算法进行特征降维处理图像预处理图片；快乐微表情的7种特征值为眉毛自然、松弛、前额平滑；眼睛眯起、鱼尾纹；下眼睑紧绷、提升、凸起笑容沟纹；嘴角翘起、拉伸；上唇提升；鼻唇沟；脸颊隆起、提升苹果肌、酒窝；呼吸痉挛、鼓下巴。4.如权利要求1所述的机器人识别面部快乐微表情的方法，其特征在于，微笑识别的方法包括：在提取出微笑的特征区域后进行训练学习，将特征区域图像通过S...
【专利技术属性】
技术研发人员：孙林平，刁永峰，何国田，张小安，
申请(专利权)人：四川文理学院，
类型：发明
国别省市：四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。