多通道协同的心理生理主动感知方法及服务机器人技术

本申请提供一种多通道协同的心理生理主动感知方法及服务机器人，此机器人通过右眼可见光摄像头采集部件获取监测目标个体的可见光视频，通过左眼红外仪采集部件拍摄监测目标个体的红外热图视频，通过左侧接触式指夹仪器获取监测目标个体的皮电、脉搏、血氧等生理数据；机器人的口袋分析操作台用于分析挖掘上述多通道数据对应的深层特征信息及相关权重，用于确定监测目标个体的心理生理特征值。此机器人具有红外智能捕获对象功能、远程服务功能，可按照用户要求分析得到监测目标个体的心理生理特征值。上述多通道协同的心理生理主动感知服务机器人便于实时操作，采用人机交互的方式提高了心理状态监测效率，自动化、智能化程度大大提高。

Multi channel cooperative psychophysiological active perception method and service robot

【技术实现步骤摘要】
多通道协同的心理生理主动感知方法及服务机器人
本申请涉及信息和数据处理领域，具体涉及一种多通道协同的心理生理主动感知方法及服务机器人。
技术介绍
心理状态是心理活动的基本形式之一，指心理活动在一定时间内的完整特征，如注意、疲劳、紧张、轻松、忧伤、喜悦等。它兼有心理过程和个性心理特征的特点，既有暂时性，又具有稳定性。是心理过程和个性心理特征联结的中介环节，构成一切心理活动展开的背景。生理特征，例如皮电、血氧等能够在一定程度上感应个体的心理状态特征。个体的心理生理状态特征能够反应个体当前的状态，能够帮助判断个体是否会做出危害自己或威胁他人安全的行为，因此监测个体的心理生理状态特征非常必要。现有技术中，对个体心理生理状态的分析方案中，采集的数据类型单一，不能充分获取用于分析个体进行心理生理状态分析的情绪信息，导致分析的结果准确度低。并且在对获取的数据进行处理的过程中，步骤繁琐，计算量大，效率差。同时，在对个体心理生理状态的分析方案中自动化程度不高。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本申本文档来自技高网...

【技术保护点】
1.一种多通道协同的心理生理主动感知方法，其特征在于，包括：/n获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；/n提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；/n对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；/n提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；/n提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；/n基于可见光图像特征向量、红外热图特征向量、情绪波动...

【技术特征摘要】
1.一种多通道协同的心理生理主动感知方法，其特征在于，包括：
获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；
提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；
对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；
提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；
提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；
基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。


2.根据权利要求1所述的方法，还包括：
感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。


3.根据权利要求1所述的方法，还包括：
通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。


4.根据权利要求1所述的方法，其特征在于，所述方法在提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量之前，还包括如下步骤：
对所述可见光图像进行点运算处理、滤波处理、全局优化处理
利用灰度变换法和小波包阈值的去噪方法对红外热图像进行预处理；
对所述音频信息进行预加权重处理、低通滤波处理、分帧处理。
所述提取所述可见光图像中的第一图像特征，包括：
对可见光图像中预设的多个面部特征点、多个预设的面部运动区域进行图像特征提取，得到所述第一图像特征。


5.根据权利要求1所述的方法，其特征在于，所述对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，包括：
基于HSV颜色模型的直接示例查法及主分量分析法对所述红外热图进行降维处理，及并提取降为处理后的信息的图像特征提取，得到所述第二图像特征。


6.根据权利要求1所述的方法，其特征在于，所述提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，包括：
提取音频信息中的音频特征，并从语音语调库中查找与音频特征匹配的情绪波动特征；所述音语调库中存储有多个语音特征，以及与每种语音特征对应的情绪波动特征。


7.根据权利要求1所述的方法，其特征在于，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：
利用卷积神经网络，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。


8.根据权利要求1所述的方法，其特征在于，所述第一图像特征包括目标个体的头部姿势特征、目标个体的微表情特征、目标个体的眼动轨迹特征...

【专利技术属性】
技术研发人员：李莹辉，丁帅，杨成佳，李霄剑，曲丽娜，杨善林，张园园，严钰，
申请(专利权)人：中国航天员科研训练中心，合肥工业大学，
类型：发明
国别省市：北京;11