基于用户情感状态感知的心理疗愈机器人制造技术

本申请涉及智能疗愈领域，其具体地公开了一种基于用户情感状态感知的心理疗愈机器人，其通过声音传感器采集目标用户对象的咨询语音输入信号，且通过摄像头采集所述目标用户对象的人脸图像，并采用基于人工智能的信号处理和图像分析方式来对所述人脸图像进行人脸特征提取和情感识别分析，对所述咨询语音输入信号进行嵌入编码，以此来根据目标对象情感类型特征和各个咨询语音块嵌入特征之间的跨域查询调制表示来智能地生成心理疗愈回复语音。这样，系统能够更精确地反映用户的情感状态。并且，生成更加个性化的心理疗愈回复语音，以能够更好地满足不同用户的需求。

【技术实现步骤摘要】

本申请涉及智能疗愈领域，且更为具体地，涉及一种基于用户情感状态感知的心理疗愈机器人。

技术介绍

1、随着现代社会生活节奏的加快和压力的增大，越来越多的人面临心理健康问题。工作竞争激烈、生活成本高昂、人际关系复杂等因素，使得许多人感到焦虑、抑郁和压力过大。长期的心理压力不仅会影响个人的工作和生活质量，还会引发各种身心疾病，如失眠、免疫系统功能下降。因此，及时有效的心理支持和干预变得尤为重要，以帮助人们更好地应对压力，维护心理健康。

2、传统的心理疗愈系统主要依赖于语音信号进行情感识别，然而，语音信号只能捕捉部分情感信息。实际上，微表情和面部表情在情感表达中也扮演着至关重要的角色。如果仅依靠语音信号，系统往往难以全面捕捉这些细微的情感变化，从而影响情感识别的准确性和全面性。此外，传统的心理疗愈情感识别方法通常是通用的，缺乏针对个体差异的优化。每个人的情感表达方式和心理状态都是独特的，通用模型难以适应这种多样性。例如，有些用户可能主要通过语调变化来表达情感，而另一些用户则更多依赖面部表情。通用模型由于无法捕捉这些个体差异，导致情感识别的准确率和个性化本文档来自技高网...

【技术保护点】

1.一种基于用户情感状态感知的心理疗愈机器人，其特征在于，包括：咨询语音信号采集获取模块，用于通过声音传感器采集目标用户对象的咨询语音输入信号；人脸图像获取模块，用于通过摄像头采集所述目标用户对象的人脸图像；人脸情感识别模块，用于对所述目标用户对象的人脸图像进行人脸特征提取和情感识别以得到目标对象情感类型锚定表示；咨询语音块嵌入模块，用于对所述咨询语音输入信号进行嵌入编码以得到咨询语音块嵌入表示的序列；跨域查询编码优化模块，用于对所述目标对象情感类型锚定表示和所述咨询语音块嵌入表示的序列进行跨域查询编码优化以得到目标对象情感调制咨询语音块嵌入表示的序列，其中，所述跨域查询编码优化模块，包...

【技术特征摘要】

1.一种基于用户情感状态感知的心理疗愈机器人，其特征在于，包括：咨询语音信号采集获取模块，用于通过声音传感器采集目标用户对象的咨询语音输入信号；人脸图像获取模块，用于通过摄像头采集所述目标用户对象的人脸图像；人脸情感识别模块，用于对所述目标用户对象的人脸图像进行人脸特征提取和情感识别以得到目标对象情感类型锚定表示；咨询语音块嵌入模块，用于对所述咨询语音输入信号进行嵌入编码以得到咨询语音块嵌入表示的序列；跨域查询编码优化模块，用于对所述目标对象情感类型锚定表示和所述咨询语音块嵌入表示的序列进行跨域查询编码优化以得到目标对象情感调制咨询语音块嵌入表示的序列，其中，所述跨域查询编码优化模块，包括：咨询语音本质捕捉单元，用于对所述咨询语音块嵌入表示的序列进行本质特征捕捉以得到咨询语音块本质特征表示；注意力分配单元，用于基于所述咨询语音块本质特征表示，对所述目标对象情感类型锚定表示和所述咨询语音块嵌入表示的序列进行分层注意力分配以得到所述目标对象情感调制咨询语音块嵌入表示的序列；心理疗愈回复语音生成模块，用于基于所述目标对象情感调制咨询语音块嵌入表示的序列，得到心理疗愈回复语音。

2.根据权利要求1所述的基于用户情感状态感知的心理疗愈机器人，其特征在于，所述人脸情感识别模块，包括：目标对象人脸特征提取单元，用于将所述目标用户对象的人脸图像输入基于深度可分离卷积神经网络模型的人脸特征提取器以得到目标对象人脸语义编码特征图；目标对象情感识别单元，用于将所述目标对象人脸语义编码特征图输入基于分类器的情感识别器以得到目标对象情感类型锚定编码向量作为所述目标对象情感类型锚定表示。

3.根据权利要求2所述的基于用户情感状态感知的心理疗愈机器人，其特征在于，所述咨询语音块嵌入模块，用于：对所述咨询语音输入信号进行token化嵌入编码以得到咨询语音块嵌入编码向量的序列作为所述目标对象情感调制咨询语音块嵌入表示的序列。

4.根据权利要求3所述的基于用户情感状态感知的心理疗愈机器人，其特征在于，所述咨询语音本质捕捉单元，用于：将所述咨询语音块嵌入编码向量的序列输入本质特征捕捉网络以得到咨询语音块本质特征表示向量作为所述咨询语音块本质特征表示。

5.根据权利要求4所述的基于用户情感状态感知的心理疗愈机器人，其特征在于，所述咨询语音本质捕捉单元，包括：咨询语音特征差异计算子单元，用于计算所述咨询语音块嵌入编码向量的序列中各个咨询语音块嵌入编码向量相对于其他咨询语音块嵌入编码向量的特征差异系数以得到咨询语音块特征差异系数的序列；咨询语音特征差异系数归一化子单元，用于对所述咨询语音块特征差异系数的序列进行归一化处理以得到归一化咨询语音块特征差异系数的序列；咨询语音本质特征计算子单元，用于以所述归一化咨询语音块特征差异系数的序列作为权重的序列，计算所述咨询语音块嵌入编码向量的序列的按位置加权和以得到所述咨询语音块本质特征表示向量。

6.根据权利要求5所述的基于用户情感状态感知的心理疗愈机器人，其特征在于，所述咨询语音特征差异计算子单元，用于：从所述咨询语音块嵌入编码向量的序列中提取预定咨询语音块嵌入编码向量；计算所述预定咨询语音块嵌入编码向量分别与所述咨询语音块嵌入编码向量的序列中其他各个咨询语音块嵌入编码向量之间的按位置差值，并计算得到的咨询语音块特征差异向量的序列中各个咨询语音块特征差异向量的一范数以得到咨询语音块特征范数值的序列；计算所述咨询语音块特征范数值的序列的全局均值以得到所述咨询语音块特征差异系数。

7.根据权利要求6所述的基于用户情感状态感知的心理疗...

【专利技术属性】
技术研发人员：赵俊，翁芳胜，潘法昱，
申请(专利权)人：西湖心辰杭州科技有限公司，
类型：发明
国别省市：