一种机器人情感分析方法、系统及机器人技术方案

本发明专利技术公开了一种机器人情感分析方法、系统及机器人，该方法包括：获取待分析的图像数据；根据加速后的图像识别模型，对所述图像数据的目标区域进行定位，得到人体框；将所述人体框和所述图像数据输入至情感分析模型，以使所述情感分析模型对所述人体框和所述图像数据进行融合计算，得到第一情感分类结果；其中，所述情感分析模型包括：加速后的人体特征提取模型、加速后的场景特征提取模型以及加速后的融合分类模型；根据所述第一情感分类结果，控制机器人的人机交互行为。采用本发明专利技术实施例，部署情感分析模型的机器人能够准确、实时、迅速地识别出用户的情感信息，让机器人能够更好的理解人机交互中用户的对话意图，让用户获得更好的交流体验。更好的交流体验。更好的交流体验。

【技术实现步骤摘要】
一种机器人情感分析方法、系统及机器人


[0001]本专利技术涉及智能机器人领域，尤其涉及一种机器人情感分析方法、系统及机器人。

技术介绍

[0002]情感分析是对人们对产品、服务、组织、个人、问题、事件、话题及其属性的观点、情感、情绪、评价和态度的计算研究。人工智能的深度学习技术作为一项学习数据的多层特征或表征的强大机器学习技术，其分支包括计算机视觉、语音识别、NLP等，在很多应用领域取得了显著的效果，近些年基于文本的NLP技术和基于图像的计算机视觉技术在情感分析任务上有了广泛的应用。
[0003]目前的情感分析方法主要集中在分析人的面部表情以及身体姿态，而当人身处不同类型的场景中时，仅通过分析人的面部表情则不足以识别一个人的情感状态。而融合人体特征和场景信息的情感分析模型部署在机器人端上时，由于受到硬件算力的限制，运算的速度较慢。

技术实现思路

[0004]本专利技术提供了一种机器人情感分析方法和系统，以解决机器人情感分析模型运算速度慢的技术问题。
[0005]为了解决上述技术问题，第一方面，本专利技术实施例提供了一种机器人情感分析方法，包括：
[0006]获取待分析的图像数据；
[0007]根据加速后的图像识别模型，对所述图像数据的目标区域进行定位，得到人体框；
[0008]将所述人体框和所述图像数据输入至情感分析模型，以使所述情感分析模型对所述人体框和所述图像数据进行融合计算，得到第一情感分类结果；其中，所述情感分析模型包括：加速后的人体特征提取模型、加速后的场景特征提取模型以及加速后的融合分类模型；
[0009]根据所述第一情感分类结果，控制机器人的人机交互行为。
[0010]本专利技术通过加速后的图像识别模型将被测对象从图像数据中识别出来，并输出人体框；情感分析模型根据人体框和图像数据进行融合计算，得到第一情感分类结果。本专利技术除了根据人体进行情感分析外，还根据图像数据结合人体框进行融合计算，使最终的情感分类结果考虑到场景因素对被测者情感识别的影响。而且，本专利技术在图像识别环节和融合计算环节使用的模型都经过加速，在运算速度上更快。
[0011]进一步地，在所获取待分析的图像数据之前，包括：
[0012]加载COCO数据集中的第一图片数据和第一标签数据，并对所述第一图片数据和第一标签数据进行归一化；初始化YOLOv3模型的第一主干网络、特征金字塔网络以及第一全连接网络，得到初始化的YOLOv3模型；
[0013]输入所述第一图片数据至所述初始化的YOLOv3模型，得到三维张量嵌入；
[0014]根据所述第一标签和所述三维张量嵌入选用第一损失函数计算损失，通过反向传播求解得到第一参数梯度；
[0015]根据第一参数梯度调整参数，直到所述初始化的YOLOv3模型收敛，获得所述图像识别模型。
[0016]进一步地，在所述获取待分析的图像数据之前，还包括：
[0017]加载EMOTIC数据集中的第二图片数据和第二标签数据，加载人体特征提取模型和场景特征提取模型，并对所述第二图片数据和第二标签数据进行归一化，初始化基线CNN模型的第二主干网络、第二全连接网络；其中，采用ImageNet数据集预训练的第一resnet50模型作为人体特征提取模型，采用places365预训练的第二resnet50模型作为场景特征提取模型；
[0018]所述人体特征提取模型提取所述第二图片数据的第二人体特征，所述场景特征提取模型提取所述第二图片数据的第二场景特征，所述基线CNN模型融合所述人体特征和所述场景特征，得到第二情感分类结果；其中，所述第二情感分类结果包含第二连续情感分类结果和第二离散情感分类结果；
[0019]根据所述第二标签数据和所述第二离散情感分类结果采用加权平方误差损失函数计算损失，通过反向传播求解得到第二参数梯度；根据所述第二标签数据和所述第二连续情感分类结果采用L1损失函数计算损失，通过反向传播求解得到第三参数梯度；
[0020]根据所述第二参数梯度和所述第三参数梯度调整参数，直到所述基线CNN模型收敛，获得所述融合分类模型。
[0021]本专利技术在使用图像识别模型和情感分析模型之前，对所使用的模型都进行预训练，其中采用COCO数据集作为图像识别模型的训练集，并通过第一损失函数和调整参数使图像识别模型收敛，最终使用的图像识别模型能够更准确的选取目标区域的人体框。基线CNN模型融合所述人体特征和所述场景特征，得到第二情感分类结果，第二情感分类结果进一步区分为第二离散情感分类结果和第二连续情感分类结果；这种分类方式较单一的离散情感分类更为细致，对被测者情感的识别更为准确。
[0022]进一步地，所述加速后的图像识别模型、加速后的人体特征提取模型、加速后的场景特征提取模型以及加速后的融合分类模型，具体为：
[0023]确认储存所述图像识别模型、所述人体特征提取模型、所述场景特征提取模型以及所述融合分类模型的机器人主机的CUDA版本，加载与CUDA版本对应的tensorRT优化器；
[0024]转换所述图像识别模型至ONNX格式的图像识别模型；转换所述人体特征提取模型至ONNX格式的人体特征提取模型；转换所述场景特征提取模型至ONNX格式的场景特征提取模型；转换所述融合分类模型至ONNX格式的融合分类模型；
[0025]转换所述ONNX格式的图像识别模型至tensorRT格式的图像识别模型；转换所述ONNX格式的人体特征提取模型至tensorRT格式的人体特征提取模型；转换所述ONNX格式的场景特征提取模型至tensorRT格式的场景特征提取模型；转换所述ONNX格式的融合分类模型至tensorRT格式的融合分类模型；
[0026]反序列化所述tensorRT格式的图像识别模型、所述tensorRT格式的人体特征提取模型、所述tensorRT格式的场景特征提取模型以及所述tensorRT格式的融合分类模型，并创建运行引擎；
[0027]得到加速后的图像识别模型、加速后的人体特征提取模型、加速后的场景特征提取模型以及加速后的融合分类模型。
[0028]本专利技术采用tensorRT优化器对情感分析过程使用的模型进行加速，将这些模型转换成通用的ONNX格式，再将ONNX格式的模型转为tensorRT格式，反序列化后创建运行引擎；这种方法可将本专利技术使用的图像识别模型、人体特征提取模型、场景特征提取模型以及融合分类模型转换为占用存储空间更小的格式，并调用更少的资源进行运算，提高了模型的运算速度。
[0029]进一步地，所述根据加速后的图像识别模型，对所述图像数据的目标区域进行定位，得到人体框，具体为：
[0030]读取所述图像数据的视频帧；
[0031]将所述视频帧裁剪为预设分辨率的尺寸；
[0032]将裁剪后的所述视频帧输入至所述加速后的图像识别模型的主干网络中的backbone模块，经所述加速后的图像识别模型的特征金字塔网络提取特征；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人情感分析方法，其特征在于，包括：获取待分析的图像数据；根据加速后的图像识别模型，对所述图像数据的目标区域进行定位，得到人体框；将所述人体框和所述图像数据输入至情感分析模型，以使所述情感分析模型对所述人体框和所述图像数据进行融合计算，得到第一情感分类结果；其中，所述情感分析模型包括：加速后的人体特征提取模型、加速后的场景特征提取模型以及加速后的融合分类模型；根据所述第一情感分类结果，控制机器人的人机交互行为。2.如权利要求1所述的一种机器人情感分析方法，其特征在于，在所获取待分析的图像数据之前，包括：加载COCO数据集中的第一图片数据和第一标签数据，并对所述第一图片数据和第一标签数据进行归一化；初始化YOLOv3模型的第一主干网络、特征金字塔网络以及第一全连接网络，得到初始化的YOLOv3模型；输入所述第一图片数据至所述初始化的YOLOv3模型，得到三维张量嵌入；根据所述第一标签和所述三维张量嵌入选用第一损失函数计算损失，通过反向传播求解得到第一参数梯度；根据第一参数梯度调整参数，直到所述初始化的YOLOv3模型收敛，获得所述图像识别模型。3.如权利要求1所述的一种机器人情感分析方法，其特征在于，在所述获取待分析的图像数据之前，还包括：加载EMOTIC数据集中的第二图片数据和第二标签数据，加载人体特征提取模型和场景特征提取模型，并对所述第二图片数据和第二标签数据进行归一化，初始化基线CNN模型的第二主干网络、第二全连接网络；其中，采用ImageNet数据集预训练的第一resnet50模型作为人体特征提取模型，采用places365预训练的第二resnet50模型作为场景特征提取模型；所述人体特征提取模型提取所述第二图片数据的第二人体特征，所述场景特征提取模型提取所述第二图片数据的第二场景特征，所述基线CNN模型融合所述人体特征和所述场景特征，得到第二情感分类结果；其中，所述第二情感分类结果包含第二连续情感分类结果和第二离散情感分类结果；根据所述第二标签数据和所述第二离散情感分类结果采用加权平方误差损失函数计算损失，通过反向传播求解得到第二参数梯度；根据所述第二标签数据和所述第二连续情感分类结果采用L1损失函数计算损失，通过反向传播求解得到第三参数梯度；根据所述第二参数梯度和所述第三参数梯度调整参数，直到所述基线CNN模型收敛，获得所述融合分类模型。4.如权利要求1
‑
3任一项所述的一种机器人情感分析方法，其特征在于，所述加速后的图像识别模型、加速后的人体特征提取模型、加速后的场景特征提取模型以及加速后的融合分类模型，具体为：确认储存所述图像识别模型、所述人体特征提取模型、所述场景特征提取模型以及所述融合分类模型的机器人主机的CUDA版本，加载与CUDA版本对应的tensorRT优化器；转换所述图像识别模型至ONNX格式的图像识别模型；转换所述人体特征提取模型至ONNX格式的人体特征提取模型；转换所述场景特征提取模型至ONNX格式的场景特征提取模
型；转换所述融合分类模型至ONNX格式的融合分类模型；转换所述ONNX格式的图像识别模型至tensorRT格式的图像识别模型；转换所述ONNX格式的人体特征提取模型至tensorRT格式的人体特征提取模型；转换所述ONNX格式的场景特征提取模型至tensorRT格式的场景特征提取模型；转换所述ONNX格式的融合分类模型至tensorRT格式的融合分类模型；反序列化所述tensorRT格式的图像识别模型、所述tensorRT格...

【专利技术属性】
技术研发人员：刘娜，袁野，张泽阳，赵帅康，
申请(专利权)人：河南中原动力智能制造有限公司，
类型：发明
国别省市：