一种商场智能导购机器人情感分析交互方法、系统及终端技术方案

本发明专利技术属于机器人智能控制、人机交互以及人工智能技术领域，公开了一种商场智能导购机器人情感分析交互方法、系统及终端，系统进行机器人初始化，利用人物捕捉模块捕捉人物目标；利用人脸检测与信息录入模块对捕捉到的人物目标进行人脸检测与信息录入；利用声音捕捉处理模块接收外界音频信号并转换成文本；利用智能导购模块处理文本消息，利用机器人音源模块实现商品导购功能；利用情感分析模块结合视觉和声音特征进行情感分析，利用情感互动模块进行情感互动；利用大数据分析与存储模块进行大数据分析与存储，利用特定人物检测和跟踪模块通过机器人视觉和行动模块进行特定人物检测和跟踪。本发明专利技术实时性较高，方便商场有效分析顾客购买体验。析顾客购买体验。析顾客购买体验。

【技术实现步骤摘要】
一种商场智能导购机器人情感分析交互方法、系统及终端


[0001]本专利技术属于机器人智能控制、人机交互以及人工智能
，尤其涉及一种商场智能导购机器人情感分析交互方法、系统及终端。

技术介绍

[0002]目前，情感分析，广泛应用于社交媒体监测、产品评论分析、舆情分析等领域。在商业领域中，情感分析可以帮助企业了解消费者对其产品和服务的评价和观点，从而制定更有效的营销策略和改进产品和服务。目前相关情感分析的大部分研究只针对文本或者计算机视觉中的单一模块，结合文本和视觉的情感分析系统以及这些方法的相关应用并不常见。目前市场人机交互机器人普遍为普通问答交互，并未考虑到用户情绪。同时，随着淘宝等线上购物平台的发展，商场商品的市场份额不断减少，为商场带来了巨大的压力。
[0003]通过上述分析，现有技术存在的问题及缺陷为：
[0004](1)目前相关情感分析的大部分技术只针对文本或者计算机视觉中的单一模块，结合文本和视觉的情感分析系统以及方法的相关应用并不常见。
[0005](2)目前市场人机交互机器人未考虑到用户情绪，且随着淘宝等线上购物平台的发展，商场商品的市场份额不断减少，为商场带来巨大压力。
[0006](3)目前在单一使用表情识别方法中，当遇到脸部情感表达不强烈时，会造成情感判别困难，可能会误判成中性；而单一通过声音信息判别情感时，会受到外界噪声干扰，误判的机率很高，在嘈杂环境下很难进行情感判别。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种商场智能导购机器人情感分析交互方法、系统及终端。
[0008]本专利技术是这样实现的，一种商场智能导购机器人情感分析交互方法，商场智能导购机器人情感分析交互方法包括：系统进行机器人初始化，并利用人物捕捉模块捕捉人物目标；利用人脸检测与信息录入模块对捕捉到的人物目标进行人脸检测与信息录入；利用声音捕捉处理模块接收外界音频信号并转换成文本；利用智能导购模块处理文本消息，利用机器人音源模块实现商品导购功能；利用情感分析模块结合视觉和声音特征进行情感分析，利用情感互动模块进行情感互动；利用大数据分析与存储模块进行大数据的分析与存储，利用特定人物检测和跟踪模块通过机器人视觉和行动模块进行特定人物检测和跟踪。
[0009]进一步，利用情感分析模块结合视觉和声音特征进行情感分析包括：
[0010]使用FERNET人脸表情识别算法处理人脸捕捉与分析存储模块捕捉到人脸视觉信息，输出当前视觉情感分类结果；利用BERT文本情感分析算法处理声音处理模块转换的文本信息，输出当前文本情感分类结果，并将视觉情感分类结果X和文本情感分类结果Y送入加权打分机制中输出最终预测结果。
[0011]进一步，FERNET人脸情感分析算法和BERT文本情感分类算法输出结果X，Y均为积
极、消极和中性三种情感预测百分比。
[0012]进一步，打分机制采用λX+σY，其中当有视觉表情情感表达强烈分类结果为积极和消极时，本专利技术主要依靠视觉来判别当前用户情绪，即σ＝σ1＝0，λ＝λ1＝1，当视觉情感表达不强烈时即通过表情难以判断时，本专利技术主要依靠声音文本信息来辅助分析，即σ＝σ2＝1，λ＝λ2＝0.5；利用numpy库中max函数得到最终输出结果O＝max[λX+σY]以及最终的预测结果情感关键词(积极或消极或中性)。
[0013]进一步，利用情感互动模块进行情感互动包括：
[0014]在消极时执行挠头、拥抱动作，同时调用情感对话模块开启安慰模式；积极时执行鼓掌、舞蹈动作，LSTM文本古诗生成算法进行作诗，同时调用情感对话模块开启高兴模式；中性时，挥手开启调用情感对话模块闲聊模式。
[0015]本专利技术的另一目的在于提供一种应用所述的商场智能导购机器人情感分析交互方法的商场智能导购机器人情感分析交互系统，商场智能导购机器人情感分析交互系统包括：
[0016]人物捕捉模块，用于调用机器人视觉模块进行实时持续扫描拍照，并使用yolo
‑
x目标检测算法配合机器人行进模块进行实时持续人像目标检测；
[0017]人脸检测与信息录入模块，用于利用机器人视觉模块使用Retinaface算法配合机器人头部转动模块进行实时人脸检测扫描分析与捕捉，并将捕捉到的人脸信息以及性别年龄分析信息存入到用户数据库中；
[0018]声音捕捉处理模块，用于使用机器人音源处理模块检测外界音频信号，并通过调用baidu api接口将外界音频信号转换成文本信息；
[0019]智能导购模块，用于将语音转化的文本信息存入用户数据库和后台数据库，同时输入知识图谱推荐模块和商品信息导购问答模块；
[0020]情感分析模块，用于使用FERNET人脸表情识别算法处理人脸捕捉与分析存储模块捕捉到人脸视觉信息，输出当前视觉情感分类结果；
[0021]情感互动模块，用于根据情感关键词利用机器人动作表达模块，根据相应的情感关键词执行相应的动作；
[0022]大数据分析与存储模块，用于通过对后台存储的数据进行大数据分析，分析当前高频词汇，并将高平词汇信息存入后台数据库；同时对当前用户数据进行大数据分析，分析当前用户的喜好信息，并将信息存入数据库；
[0023]特定人物检测和跟踪模块，用于利用FACENET处理捕捉到的人脸帧，与数据库中VIP用户人像进行对比，判断是否为VIP用户；若为VIP用户则调用机器人摄像头测距模块，利用双目测距算法测量距离，开启跟踪。
[0024]进一步，利用知识图谱推荐模块关联用户数据库中的当前用户数据以及后台数据库中的高频词汇数据。
[0025]本专利技术的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的商场智能导购机器人情感分析交互方法的步骤。
[0026]本专利技术的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的商场智能导购机器人情感分析交互方法的
步骤。
[0027]本专利技术的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的商场智能导购机器人情感分析交互系统。
[0028]结合上述的技术方案和解决的技术问题，本专利技术所要保护的技术方案所具备的优点及积极效果为：
[0029]第一，本专利技术提供的商场智能导购机器人情感分析交互系统将人工智能算法与机器人结合，由人物捕捉模块、信息录入模块、智能导购模块、情感分析模块、情感交互模块、数据分析以及目标检测跟踪模块七部分组成，实现了机器人扫描发现指定目标、用户信息录入、数据分析、智能导购、情感分析以及情感交互，进行实时情感表达互动以及目标检测和跟踪。本专利技术具有以下优点：实时性较高，方便商场有效分析顾客的购买心理和购买体验，及时调整产品以及需求，方便商场更改自己管理模式，为顾客带来更好的消费体验，帮助商场更好吸引顾客，缓解了线上购物给商场带来的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商场智能导购机器人情感分析交互方法，其特征在于，包括：系统进行机器人初始化，并利用人物捕捉模块捕捉人物目标；利用人脸检测与信息录入模块对捕捉到的人物目标进行人脸检测与信息录入；利用声音捕捉处理模块接收外界音频信号并转换成文本；利用智能导购模块处理文本消息，利用机器人音源模块实现商品导购功能；利用情感分析模块结合视觉和声音特征进行情感分析，利用情感互动模块进行情感互动；利用大数据分析与存储模块进行大数据的分析与存储，利用特定人物检测和跟踪模块通过机器人视觉和行动模块进行特定人物检测和跟踪。2.如权利要求1所述的商场智能导购机器人情感分析交互方法，其特征在于，利用情感分析模块结合视觉和声音特征进行情感分析包括：使用FERNET人脸表情识别算法处理人脸捕捉与分析存储模块捕捉到人脸视觉信息，输出当前视觉情感分类结果；利用BERT文本情感分析算法处理声音处理模块转换的文本信息，输出当前文本情感分类结果，并将视觉情感分类结果X和文本情感分类结果Y送入加权打分机制中输出最终预测结果。3.如权利要求2所述的商场智能导购机器人情感分析交互方法，其特征在于，FERNET人脸情感分析算法和BERT文本情感分类算法输出结果X，Y均为积极、消极和中性三种情感预测百分比。4.如权利要求2所述的商场智能导购机器人情感分析交互方法，其特征在于，打分机制采用λX+σY，其中当有视觉表情情感表达强烈分类结果为积极和消极时，依靠视觉来判别当前用户情绪，即σ＝σ1＝0，λ＝λ1＝1，当视觉情感表达不强烈时即通过表情难以判断时，依靠声音文本信息来辅助分析，即σ＝σ2＝1，λ＝λ2＝0.5；利用numpy库中max函数得到最终输出结果O＝max[λX+σY]，预测结果情感关键词包括积极或消极或中性。5.如权利要求1所述的商场智能导购机器人情感分析交互方法，其特征在于，利用情感互动模块进行情感互动包括：在消极时执行挠头、拥抱动作，同时调用情感对话模块开启安慰模式；积极时执行鼓掌、舞蹈动作，LSTM文本古诗生成算法进行作诗，同时调用情感对话模块开启高兴模式；中性时，挥手开启调用情感对话模块闲聊模式。6.一种应用如权利要求1～5任意一项所述的商场智能导购机器人情感分析交互方法的商场智能导购机器人情感...

【专利技术属性】
技术研发人员：彭菊红，李卫东，钟志峰，罗显志，叶波，
申请(专利权)人：湖北大学，
类型：发明
国别省市：