本申请适用于语音处理技术领域，提供了一种基于物联网大数据的心理疏导方法、装置以及服务器，该方法包括：获取用户的文本情感向量；获取用户的图像情感向量；融合文本情感向量和图像情感向量，得到多模态情感向量；将多模态情感向量输入至预先训练的情感解码器中，得到情感标签；查询情感标签对应的情感反馈句式，播放情感反馈句式对应的声音信号至用户。可见，本申请实施例可以主动识别出儿童的情感标签，并根据情感标签生成对应的情感反馈句式，从而达到为儿童及时进行心理疏导的目的。从而达到为儿童及时进行心理疏导的目的。从而达到为儿童及时进行心理疏导的目的。
【技术实现步骤摘要】
基于物联网大数据的心理疏导方法、装置以及服务器
[0001]本申请属于语音处理
，尤其涉及一种基于物联网大数据的心理疏导方法、装置以及服务器。
技术介绍
[0002]儿童的心理成长是处在快速发育阶段，心理健康至关重要，对于成人后的性格、自信心、价值观世界观等有着不可逆的影响。而当下社会的快节奏、繁忙的工作，让父母很难有时间和经历，去发现儿童细微的心理变化，从而导致沟通不及时，不到位，长此以往，忽略儿童的心理健康成长。
[0003]故而，亟需一种主动发现儿童心理变化，并进行心理疏导的方法。
技术实现思路
[0004]本申请实施例提供了一种基于物联网大数据的心理疏导方法、装置以及服务器，可以解决现有技术中亟需一种主动发现儿童心理变化并进行心理疏导的技术问题。
[0005]第一方面，本申请实施例提供了一种基于物联网大数据的心理疏导方法，包括：
[0006]获取用户的文本情感向量；
[0007]获取用户的图像情感向量；
[0008]融合所述文本情感向量和所述图像情感向量，得到多模态情感向量；
[0009]将所述多模态情感向量输入至预先训练的情感解码器中，得到情感标签；
[0010]查询所述情感标签对应的情感反馈句式，播放情感反馈句式对应的声音信号至用户。
[0011]在第一方面的一种可能的实现方式中，获取用户的文本情感向量，包括：
[0012]获取用户的文本序列信息；
[0013]将所述文本序列信息输入至预先训练的文本序列编码器，生成文本情感向量。
[0014]在第一方面的一种可能的实现方式中，所述预先训练的文本序列编码器包括文本序列编码模型和语义表示增强网络；文本序列编码模型包括嵌入层、预设数量的编码块、第一池化层以及输出层；
[0015]将所述文本序列信息输入至预先训练的文本序列编码器，生成文本情感向量，包括：
[0016]根据嵌入层将所述文本序列信息进行预处理，得到固定长度的嵌入表示向量；
[0017]根据预设数量的编码块对固定长度向量的文本特征提取，得到文本特征向量；
[0018]根据第一池化层对文本特征向量进行汇总，得到低维度语义表示向量；
[0019]根据输出层将所述低维度语义表示向量输入至语义表示增强网络；
[0020]根据语义表示增强网络对所述低维度语义进行隐藏状态捕捉，得到高维度语义表示向量，将所述高维度语义表示向量作为文本情感向量。
[0021]在第一方面的一种可能的实现方式中，获取用户的图像情感向量，包括：
[0022]获取用户的图像序列信息；
[0023]将所述图像序列信息输入至预先训练的图像序列编码器，生成图像情感向量。
[0024]在第一方面的一种可能的实现方式中，所述图像序列编码器包括输入层、卷积层、第二池化层、多通道卷积层、局部连接层以及全连接层；
[0025]将所述图像序列信息输入至预先训练的图像序列编码器，生成图像情感向量，包括：
[0026]根据输入层对所述图像序列信息进行预处理；
[0027]根据卷积层对预处理后的所述图像序列信息进行卷积处理，得到特征图像；
[0028]根据第二池化层对特征图像进行下采样处理，得到低维度特征图像；
[0029]根据多通道卷积层对所述低维度特征图像进行注意力计算处理，得到候选图像情感向量；
[0030]根据局部连接层对所述候选图像情感向量进行局部处理，得到局部图像情感向量；
[0031]根据全连接层对所述局部图像情感向量进行全连接处理，得到图像情感向量。
[0032]在第一方面的一种可能的实现方式中，融合所述文本情感向量和所述图像情感向量，得到多模态情感向量，包括：
[0033]对所述文本情感向量和所述图像情感向量进行归一化处理；
[0034]根据下列公式计算所述文本情感向量和所述图像情感向量之间的相似度矩阵：
[0035]A(i,j)＝v_text(i)*v_image(j)，
[0036]其中，A(i,j)表示第i个文本情感向量第j个图像情感向量之间的相似度矩阵，v_text(i)表示文本情感向量，v_image(j)表示图像情感向量，“*”表示向量的点积操作；
[0037]对所述相似度矩阵进行双向注意力处理，生成多模态情感向量。
[0038]在第一方面的一种可能的实现方式中，预先训练的情感解码器包括生成器和判别器；
[0039]将所述多模态情感向量输入至预先训练的情感解码器中，得到情感标签，包括：
[0040]将所述多模态情感向量输入至所述生成器中，生成候选情感标签；
[0041]将所述候选情感标签输入至所述判别器中，得到情感标签。
[0042]第二方面，本申请实施例提供了一种基于物联网大数据的心理疏导装置，包括：
[0043]第一获取模块，用于获取用户的文本情感向量；
[0044]第二获取模块，用于获取用户的图像情感向量；
[0045]融合模块，用于融合所述文本情感向量和所述图像情感向量，得到多模态情感向量；
[0046]情感解码模块，用于将所述多模态情感向量输入至预先训练的情感解码器中，得到情感标签；
[0047]查询模块，用于查询所述情感标签对应的情感反馈句式，播放情感反馈句式对应的声音信号至用户。
[0048]在第二方面的一种可选的实现方式中，所述第一获取模块，包括：
[0049]第一获取子模块，用于获取用户的文本序列信息；
[0050]第一生成子模块，用于将所述文本序列信息输入至预先训练的文本序列编码器，
生成文本情感向量。
[0051]在第二方面的一种可选的实现方式中，所述预先训练的文本序列编码器包括文本序列编码模型和语义表示增强网络；文本序列编码模型包括嵌入层、预设数量的编码块、第一池化层以及输出层；
[0052]第一生成子模块，包括：
[0053]预处理单元，用于根据嵌入层将所述文本序列信息进行预处理，得到固定长度的嵌入表示向量；
[0054]文本特征提取单元，用于根据预设数量的编码块对固定长度向量的文本特征提取，得到文本特征向量；
[0055]池化单元，用于根据第一池化层对文本特征向量进行汇总，得到低维度语义表示向量；
[0056]输入单元，用于根据输出层将所述低维度语义表示向量输入至语义表示增强网络；
[0057]语义表示增强单元，用于根据语义表示增强网络对所述低维度语义进行隐藏状态捕捉，得到高维度语义表示向量，将所述高维度语义表示向量作为文本情感向量。
[0058]在第二方面的一种可选的实现方式中，所述第二获取模块，包括：
[0059]第二获取子模块，用于获取用户的图像序列信息；
[0060]第二生成子模块，用于将所述图像序列信息输入至预先训练的图像序列编码器，生成图像情感向量。<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于物联网大数据的心理疏导方法，其特征在于，包括：获取用户的文本情感向量；获取用户的图像情感向量；融合所述文本情感向量和所述图像情感向量，得到多模态情感向量；将所述多模态情感向量输入至预先训练的情感解码器中，得到情感标签；查询所述情感标签对应的情感反馈句式，播放情感反馈句式对应的声音信号至用户。2.如权利要求1所述的基于物联网大数据的心理疏导方法，其特征在于，获取用户的文本情感向量，包括：获取用户的文本序列信息；将所述文本序列信息输入至预先训练的文本序列编码器，生成文本情感向量。3.如权利要求2所述的基于物联网大数据的心理疏导方法，其特征在于，所述预先训练的文本序列编码器包括文本序列编码模型和语义表示增强网络；文本序列编码模型包括嵌入层、预设数量的编码块、第一池化层以及输出层；将所述文本序列信息输入至预先训练的文本序列编码器，生成文本情感向量，包括：根据嵌入层将所述文本序列信息进行预处理，得到固定长度的嵌入表示向量；根据预设数量的编码块对固定长度向量的文本特征提取，得到文本特征向量；根据第一池化层对文本特征向量进行汇总，得到低维度语义表示向量；根据输出层将所述低维度语义表示向量输入至语义表示增强网络；根据语义表示增强网络对所述低维度语义进行隐藏状态捕捉，得到高维度语义表示向量，将所述高维度语义表示向量作为文本情感向量。4.如权利要求1所述的基于物联网大数据的心理疏导方法，其特征在于，获取用户的图像情感向量，包括：获取用户的图像序列信息；将所述图像序列信息输入至预先训练的图像序列编码器，生成图像情感向量。5.如权利要求4所述的基于物联网大数据的心理疏导方法，其特征在于，所述图像序列编码器包括输入层、卷积层、第二池化层、多通道卷积层、局部连接层以及全连接层；将所述图像序列信息输入至预先训练的图像序列编码器，生成图像情感向量，包括：根据输入层对所述图像序列信息进行预处理；根据卷积层对预处理后的所述图像序列信息进行卷积处理，得到特征图像；根据第二池化层对特征图像进行下采样处理，得到低维度特征图像；根据多通道卷积层对所述低维...
【专利技术属性】
技术研发人员：黄振培，吴丹，
申请(专利权)人：华脑科学研究珠海横琴有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。