基于深度学习的信息推送方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种基于深度学习的信息推送方法、装置、设备及存储介质，涉及计算机技术领域，所述方法包括步骤：获取实时语音数据，获取历史文本数据；转写实时语音数据为语音文本数据，提取语音文本数据文本特征；提取历史文本数据的文本特征；将实时语音数据文本特征和历史文本数据文本特征融合得到融合特征；对融合特征进行实体抽取和意图识别生成会话状态跟踪任务；基于会话状态跟踪任务计算结果信息；输出结果信息。通过综合运用语音文本数据和历史文本数据，将历史文本数据作为补充数据，弥补了语音数据文本语义信息较少的问题，有效提高了文本分类准确度，从而提高了相关信息推送的准确率。的准确率。的准确率。

【技术实现步骤摘要】
基于深度学习的信息推送方法、装置、设备及存储介质


[0001]本专利技术涉及计算机
，具体地涉及一种基于深度学习的信息推送方法、装置、设备及存储介质。

技术介绍

[0002]伴随智能语音技术的快速发展及应用场景的成熟落地，目前冰箱在食材选择及推送方面普遍存在2个层面的问题，一是智能冰箱所使用的应用软件在进行食材信息推送时效率低而导致用户体验差；二是推送食材内容主题的准确率较低、或响应时间较慢。以上问题难以满足人们在日常生活之中使用冰箱的基本需求，甚至引起推送食材信息不准确或不对称信息。因此，如何使用智能语音技术推送食材内容已成为冰箱智能化、一体化的关键技术与迫切问题。特别是人类与机器的交互越来越频繁，简单、便捷的人机交互方式成为AI核心技术的根本特征及便利生活方式，这些交互方式离不开语音、文本、图像等多模态数据，针对这些多模态数据如何利用好及如何融合最有效的特征表示，从而为用户提供更加的使用体验效果，已成为学界、产业界及工业界面临的关键问题。

技术实现思路

[0003]本专利技术的目的在于提供一种基于深度学习的信息推送方法、装置、设备及存储介质。
[0004]本专利技术提供一种基于深度学习的信息推送方法，包括步骤：
[0005]获取实时语音数据，获取历史文本数据；
[0006]转写所述实时语音数据为语音文本数据，提取所述语音文本数据文本特征；
[0007]提取所述历史文本数据的文本特征；
[0008]将所述实时语音数据文本特征和所述历史文本数据文本特征融合得到融合特征；
[0009]对所述融合特征进行实体抽取和意图识别生成会话状态跟踪任务；
[0010]基于所述会话状态跟踪任务计算结果信息；
[0011]输出所述结果信息。
[0012]作为本专利技术的进一步改进，所述转写所述实时语音数据为语音文本数据，提取所述语音文本数据文本特征，具体包括：
[0013]提取所述实时语音数据特征，得到语音特征；
[0014]将所述语音特征输入语音识别组件的深度神经网络模型转写得到第一语音文本向量；
[0015]将所述第一语音文本向量输入双向长短记忆网络模型，获取包含基于所述语音文本数据上下文特征信息的语音文本上下文特征向量。
[0016]作为本专利技术的进一步改进，所述提取所述实时语音数据特征，具体包括：
[0017]提取所述实时语音数据特征，获取其梅尔频率倒谱系数特征。
[0018]作为本专利技术的进一步改进，提取所述历史文本数据的文本特征，具体包括：
[0019]将所述历史文本数据转化为历史文本词向量；
[0020]将所述历史文本词向量输入双向长短记忆网络模型，获取包含基于所述历史文本数据上下文特征信息的历史文本上下文特征向量。
[0021]作为本专利技术的进一步改进，还包括步骤：
[0022]基于注意力机制模型，增强所述语音文本数据和所述历史文本数据的文本特征。
[0023]作为本专利技术的进一步改进，所述基于注意力机制模型，增强所述语音文本数据和历史文本数据的文本特征，具体包括：
[0024]分别将所述语音文本上下文特征向量和所述历史文本上下文特征向量输入自注意力机制和全连接层的融合模型；
[0025]获取包含所述语音文本数据自身权重信息的语音文本注意力特征向量；
[0026]获取包含所述历史文本数据自身权重信息的历史文本注意力特征向量。
[0027]作为本专利技术的进一步改进，所述将所述实时语音数据文本特征和所述历史文本数据文本特征融合到融合特征向量，具体包括：
[0028]将所述语音文本注意力特征向量和所述历史文本注意力特征向量进行融合得到所述融合特征向量。
[0029]作为本专利技术的进一步改进，所述对所述融合特征进行实体抽取和意图识别生成会话状态跟踪任务，具体包括：
[0030]将所述融合特征向量输入双向长短记忆网络和卷积神经网络的组合模型进行实体抽取和意图识别生成所述会话状态跟踪任务。
[0031]作为本专利技术的进一步改进，所述基于所述会话状态跟踪任务计算结果信息，具体包括：
[0032]根据所述会话状态跟踪任务，并通过基于实体信息和意图识别所形成的系统自有和历史积累形成的决策库、以及执行动作命令的引擎库，计算得到用以反馈的所述结果信息。
[0033]作为本专利技术的进一步改进，所述转写所述实时语音数据为语音文本数据，提取所述语音文本数据文本特征；提取所述历史文本数据的文本特征，还包括：
[0034]获取存储于外部缓存的配置数据，将所述语音文本数据和所述历史文本数据基于所述配置数据执行深度神经网络计算，进行文本转写和提取文本特征。
[0035]作为本专利技术的进一步改进，所述获取实时语音数据，具体包括：
[0036]获取语音采集装置所采集的所述实时语音数据，和/或
[0037]获取自客户终端传输的所述实时语音数据。
[0038]作为本专利技术的进一步改进，获取历史文本数据，具体包括：
[0039]获取内部存储的历史文本作为历史文本数据，和/或
[0040]获取外部存储的历史文本作为历史文本数据，和/或
[0041]获取客户终端传输的历史文本作为历史文本数据。
[0042]作为本专利技术的进一步改进，还包括步骤：
[0043]对所述实时语音数据进行预处理，包括：对所述实时语音数据进行分帧处理和加窗处理，
[0044]对所述历史文本数据进行预处理，包括：对所述语音文本数据进行清洗处理、标
注、分词、去停用词。
[0045]作为本专利技术的进一步改进，所述输出所述结果信息包括：
[0046]将所述结果信息转换为语音进行输出，和/或
[0047]将所述结果信息转换为语音传输至客户终端输出，和/或
[0048]将所述结果信息转换为文本进行输出，和/或
[0049]将所述结果信息转换为文本传输至客户终端输出。
[0050]作为本专利技术的进一步改进，所述获取所述实时语音数据和所述历史文本数据的上下文信息和权重信息，具体包括：
[0051]获取存储于外部缓存的配置数据，将所述语音文本数据和所述历史文本数据基于所述配置数据执行深度神经网络计算，获取所述实时语音数据和所述历史文本数据的上下文信息和权重信息。
[0052]本专利技术还提供一种基于深度学习的信息推送装置，包括：
[0053]数据获取模块，用于获取实时语音数据和获取历史文本数据；
[0054]转写模块，用于转写所述实时语音数据为语音文本数据；
[0055]特征提取模块，用于提取所述语音文本数据文本特征和提取所述历史文本数据的文本特征；
[0056]融合模块，用于将所述实时语音数据文本特征和所述历史文本数据文本特征融合得到融合特征；
[0057]结果计算模块，用于对所述融合特征进行实体抽取和意图识别生成会话状态跟踪任务，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的信息推送方法，其特征在于，包括步骤：获取实时语音数据，获取历史文本数据；转写所述实时语音数据为语音文本数据，提取所述语音文本数据文本特征；提取所述历史文本数据的文本特征；将所述实时语音数据文本特征和所述历史文本数据文本特征融合得到融合特征；对所述融合特征进行实体抽取和意图识别生成会话状态跟踪任务；基于所述会话状态跟踪任务计算结果信息；输出所述结果信息。2.根据权利要求1所述的基于深度学习的信息推送方法，其特征在于，所述转写所述实时语音数据为语音文本数据，提取所述语音文本数据文本特征，具体包括：提取所述实时语音数据特征，得到语音特征；将所述语音特征输入语音识别组件的深度神经网络模型转写得到第一语音文本向量；将所述第一语音文本向量输入双向长短记忆网络模型，获取包含基于所述语音文本数据上下文特征信息的语音文本上下文特征向量。3.根据权利要求2所述的基于深度学习的信息推送方法，其特征在于，所述提取所述实时语音数据特征，具体包括：提取所述实时语音数据特征，获取其梅尔频率倒谱系数特征。4.根据权利要求2所述的基于深度学习的信息推送方法，其特征在于，提取所述历史文本数据的文本特征，具体包括：将所述历史文本数据转化为历史文本词向量；将所述历史文本词向量输入双向长短记忆网络模型，获取包含基于所述历史文本数据上下文特征信息的历史文本上下文特征向量。5.根据权利要求4所述的基于深度学习的信息推送方法，其特征在于，还包括步骤：基于注意力机制模型，增强所述语音文本数据和所述历史文本数据的文本特征。6.根据权利要求5所述的基于深度学习的信息推送方法，其特征在于，所述基于注意力机制模型，增强所述语音文本数据和历史文本数据的文本特征，具体包括：分别将所述语音文本上下文特征向量和所述历史文本上下文特征向量输入自注意力机制和全连接层的融合模型；获取包含所述语音文本数据自身权重信息的语音文本注意力特征向量；获取包含所述历史文本数据自身权重信息的历史文本注意力特征向量。7.根据权利要求6所述的基于深度学习的信息推送方法，其特征在于，所述将所述实时语音数据文本特征和所述历史文本数据文本特征融合到融合特征向量，具体包括：将所述语音文本注意力特征向量和所述历史文本注意力特征向量进行融合得到所述融合特征向量。8.根据权利要求7所述的基于深度学习的信息推送方法，其特征在于，所述对所述融合特征进行实体抽取和意图识别生成会话状态跟踪任务，具体包括：将所述融合特征向量输入双向长短记忆网络和卷积神经网络的组合模型进行实体抽取和意图识别生成所述会话状态跟踪任务。9.根据权利要求7所述的基于深度学习的信息推送方法，其特征在于，所述基于所述会
话状态跟踪任务计算结果信息，具体包括：根据所述会话状态跟踪任务，并通过基于实体信息和意图识别所形成的系统自有和历史积累形成的决策库、以及执行动作命令的引擎库，计算得到用以反馈的所述结果信息。10.根据权利要求1所述的基于深度学习的信息...

【专利技术属性】
技术研发人员：曾谁飞，孔令磊，张景瑞，李敏，刘卫强，
申请(专利权)人：海尔智家股份有限公司，
类型：发明
国别省市：