基于多模态的用户意图车型识别方法及装置、存储介质制造方法及图纸

本发明专利技术涉及多模态识别技术领域，具体提供一种基于多模态的用户意图车型识别方法及装置、存储介质，旨在解决当前无法根据汽车移动应用中留存的用户的文本、音频和视频等信息获取用户的意图车型的问题。为此目的，本发明专利技术的基于多模态的用户意图车型识别方法包括：获取待识别意图车型的用户的多模态数据；对多模态数据进行预处理，得到多模态数据分别用向量表示的数据；将所述多模态数据分别用向量表示的数据输入到预先训练好的CNN

【技术实现步骤摘要】
基于多模态的用户意图车型识别方法及装置、存储介质


[0001]本专利技术涉及多模态识别
，具体提供一种基于多模态的用户意图车型识别方法及装置、存储介质及控制装置。

技术介绍

[0002]随着移动时代的推进，智能终端上安装的汽车移动应用中存在大量的活跃用户，这些活跃用户在汽车移动应用中留存了大量的文本、音频和视频等信息，然而，现有技术中并没有关于根据从汽车移动应用中获取的文本、音频与视频等信息来对用户的意图车型进行研究的内容。
[0003]相应地，本领域需要一种新的基于多模态的用户意图车型识别方案来解决上述问题。

技术实现思路

[0004]为了解决现有技术中的上述问题，即为了解决当前无法根据汽车移动应用中留存的用户的文本、音频和视频等信息获取用户的意图车型的问题，本专利技术提供了一种基于多模态的用户意图车型识别方法及装置、存储介质及控制装置。
[0005]在第一方面，本专利技术提供一种基于多模态的用户意图车型识别方法，该方法包括：
[0006]获取待识别意图车型的用户的多模态数据；
[0007本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的用户意图车型识别方法，其特征在于，包括：获取待识别意图车型的用户的多模态数据；对多模态数据进行预处理，得到用向量表示的多模态数据；将所述用向量表示的多模态数据输入到预先训练好的CNN
‑
BiLSTM神经网络，所述CNN
‑
BiLSTM神经网络输出用户意图车型的意向概率。2.根据权利要求1所述的基于多模态的用户意图车型识别方法，其特征在于，所述获取待识别意图车型的用户的多模态数据，包括：获取待识别意图车型的用户的基本属性数据，所述基本属性数据包括用户年龄、性别以及家庭结构；获取待识别意图车型的用户的试驾数据，所述试驾数据包括具体试驾时间、试驾车型以及试驾次数；获取待识别意图车型的用户在汽车移动应用下的文本行为数据、音频行为数据以及视频行为数据。3.根据权利要求1所述的基于多模态的用户意图车型识别方法，其特征在于，还包括：获取训练样本集，其中，所述训练样本集包括带有用户意图车型的标签以及标签对应的用户的多模态数据；利用所述训练样本集对CNN
‑
BiLSTM神经网络进行训练，从而得到训练好的CNN
‑
BiLSTM神经网络。4.根据权利要求2所述的基于多模态的用户意图车型识别方法，其特征在于，所述将所述用向量表示的多模态数据输入到预先训练好的CNN
‑
BiLSTM神经网络，所述CNN
‑
BiLSTM神经网络输出用户意图车型的意向概率，包括：根据所述用向量表示的多模态数据提取音频模态下意图车型的特征、文本模态下意图车型的特征和视频模态下意图车型的特征；将所述特征提取网络提取的音频模态下意图车型的特征、文本模态下意图车型的特征和视频模态下意图车型的特征进行特征融合，得到用户意图车型的整体特征；将所述特征融合网络输出的用户意图车型的整体特征进行分类，得到用户意图车型的意向概率。5.根据权利要求4所述的基于多模态的用户意图车型识别方法，其特征在于，所述根据所述用向量表示的多模态数据提取音频模态下意图车型的特征、文本模态下意图车型的特征和视频模态下意图车型的特征，包括：将用向量表示的基本属性数据和试驾数据输入到训练好的CNN神经网络，所述CNN神经网络输出用户的意图车型；将CNN神经网络输出的用户的意图车型、用向量表示的文本行为数据、音频行为数据以及视频行为数据输入到训练好的BiLSTM神经网络，所述BiLSTM神经网络输出音频模态下意图车型的特征、文本模态下意图车型的特征和视频模态下意图车型的特征。6.根据权利要求5所述的基于多模态的用户意图车型识别方法，其...

【专利技术属性】
技术研发人员：米佳，
申请(专利权)人：蔚来软件科技上海有限公司，
类型：发明
国别省市：