用于多模态数据模型的推荐标签生成方法技术

本发明专利技术公开了一种用于多模态数据模型的推荐标签生成方法

【技术实现步骤摘要】
用于多模态数据模型的推荐标签生成方法、装置、设备及介质


[0001]本专利技术涉及信息
，尤其涉及一种用于多模态数据模型的推荐标签生成方法
、
装置
、
设备及介质
。

技术介绍

[0002]多模态模型是一种结合文本与其它模态数据
(
如图像
、
音频等
)
进行处理和理解的核心技术
。
通过从多个模态输入中获取信息，这些模型可以更全面且准确地回答用户的问题
。
然而，目前这些模型在处理专业词汇和表达方面仍存在困难
。
专业知识和领域特定术语通常具有复杂语义含义，因此许多用户可能在提问时无法准确使用这些术语，从而影响模型对问题的理解和答案的准确性
。
准确的词汇和表达对于问题的精准度非常重要，特别是在专业领域如医学领域等问题中，其中涉及的术语和描述往往更加复杂
。
[0003]如果用户无法准确使用专业词汇和表达，多模态模型很难准确理解用户的问题并给出准确的回答
。
因此，问题的精准度对于回答的准确性至关重要
。
提问的精准度包括对于专业词汇和表达的理解等方面，这也导致那些专业度较低的用户很难从中获得高质量的推荐内容
。
这可能导致用户的困惑，并降低他们对多模态模型的使用意愿
。
对于专业度较低的用户来说，他们可能更需要准确的建议和指导，以帮助他们更好地理解和解决问题
。/>因此，需要改进现有技术，提出更合理的技术方案来解决这些问题
。

技术实现思路

[0004]为了解决在现有技术中多模态模型对提问的精准度要求较高，导致那些专业度较低的用户很难从中获得高质量的推荐内容的问题
。
[0005]第一方面的，本专利技术实施例提出了一种用于多模态数据模型的推荐标签生成方法，方法包括：
[0006]从多个数据源获取多模态数据，并对多模态数据进行清洗，其中，多模态数据包括：文本数据
、
图像数据和音频数据；
[0007]对经清洗后的多模态数据进行特征提取，构建并训练多模态模型，以获取多模态数据之间的关联性和特征表示的表达能力；
[0008]将用户数据输入经训练后的多模态模型中，获取用户数据的特征表示，并根据特征表示生成与用户数据匹配问题相关的推荐标签
。
[0009]优选地，并根据特征表示生成与匹配问题相关的推荐标签的步骤之后，还包括：
[0010]获取用户的选定结果，并根据选定结果评价推荐标签的准确度；
[0011]根据准确度调整多模态模型的超参数
、
网络结构和损失函数，并根据新增的多模态数据，进行模型的增量训练
。
[0012]优选地，在获取用户的选定结果，并根据选定结果评价推荐标签的准确度的步骤之前，还包括：
[0013]根据用户的历史选定行为特征和当前模型的推荐结果，对推荐标签进行筛选和排
序
。
[0014]优选地，根据用户的历史选定行为特征和当前模型的推荐结果，对推荐标签进行筛选和排序的步骤，包括：
[0015]将用户的历史选定行为特征和当前推荐结果，按顺序输入长短时记忆网络
LSTM
序列模型，建立用户行为特征序列和推荐标签序列之间的关系；
[0016]通过学习用户行为特征和推荐结果之间的时序依赖关系，对标签进行筛选和排序
。
[0017]优选地，对多模态数据进行特征提取的步骤，包括：
[0018]将文本数据转换为向量表示；
[0019]利用卷积神经网络进行图像特征提取；
[0020]从音频数据中提取音频特征，其中音频特征包括：声谱图或梅尔频率倒谱系数
。
[0021]第二方面的，本专利技术实施例提出了一种用于多模态数据模型的推荐标签生成装置，包括：
[0022]数据获取模块，用于从多个数据源获取多模态数据，并对多模态数据进行清洗，其中，多模态数据包括：文本数据
、
图像数据和音频数据；
[0023]模型训练模块，用于对经清洗后的多模态数据进行特征提取，构建并训练多模态模型，以获取多模态数据之间的关联性和特征表示的表达能力；
[0024]标签推荐模块，用于将用户数据输入经训练后的多模态模型中，获取用户数据的特征表示，并根据特征表示生成与用户数据匹配问题相关的推荐标签
。
[0025]优选地，还包括准确度评价模块和增量训练模块，其中，
[0026]准确度评价模块，用于获取用户的选定结果，并根据选定结果评价推荐标签的准确度；
[0027]增量训练模块，用于根据准确度调整多模态模型的超参数
、
网络结构和损失函数，并根据新增的多模态数据，进行模型的增量训练
。
[0028]优选地，还包括标签优化模块，
[0029]标签优化模块，用于根据用户的历史选定行为特征和当前模型的推荐结果，对推荐标签进行筛选和排序
。
[0030]第三方面的，本专利技术实施例提出了一种计算机设备，包括有通信相连的存储器和处理器，其中，存储器用于存储计算机程序，处理器用于读取计算机程序，执行如上述实施例所提出的用于多模态数据模型的推荐标签生成方法
。
[0031]第四方面的，本专利技术实施例提出了一种计算机可读存储介质，计算机可读存储介质上存储有指令，当指令在计算机上运行时，执行如上述实施例所提出的用于多模态数据模型的推荐标签生成方法
。
[0032]有益效果：通过从多个数据源获取多模态数据，并对多模态数据进行清洗，其中，多模态数据包括：文本数据
、
图像数据和音频数据；对经清洗后的多模态数据进行特征提取，构建并训练多模态模型，以获取多模态数据之间的关联性和特征表示的表达能力；将用户数据输入经训练后的多模态模型中，获取用户数据的特征表示，并根据特征表示生成与用户数据匹配问题相关的推荐标签
。
通过引入一个标签推荐方法来改善多模态模型的用户体验和准确性，这个方法可以基于模型对问题和内容的理解，自动推荐相关的标签或关键
词
。
通过引导用户使用合适的标签，可以提高问题的精准度和模型的答案准确性
。
同时，这也能够帮助专业度较低的用户获得更高品质的推荐内容，提升他们的问题解决能力和满意度
。
以此解决了在现有技术中多模态模型对提问的精准度要求较高，导致那些专业度较低的用户很难从中获得高质量的推荐内容的问题
。
附图说明
[0033]通过阅读下文优选实施方式的详细描述，各种其它的优点和益处对于本领域普通技术人员将变得清楚明了
。
附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制
。
而且在整个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于多模态数据模型的推荐标签生成方法，其特征在于，方法包括：从多个数据源获取多模态数据，并对多模态数据进行清洗，其中，所述多模态数据包括：文本数据
、
图像数据和音频数据；对经清洗后的多模态数据进行特征提取，构建并训练多模态模型，以获取所述多模态数据之间的关联性和特征表示的表达能力；将用户数据输入经训练后的多模态模型中，获取用户数据的特征表示，并根据所述特征表示生成与所述用户数据匹配问题相关的推荐标签
。2.
根据权利要求1所述的用于多模态数据模型的推荐标签生成方法，其特征在于，根据所述特征表示生成与匹配问题相关的推荐标签的步骤之后，还包括：获取用户的选定结果，并根据所述选定结果评价推荐标签的准确度；根据所述准确度调整多模态模型的超参数
、
网络结构和损失函数，并根据新增的多模态数据，进行模型的增量训练
。3.
根据权利要求2所述的用于多模态数据模型的推荐标签生成方法，其特征在于，在获取用户的选定结果，并根据所述选定结果评价推荐标签的准确度的步骤之前，还包括：根据用户的历史选定行为特征和当前模型的推荐结果，对推荐标签进行筛选和排序
。4.
根据权利要求3所述的用于多模态数据模型的推荐标签生成方法，其特征在于，根据用户的历史选定行为特征和当前模型的推荐结果，对推荐标签进行筛选和排序的步骤，包括：将用户的历史选定行为特征和当前推荐结果，按顺序输入长短时记忆网络
LSTM
序列模型，建立用户行为特征序列和推荐标签序列之间的关系；通过学习用户行为特征和推荐结果之间的时序依赖关系，对标签进行筛选和排序
。5.
根据权利要求1所述的用于多模态数据模型的推荐标签生成方法，其特征在于，对所述多模态数据进行特征提取的步骤，包括：将文本数据转换为向量表示；利用卷积神经网络进行图...

【专利技术属性】
技术研发人员：张航，
申请(专利权)人：北京约来健康科技有限公司，
类型：发明
国别省市：