基于多模态特征的直播间打标方法及系统技术方案

技术编号:41456015 阅读:29 留言:0更新日期:2024-05-28 20:43
本申请实施例公开了一种基于多模态特征的直播间打标方法及系统。本申请实施例提供的技术方案,通过获取目标直播间的第一封面图像和第一标题文本,将第一封面图像和第一标题文本输入预先构建的标签识别模型;基于标签识别模型提取第一封面图像的第一视觉特征以及第一标题文本的第一文本特征,将第一视觉特征和第一文本特征融合得到第一多模态特征;基于第一多模态特征计算目标直播间对应各个标签信息的打标分数,根据打标分数确定目标直播间的目标标签,输出目标标签。采用上述技术手段,可以提升直播间打标精准度,减少因无意义标题导致打标误差的情况,提升直播间打标效率。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种基于多模态特征的直播间打标方法及系统


技术介绍

1、目前,在直播场景中,直播间标题能表明该直播间的主题,通过对直播间的主题进行识别分类,添加相应的标签,同时对用户添加相应的标签,则可以根据这些标签数据给用户推荐相应的直播间。一般而言,在进行直播间打标时,由于人工打标的覆盖率比较低,且成本相对较高,因此通常会通过识别直播间的标题,进而根据识别到的标题进行直播间自动打标,降低人工标注成本。

2、但是,简单通过识别直播间标题进行直播间打标存在一定的识别误差,对于无意义的直播间标题,容易出现打标错误甚至无法识别的情况,以此难精准进行用户直播间推荐,影响用户留存和消费业务。


技术实现思路

1、本申请实施例提供一种基于多模态特征的直播间打标方法及系统,能够结合直播间的多模态特征进行直播间打标,提升直播间打标精准度,解决直播间标签识别误差的技术问题。

2、在第一方面,本申请实施例提供了一种基于多模态特征的直播间打标方法,包括:

3、获取目标直播间的第本文档来自技高网...

【技术保护点】

1.一种基于多模态特征的直播间打标方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态特征的直播间打标方法,其特征在于,所述标签识别模型的训练流程包括:

3.根据权利要求2所述的基于多模态特征的直播间打标方法,其特征在于,所述视觉特征提取器的训练流程包括:

4.根据权利要求2所述的基于多模态特征的直播间打标方法,其特征在于,所述基于文本特征提取器提取所述第二标题文本的第二文本特征,还包括:

5.根据权利要求2所述的基于多模态特征的直播间打标方法,其特征在于,所述对所述第二视觉特征和所述第二文本特征进行特征池化,得到第二多模态特征,包...

【技术特征摘要】

1.一种基于多模态特征的直播间打标方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态特征的直播间打标方法,其特征在于,所述标签识别模型的训练流程包括:

3.根据权利要求2所述的基于多模态特征的直播间打标方法,其特征在于,所述视觉特征提取器的训练流程包括:

4.根据权利要求2所述的基于多模态特征的直播间打标方法,其特征在于,所述基于文本特征提取器提取所述第二标题文本的第二文本特征,还包括:

5.根据权利要求2所述的基于多模态特征的直播间打标方法,其特征在于,所述对所述第二视觉特征和所述第二文本特征进行特征池化,得到第二多模态特征,包括:

6.根据权利要求2所述的基于多模态特征的直播间打标方法,其特征在于,所述基于视觉特征提取器提取所述第二封面图像的第二视觉特征,包括:

7.根据权利要求2所述的基于多模态特征的直播间打标方法,...

【专利技术属性】
技术研发人员:陈荣聪李益永罗雄文陈德健项伟
申请(专利权)人:百果园技术新加坡有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1