基于多模态的导播方法和系统以及计算机程序产品技术方案

提供一种基于多模态的导播方法和系统以及计算机程序产品，涉及人工智能导播领域，用以解决自动生成导播脚本命令。该导播方法包括：从基于导播场景中的同一事件或过程产生的多模态数据分别识别对应该导播场景预设的导播关键词表中的关键词；将识别出的关键词输入基于机器学习的作为导播脚本识别模型的序列模型，利用该序列模型从输入的关键词组成的文本序列预测用于导播的脚本命令的文本序列输出以生成导播脚本命令。通过该导播方法，不但可以自动生成脚本命令从而完成自动导播，还能实现脚本命令生成的高正确率。实现脚本命令生成的高正确率。实现脚本命令生成的高正确率。

【技术实现步骤摘要】
基于多模态的导播方法和系统以及计算机程序产品
[0001]本申请为申请号202211023488.0、申请日2022年08月25日、专利技术名称“基于多模态的导播方法和系统以及计算机程序产品”的分案申请。


[0002]本专利技术涉及人工智能导播领域，特别涉及基于多模态的导播方法和系统以及计算机程序产品。

技术介绍

[0003]以往的直播活动中，常布设多个摄像头拍摄视频，由导播人员对多路实时采集的视频信号以及提前准备好的素材、字幕、特效模板进行现场信号制作，按照一定的导播规则以及导播对现场状态的理解进行剪辑播出。这时，往往需要导播、编辑、摄像师等众多人员协作才能完成，并且不可避免人工操作疏忽导致的错误。
[0004]目前存在一些自动化导播方式，但基本停留于在获得脚本后按照已有的脚本命令，或者按照预设的规则，例如专利文献1，自动合成视频和/或控制机位的方案，虽然代替了部分人工工作，对脚本的生成仍依赖于人力。
[0005]专利文献2提成一种导播切换方法，通过搭建神经网络学习音视频的匹配度，从而实现基于训练好的识别模型，自动切换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的导播方法，其特征在于，该导播方法包括：从基于导播场景中的同一事件或过程产生的多模态数据分别识别对应该导播场景预设的导播关键词表中的关键词；将识别出的关键词输入基于机器学习的作为导播脚本识别模型的序列模型，利用该序列模型从输入的关键词组成的文本序列预测用于导播的脚本命令的文本序列输出以生成导播脚本命令。2.如权利要求1所述的导播方法，其中，所述基于机器学习的序列模型通过针对该导播场景预先构建的训练样本集训练得到，所述训练样本集中每个样本包含从基于该导播场景中的同一事件或过程产生的多模态数据分别识别的所述导播关键词表中的关键词和对应该同一事件或过程的真实导播脚本命令。3.如权利要求2所述的导播方法，其中，输入序列模型的关键词和训练样本中的关键词都以按照一定规则排序的结构化数据提供。4.如权利要求2所述的导播方法，其中，所述基于机器学习的序列模型是transformer模型。5.如权利要求4所述的导播方法，其中，输入序列模型的关键词和训练样本中的关键词按照多模态的固定顺序进行排序，并且所述transformer模型的多头注意力层采用12头结构，transform encoder层和transform decoder层分别采用8层结构。6.如权利要求2所述的导播方法，其中，所述将识别出的关键词输入基于机器学习的序列模型以生成导播脚本命令包括：所述基于机器学习的序列模型采用trans...

【专利技术属性】
技术研发人员：余刚，刘建宏，贾艳军，
申请(专利权)人：北京凯利时科技有限公司，
类型：发明
国别省市：