【技术实现步骤摘要】
本专利技术涉及智能导播领域，具体涉及一种智能导播系统及方法。
技术介绍
1、智能导播是一种利用人工智能技术来自动化和改进直播节目制作过程的技术。传统的导播需要人工操作来切换摄像机角度、添加图像效果和过渡动画等，当摄影机数量较多时，导播需要处理大量连续变化的信息，使得导播工作面临强度高、实时性强的挑战。近年来人工智能技术获得快速发展，智能导播系统孕育而生，通过使用图像识别、人脸识别和语音识别等技术，实现自动多镜头切换、特定人物特写或跟踪、特效添加等功能，减少了人工操作的时间和错误，提高了直播制作的效率和质量。然而随着融媒体时代的到来，单一的导播视频难以满足不同观众的需求，观众没有参与度和交互度，导致导播视频存在受众率不高、交互感不强。因此如何制作自动的、专业的、个性化、交互式的导播视频，尚缺乏有效的解决方案。
技术实现思路
1、有鉴于此，本专利技术提出一种智能导播方法及系统，通过直接控制镜头，实现在合适时间输出最合适的镜头画面的功能，以达到自动、实时的制作直播节目导播视频的目的。同时在自动导播过程中，观众可充当自己的导演，通过实时反馈信息，实现观看定制化、个性化导播视频的目的，极大提高了观众在直播节目制作过程中的参与度和交互度，为观众带来全新个性化和交互式的观看体验。
2、具体技术方案如下：
3、一种智能导播方法，包括以下内容，
4、对主机位拍摄的原始视频流进行实时事件检测，包括检测当前时刻直播活动过程中发生的事件类型和起止时间，事件类型是根据直播
5、根据当前检测的事件类型和观众信息反馈的偏好设置，得到当前时刻的最佳镜头类别，镜头类别包括景别、对象、角度；
6、在当前时刻所有机位的镜头类别中，寻找与当前时刻最佳镜头类别相匹配的镜头类别；
7、将相匹配的镜头类别的镜头画面添加到剪辑视频流中，完成一次剪辑，循环往复完成导播；
8、所述当前时刻所有机位镜头类别的产生过程为：对所有机位拍摄的原始视频画面进行实时镜头类别检测，去除无效和背面镜头后，得到当前时刻所有机位的镜头类别。
9、进一步的，所述的实时事件检测过程包括先采用tsn网络对单一镜头的视频片段进行特征提取，然后基于bsn模型生成时序事件的提议，最后采用tsn网络进行提议事件分类，得到事件类型及对应起止时间。
10、进一步的，所述的最佳镜头类别由导播剪辑方案模型输出得到，导播剪辑方案模型用于将导播剪辑方案建模为<事件类型，镜头类别>的对应关系，即决策单个事件类型对应的概率最大化的镜头类别，导播剪辑方案模型由隐马尔科夫模型训练得到，具体的，将镜头类别作为隐藏状态，事件类型作为观测值，通过最大似然估计ml算法对隐马尔科夫模型参数进行学习，从而构建导播剪辑方案模型。
11、进一步的，所述的镜头类别通过yolo模型检测得到。
12、进一步的，如果当前时刻没有找到与当前时刻最佳镜头类别sbest相匹配的镜头类别，则选择相近的镜头sj，然后，对编号为j的摄像机进行镜头参数调节，使其达到与sbest相匹配的镜头类型。
13、进一步的，相近镜头匹配方法包括：分别计算当前时刻所有摄像机拍摄的镜头类型与该时刻最佳镜头类别sbest在景别、对象、角度上的距离，距离最近的摄像机分别作为景别、对象、角度维度上最匹配的摄像机，然后分别计算景别、对象、角度维度上最匹配的摄像机拍摄的镜头类型与最佳镜头类型的匹配程度，匹配程度为摄像机拍摄的镜头类型与最佳镜头类型在景别、对象、角度上的距离的加权和，加权和最小的摄像机为匹配到的相近镜头。
14、进一步的，若当前时刻t的事件类型发生改变，则进行与eend时刻最佳镜头类型sbest′匹配的摄像机编号。
15、一种智能导播系统，包括数据采集模块、时序事件检测模块、观众信息反馈模块、可计算导播规则模块、镜头类别检测模块、镜头类别初步筛选模块、镜头类别匹配模块，以及镜头控制模块；
16、所述的数据采集模块用于采集所有机位的视频数据，包括主机位视频数据、固定机位视频数据以及移动机位的视频数据；
17、所述的时序事件检测模块，用于对主机位拍摄的原始视频流进行实时事件检测，包括检测当前时刻直播活动过程中发生的事件类型和起止时间，事件类型是根据直播活动的特点，人为预设的；时序事件检测模型具体为：先采用tsn网络对单一镜头的视频片段进行特征提取，然后基于bsn模型生成时序事件的提议，最后采用tsn网络进行提议事件分类，得到事件类型及对应起止时间；
18、所述的观众信息反馈模块，用于接收观众实时反馈的剪辑需求，该模块提供两种个性化设置选项：限制镜头持续时间和限制镜头出现次数；
19、所述的可计算导播规则模块，用于根据时序事件检测模块得到的当前时刻的事件类型，以及观众信息反馈模块设置的偏好，得到当前时刻的最佳镜头类别，镜头类别包括景别、拍摄对象、拍摄角度；可计算导播规则模块用于将导播剪辑方案建模为<事件类型，镜头类别>的对应关系，即决策单个事件类型对应的概率最大化的镜头类别，可计算导播规则模块由隐马尔科夫模型训练得到，具体的，将镜头类别作为隐藏状态，事件类型作为观测值，通过最大似然估计ml算法对隐马尔科夫模型参数进行学习，从而构建可计算导播规则模块；
20、所述的镜头类别检测模型，用于对数据采集模块输出的所有视频数据检测镜头类别，具体采用yolo模型；
21、所述的镜头类别初步筛选模块用于从镜头类别检测模型检测出的镜头类别中剔除无效和背面镜头；
22、所述的镜头类别匹配模块，用于从镜头类别初步筛选模块输出的当前时刻所有机位的镜头类别中，寻找与可计算导播规则模块输出的当前时刻最佳镜头类别相匹配的镜头类别，如果当前时刻没有找到与最佳镜头类别sbest相匹配的镜头类别，则寻找相近镜头；其中，相近镜头的寻找过程为：分别计算当前时刻所有摄像机拍摄的镜头类型与该时刻最佳镜头类别sbest在景别、对象、角度上的距离，距离最近的摄像机分别作为景别、对象、角度维度上最匹配的摄像机，然后分别计算景别、对象、角度维度上最匹配的摄像机拍摄的镜头类型与最佳镜头类型的匹配程度，匹配程度为摄像机拍摄的镜头类型与最佳镜头类型在景别、对象、角度上的距离的加权和，加权和最小的摄像机为匹配到的相近镜头；
23、所述的镜头控制模块用于将镜头类别匹配模块输出的相近镜头sj对应的摄像机进行镜头参数调节，使其达到与sbest相匹配的镜头类型。
24、有益效果
25、1、本专利技术提出的智能导播系统及方法将人工智能技术应用到直播活动制作中，减轻了导播重复性、高强度工作，解决了传统视频剪辑方法需要大量人力与时间成本的问题，为直播活动视频制作过程的发展提供良好前景；
26、2、本专利技术提出的智能导播系统及方法支持观众信息反馈，为观众带来全新个性化和交互式的观看体验，使得转播视频不再单一，观众本文档来自技高网...
【技术保护点】
1.一种智能导播方法，其特征在于包括以下内容，
2.根据权利要求1所述的一种智能导播方法，其特征在于：
3.根据权利要求1或2所述的一种智能导播方法，其特征在于：
4.根据权利要求1或2或3所述的一种智能导播方法，其特征在于：
5.根据权利要求1或2或3或4所述的一种智能导播方法，其特征在于：
6.根据权利要求5所述的一种智能导播方法，其特征在于：
7.根据权利要求6所述的一种智能导播方法，其特征在于：
8.一种智能导播系统，其特征在于：
【技术特征摘要】
1.一种智能导播方法，其特征在于包括以下内容，
2.根据权利要求1所述的一种智能导播方法，其特征在于：
3.根据权利要求1或2所述的一种智能导播方法，其特征在于：
4.根据权利要求1或2或3所述的一种智能导播方法，其特征在于：<...
【专利技术属性】
技术研发人员：杨丹青，李珊如，单兴华，
申请(专利权)人：河北汉光重工有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。