基于动态语义特征的新闻视频自适应拆条方法技术

本发明专利技术提出了一种基于动态语义特征的新闻视频自适应拆条方法，选取演播室场景与主持人同在为拆分特征，以此寻找新闻内容条目的拆分时间点；具体包括如下步骤：步骤一，视频抽帧预处理；步骤二，训练NewlicNet模型；步骤三，确定关键帧图片时间点；步骤四，新闻视频拆分。本发明专利技术基于动态语义特征的新闻视频自适应拆条方法，基于频道标识符、演播室场景信息和主持人同在特征对新闻视频进行拆分。

Adaptive news video striping based on dynamic semantic features

【技术实现步骤摘要】
基于动态语义特征的新闻视频自适应拆条方法
本专利技术涉及人工智能
，尤其是涉及一种基于动态语义特征的新闻视频自适应拆条方法。
技术介绍
随着人们生活节奏的加快和网络信息技术的迅猛发展，对于视频内容的精准观阅成为一个亟待解决问题。作为每日重大事件播报以及价值观传播的新闻视频是一种重要的媒体力量，其推动规范社会秩序、社会公德、民主化进程。如何将较长的新闻视频按其内容拆分成多个条目，如何对新闻视频单个内容条目的精准用户再传播，成为一个有意义的课题。目前，我国新媒体行业对于短视频拆分，主要依赖于人工剪辑，存在劳动强度大、拆分内容是否精准、拆分时间是否有存在重叠性、拆分后视频是否可播放等突出问题，对视频内容精准用户传播造成巨大障碍。在新媒体高速发展的时代，对新闻视频资源深度挖掘开发利用，提高新闻内容传播的时效性以及满足用户对于新闻内容针对性的需求，提出采用基于深度学习的新闻视频拆条技术替代人工剪辑。Danna的《AMulti-SltageApproachforNewsVideoSegmentationBasedonAutomatic本文档来自技高网...

【技术保护点】
1.基于动态语义特征的新闻视频自适应拆条方法，其特征在于，选取演播室场景与主持人同在为拆分特征，以此寻找新闻内容条目的拆分时间点；具体包括如下步骤：/n步骤一，视频抽帧预处理；/n步骤二，训练NewlicNet模型；/n步骤三，确定关键帧图片时间点；/n步骤四，新闻视频拆分。/n

【技术特征摘要】
1.基于动态语义特征的新闻视频自适应拆条方法，其特征在于，选取演播室场景与主持人同在为拆分特征，以此寻找新闻内容条目的拆分时间点；具体包括如下步骤：
步骤一，视频抽帧预处理；
步骤二，训练NewlicNet模型；
步骤三，确定关键帧图片时间点；
步骤四，新闻视频拆分。


2.如权利要求1所述的基于动态语义特征的新闻视频自适应拆条方法，其特征在于，步骤一中，视频抽帧预处理具体包括：将新闻视频流转换为新闻视频图像集，为记录每张图片所处原新闻视频时间点，以每秒为单位抽取一帧图像。新闻视频每秒为25帧图像，即每25帧图像抽取第一帧图像；为降低计算量与计算复杂性，凸显真实有用的图像特征，将RGB图像转化为二值图像。


3.如权利要求1所述的基于动态语义特征的新闻视频自适应拆条方法，其特征在于，步骤二中，训练NewlicNet模型包括：
根据特征1新闻开始背景(S)、特征2演播室场景与两位主持人同在(D)、特征3演播室场景与一位女主持人同在(W)、特征4演播室场景与一位男主持人同在(M)、特征5场外详细新闻内容(N)共五类特征，搭建深度神经网络NewlicNet模型，实现对图片集分类,分为S、D、W、M、N共五类。


4.如权利要求3所述的基于动态语义特征的新闻视频自适应拆条方法，其特征在于，步骤三中，确定关键帧图片时间点；关键帧图片所处类别为：D、W、M三类，寻找该类别每个连续时间段图像，并记录起始点图片时间点，即关键帧图片时间点。


5.如权利要求3所述的基于动态语义特征的新闻视频自适应拆条方法，其特征在于，步骤四中，所述新闻视频拆分的算法：根据关键帧图片时间点，调用ffmpeg包，对原新闻视频实现基于语义分割。


6.如权利要求5所述的基于动态语义特征的新闻视频自适应拆条方法，其特征在于，所述新闻视频拆分的算法具体包括：
(1)将视频以每秒为单位抽帧为图片集；
输入：新闻视频，若以x月x日30分钟离线新闻视频为例；
输出：新闻视频图片集(则输出1800张图片)
(2)将图片集做灰度、二值处理
(3)搭建NewlicNet深度神经网络模型；
输入：新闻视频图片集
输出：分类图片集(共5类，特征分别为新闻开始背景(S)、演播室场景与两位主持人同在(D)、演播室场景与一位女主持人同在(W)、演播室场景与一位男主持人同在(M)、场外详细新闻内容(N))；
(4)寻找D、W、M三类每个连续时间段图像，确定起始图片，寻找其时间点；
输入：特征为D、W、M的图片集；
输出：该图片集中连续时间段图像中的起始图片，即关键帧图片在原新闻视频中的精确时间点；
(5)调用ffmpeg包，对原新闻视频剪辑；
输入：关键帧图片在原新闻视频中的精确时间点；
输出：按照时间点对原新闻视频进行自动拆分。


7.如权利要求3所述的基于动态语义特征的新闻视频自适应拆条方法，其特征在于，步骤二中，所述NewlicNet模型运行步骤如下：
(1)该模型运行完成一次，即完成一次训练，实现对于权值更新，为下一次训练奠定基础；
(2)数据集内图片经裁剪处理后，输入数据集图像尺寸为224x224，经卷积层1提取第一层特征；卷积层1其卷积核尺寸、卷积核个数、填充行(列)数如表1所示；卷积后特征图长、宽尺寸计算公式为(2)、(3)，故第一层卷积后特征图1尺寸为53x53；
(3)特征图1作为浅层特征经均值池化1、卷积核1处理后与后续5层特征图深层、浅层特征融合；后续特征图1至特征图5的均值池化、卷积处理过程如上，为方便后续融合，处理后特征图尺寸都为5x5；特征图1经池化层1、卷积层2卷积后，由公式(2)、(3)得，所得特征图2尺寸为23x23；特征图2经池化层2、卷积层3卷积后，由公式(2)、(3)得，所得特征图3尺寸为18x18；特征图3经卷积层4卷积后，所得特征图4尺寸为16x16；特征图4经卷积层5卷...

【专利技术属性】
技术研发人员：付倩慧，李庆奎，傅景楠，王羽，杨雪静，弓镇宇，勾青超，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京;11