基于语义分析的教育类视频彩色字幕生成方法及系统技术方案

本发明专利技术公开了基于语义分析的教育类视频彩色字幕生成方法及系统，包括：获取待处理的教育类视频；对待处理的教育类视频进行采样，提取出若干个有文本帧；对待处理的教育类视频进行采样，提取出若干个无文本帧；对所有的有文本帧进行关键帧提取，得到有文本帧的关键帧集合；对所有的无文本帧进行关键帧提取，得到无文本帧的关键帧集合；对有文本帧的关键帧集合和无文本帧的关键帧集合进行汇总，得到待处理教育类视频的所有关键帧；对所有关键帧中的每一帧提取出内容文本和语音文本；根据内容文本和语音文本的相似度，给出对应关键帧的彩色字幕。通过获取关键帧来降低存储负担，还可有效提高视频检索速度，对获取所讲述视频的主要内容也很有帮助。内容也很有帮助。内容也很有帮助。

【技术实现步骤摘要】
基于语义分析的教育类视频彩色字幕生成方法及系统


[0001]本专利技术涉及视频摘要和关键帧提取
，特别是涉及基于语义分析的教育类视频彩色字幕生成方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]彩色字幕是在关键帧的基础上所实现的，视频关键帧提取主要体现视频中各个镜头的显著特征，通过视频关键帧提取能够有效减少视频检索所需要花费的时间，并能够增强视频检索的精确度。近年来短视频迅速崛起，预计未来几年视频数量还将持续高速攀升，其中不可忽视的一部分就是教育类视频。相对于传统的图文数据，视频数据内容更丰富，结构也更为复杂。海量视频数据给学生学习带来便利，但如何快速准确地发现感兴趣的视频成为了一个亟待解决的问题。同时，视频数据一般包括视频序列、场景、镜头、图像帧等，所需存储空间巨大。因此，对视频数据进行摘要处理，仅保留那些信息含有量大、代表性强的视频帧，可在一定程度上解决视频存储和传输中存在的低效问题。
[0004]一般来说，关键帧提取研究方法主要包括以下几种：基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于语义分析的教育类视频彩色字幕生成方法，其特征是，包括：获取待处理的教育类视频；对待处理的教育类视频进行采样，提取出若干个有文本帧；对待处理的教育类视频进行采样，提取出若干个无文本帧；对所有的有文本帧进行关键帧提取，得到有文本帧的关键帧集合；对所有的无文本帧进行关键帧提取，得到无文本帧的关键帧集合；对有文本帧的关键帧集合和无文本帧的关键帧集合进行汇总，得到待处理教育类视频的所有关键帧；对所有关键帧中的每一帧提取出内容文本和语音文本；根据内容文本和语音文本的相似度，给出对应关键帧的彩色字幕。2.如权利要求1所述的基于语义分析的教育类视频彩色字幕生成方法，其特征是，对待处理的教育类视频进行采样，提取出若干个有文本帧；具体包括：对待处理的教育类视频按照设定频率进行采样，提取出若干个有文本帧；对待处理的教育类视频进行采样，提取出若干个无文本帧；具体包括：对待处理的教育类视频按照设定频率进行采样，提取出若干个无文本帧。3.如权利要求1所述的基于语义分析的教育类视频彩色字幕生成方法，其特征是，对所有的有文本帧进行关键帧提取，得到有文本帧的关键帧集合；具体包括：采用文本识别方式，对所有的有文本帧进行文本识别；基于TF
‑
IDF权重计算方式，将每一帧识别出来的文本进行向量表示；将首帧视为关键帧；对于非首帧，通过余弦相似度，衡量当前帧与前一帧之间的向量相似度，如果相邻两帧向量相似度小于设定阈值，则将当前帧不作为关键帧；如果相邻两帧向量相似度大于等于设定阈值，则将当前帧作为关键帧。4.如权利要求1所述的基于语义分析的教育类视频彩色字幕生成方法，其特征是，对所有的无文本帧进行关键帧提取，得到无文本帧的关键帧集合；具体包括：将每一个无文本帧缩小到设定尺寸；将缩小后的图像灰度化处理；采用离散余弦变换，对灰度化处理后的图像进行分解，得到离散余弦变换矩阵；计算出离散余弦变换矩阵的均值；将离散余弦变换矩阵的每一个元素的像素值与离散余弦变换矩阵均值进行比较，将大于均值的元素设置为1，将小于均值的元素设置为0；得到变换后的离散余弦变换矩阵；基于变换后的离散余弦变换矩阵，生成哈希值，将哈希值作为当前帧的指纹；将首个无文本帧视为关键帧；对于非首个无文本帧，通过汉明距离，衡量当前帧与前一帧之间的相似度，如果汉明距离小于设定阈值，则将当前无...

【专利技术属性】
技术研发人员：邵增珍，董树霞，孙中志，肖建新，韩帅，李壮壮，徐卫志，
申请(专利权)人：山东女子学院，
类型：发明
国别省市：