一种知识点在课程视频片段中定位的方法技术

本发明专利技术涉及知识点定位技术领域，尤其涉及一种知识点在课程视频片段中定位的方法。包括视频抽帧，在给定课程视频的情况下，对视频抽帧，并通过计算连续视频像素余弦相似度，对像素接近的图片进行合并；对合并之后的关键帧OCR结果；关键帧的主题提取，采用分词+词性的方式获取分词结构，再通过摘要中去选取连续关键词合并，并清洗掉停用词和中文前后缀。本发明专利技术结合像素点的相似度和文本相处理两者的优点，极大的降低了OCR的识别次数的同时，利用合并、识别、合并、清洗、重构的处理思想，巧妙地避开了知识点直接定位视频片段的难度，利用关键帧的主题和知识点的文本相似度很好地解决了在线教育场景中的知识点视频定位的难题。在线教育场景中的知识点视频定位的难题。在线教育场景中的知识点视频定位的难题。

【技术实现步骤摘要】
一种知识点在课程视频片段中定位的方法


[0001]本专利技术涉及知识点定位
，尤其涉及一种知识点在课程视频片段中定位的方法。

技术介绍

[0002]目前针对在线课程学习中的知识点定位视频片段技术，主要依赖视频摘要的提取技术，大多是利用视频每一帧图片之间的像素差异或者镜头分割来合并视频，现有的普遍流程大致如下：针对视频数据抽帧>>对视频聚类(图片相似度或者聚类)>>提取视频摘要>>知识点与摘要的相似度对比定位视频片段；
[0003]如申请号为：CN201710035223.5的一种提取视频摘要的方法，其包括计算待提取视频段中所有帧图像的HSV直方图；计算出相邻两帧图像的相似性；通过自适应局部双阈值法检测镜头的转换，在存在镜头转换的地方对视频进行切割，最后形成一个镜头集合；采用基于自适应阈值的聚类方法将相似的镜头规整到一个聚类集合中；取一个镜头聚类，进行的关键帧提取；重复S6操作，直到所有的镜头聚类都已完成关键帧提取为止；对获取的关键帧按照时间顺序进行组合，形成最后的视频摘要。
[0004]但是，过分的依赖视频本身的像素点的合并可能会忽略视频本身带有的文本信息；同时摘要提取的时候利用合并下来的视频片段的所有文本信息作为摘要，忽略了在实际应用场景中是只需要视频标题，而不需要太多的冗余信息。

技术实现思路

[0005]本专利技术是一种应用于学生学习的在线教学平台中，针对视频课程的关键摘要提取的一种方法。先对视频抽帧，对类似帧图片进行合并之后再进行OCR识别，大大降低了OCR识别次数；之后采用自然语言处理技术合并、拆分、合并、去重的方式抽取视频的关键帧主题，保证了准确度的同时，在实际课程学习中快速定位到所学知识点的视频片段。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]本专利技术提供一种知识点在课程视频片段中定位的方法，其特征在于，包括以下步骤：
[0008]S100.视频抽帧，在给定课程视频的情况下，对视频抽帧，并通过计算连续视频像素余弦相似度，对像素接近的图片进行合并；
[0009]S200.对合并之后的关键帧OCR结果；
[0010]S300.关键帧的主题提取，采用分词+词性的方式获取分词结构，再通过摘要中去选取连续关键词合并，并清洗掉停用词和中文前后缀，由此得到关键帧的主题；
[0011]S400.主题清洗及重构，对关键帧的主题进行去重，利用中文前后缀语法和TF
‑
IDF得分进行清洗重构，达到语句连贯的效果；
[0012]S500.知识点主题相似度定位：利用知识点本身和关键帧主题进行文本比对，按照相似度得分排序，选取相似度最高的视频片段作为知识点教学视频的最终定位。
[0013]进一步地，所述视频抽帧采用每秒一帧图片的方式进行抽帧。
[0014]进一步地，所述通过计算连续视频像素余弦相似度，对像素接近的图片进行合并，包括：
[0015]S110.将每帧图片转成像素矩阵，对矩阵平铺构成向量；
[0016]S120.计算连续视频像素的余弦相似度，阈值设定0.9进行合并。
[0017]进一步地，所述对合并之后的关键帧OCR结果，包括：
[0018]S210.通过裁切的方式将图片按照位置区分成9个空间，；
[0019]S220.划分9个空间中五个区域的文本信息梯次递补主题备选，按照OCR定位位置最大的比例在哪个区间决定；
[0020]S230.按照文字的旋转角度、清晰度、位置进行筛选，获取视频关键帧文本的重要内容，用来进一步合并视频信息获取关键帧和关键帧摘要。
[0021]进一步地，步骤S210中的所述9个空间，分别是左上、中上、右上、左中、中中、右中、左下、中下、右下九个区域。
[0022]进一步地，步骤S220中的，划分9个空间中五个区域的文本信息依据是按照越靠近中间的文字越是讲解的重点的原则，划分了中上、中中、左上、左中、右中的文本信息。
[0023]进一步地，步骤S110中，所述图片的像素点数值组成一个n*m的矩阵，转成一维向量，向量长度为n*m。
[0024]进一步地，所述步骤S210中，所述通过裁切的方式将图片按照位置区分成9个空间的过程具体为：通过把图片，按照边界占比0.24～0.26的方式，把图片分割成九宫格，即左，右、上、下分别占比0.24～0.26，中间部分占比0.48～0.52，划分成左上、中上、右上、左中、中中、右中，左下，中下，右下。
[0025]进一步地，所述步骤S210中，所述通过裁切的方式将图片按照位置区分成9个空间的过程具体为：通过把图片，按照边界占比0.25的方式，把图片分割成九宫格，即左，右、上、下分别占比0.25，中间部分占比0.5，划分成左上、中上、右上、左中、中中、右中，左下，中下，右下。
[0026]进一步的，所述TF
‑
IDF得分的计算方式如下：
[0027]TF
‑
IDF＝TF*IDF
[0028]本专利技术至少具备以下有益效果：
[0029]本专利技术针对目前技术过分依赖视频本身像素点的关键帧合并以及过分依赖OCR文本信息抽取摘要主题的缺陷，造成关键帧抽取不准，摘要在实际业务中不可用的问题，本专利技术结合像素点的相似度和文本相处理两者的优点，极大的降低了OCR的识别次数的同时，利用合并、识别、合并、清洗、重构的处理思想，巧妙地避开了知识点直接定位视频片段的难度，利用关键帧的主题和知识点的文本相似度很好地解决了在线教育场景中的知识点视频定位的难题。
附图说明
[0030]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为现有专利CN106851437A的流程图；
[0032]图2为本专利技术视频抽帧的流程图；
[0033]图3为本专利技术获取视频关键帧文本的示意图；
[0034]图4为本专利技术方法的流程图。
具体实施方式
[0035]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0036]本专利技术是一种应用于学生学习的在线教学平台中，针对视频课程的关键摘要提取的一种方法。先对视频抽帧，对类似帧图片进行合并之后再进行OCR识别，大大降低了OCR识别次数；之后采用自然语言处理技术合并、拆分、合并、去重的方式抽取视频的关键帧主题，保证了准确度的同时，在实际课程学习中快速定位到所学知识点的视频片段。
[0037]请参阅图4所示，本专利技术的知识点在视频片段中的定位过程如下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识点在课程视频片段中定位的方法，其特征在于，包括以下步骤：S100.视频抽帧，在给定课程视频的情况下，对视频抽帧，并通过计算连续视频像素余弦相似度，对像素接近的图片进行合并；S200.对合并之后的关键帧OCR结果；S300.关键帧的主题提取，采用分词+词性的方式获取分词结构，再通过摘要中去选取连续关键词合并，并清洗掉停用词和中文前后缀，由此得到关键帧的主题；S400.主题清洗及重构，对关键帧的主题进行去重，利用中文前后缀语法和TF
‑
IDF得分进行清洗重构，达到语句连贯的效果；S500.知识点主题相似度定位：利用知识点本身和关键帧主题进行文本比对，按照相似度得分排序，选取相似度最高的视频片段作为知识点教学视频的最终定位。2.根据权利要求1所述的一种知识点在课程视频片段中定位的方法，其特征在于，所述视频抽帧采用每秒一帧图片的方式进行抽帧。3.根据权利要求2所述的一种知识点在课程视频片段中定位的方法，其特征在于，所述通过计算连续视频像素余弦相似度，对像素接近的图片进行合并，包括：S110.将每帧图片转成像素矩阵，对矩阵平铺构成向量；S120.计算连续视频像素的余弦相似度，阈值设定0.9进行合并。4.根据权利要求3所述的一种知识点在课程视频片段中定位的方法，其特征在于，所述对合并之后的关键帧OCR结果，包括：S210.通过裁切的方式将图片按照位置区分成9个空间；S220.划分9个空间中五个区域的文本信息梯次递补主题备选，按照OCR定位位置最大的比例在哪个区间决定；S230.按照文字的旋转角度、清晰度、位置进行筛选，获取视频关键帧文本的重要内容，用来进一步合并视频信息获取关键帧和关键帧摘要。5.根据权...

【专利技术属性】
技术研发人员：王晖，苗旭东，
申请(专利权)人：上海卓越睿新数码科技股份有限公司，
类型：发明
国别省市：