【技术实现步骤摘要】
一种视频知识点抽取方法及装置
[0001]本专利技术属于自然语言处理技术和教育数据挖掘相结合的领域，更具体地，涉及一种视频知识点抽取方法及装置。
技术介绍
[0002]信息技术的快速发展下，越来越多的教学资源以视频形式存储在网络上。然而在海量教学视频资源中快速寻找学习者感兴趣的知识点片段成为当下亟待的问题。教学视频由画面(场景)、字幕和声音三部分组成。一般而言，教学视频知识点片段可通过画面和字幕两种方法抽取。但画面场景信息数据量大，且记录大量未经抽象的现实场景信息；字幕作为人的语言，数据量小，且具有高度凝练的抽象意义，为教学视频知识点抽取提供了新的切入点；
[0003]随着自然语言处理技术的发展，BERT(Bidirectional Encoder Representation from Transformers)作为目前最优秀的预训练模型，可以提供更可靠的句向量编码，使得将字幕语义作为视频分割的主要依据成为可能。
[0004]现有的方法往往以画面场景为主，以字幕为辅对视频进行分割，此类视频分割方法通过计算相...
【技术保护点】
【技术特征摘要】
1.一种视频知识点抽取方法，其特征在于，包括以下步骤：将字幕顺次输入至BERT模型进行编码生成语义向量；计算任意两个所述语义向量之间的余弦相似度，与字幕索引构建成语义相似度表；将所述语义相似度表线性转换为可视的二值图；使用边界检测方法找到所述二值图对角线上的公共下边界；以垂直于二值图对角线翻转所述二值图，找出公共上边界；其中，所述二值图对角线为二值图左上第一个位置到右下最后一个位置之间的连线；将所述公共上边界与公共下边界两两最近组合，给出字幕分割意见，提取视频知识点。2.根据权利要求1所述的视频知识点抽取方法，其特征在于，生成所述语义向量的方法，包括以下步骤：将所述字幕输入至所述BERT模型中，抽取所述BERT模型隐层中的第一层和最后一层字向量求和，作为所述BERT模型输出的字向量；将每条所述字幕的所有字向量相加求平均，获取每条字幕对应的语义向量。3.根据权利要求1或2所述的视频知识点抽取方法，其特征在于，将所述语义相似度表转换为所述二值图的方法，包括以下步骤：使用preprocessing.MinMaxScaler()方法，将语义相似度表中的余弦相似度值域(
‑
1,1)线性转换为二维灰度图；其中，二维灰度图中的亮度根据余弦相似度的大小确定；将二维灰度图展开成一维数组后，对数组的像素值升值排序，根据预设的二值比例，寻找二维灰度图的分界点；将二维灰度图中各位置的像素值与分界点的像素值比较，当二维灰度图当前位置的像素值大于分界点的像素值，则当前位置的像素值设为0，否则，当前位置的像素值设为255，形成二值图。4.根据权利要求3所述的视频知识点抽取方法，其特征在于，采用所述边界检测方法寻找所述公共下边界的方法，包括以下步骤：将所述二值图中对角线上的各点作为锚点和结束点，且所述结束点始终在所述锚点的右下方，所述锚点与所述结束点的横纵坐标围成的正方形为裁剪框；对各所述锚点遍历所述结束点所有可能的位置，形成不同的裁剪框；采用评估方法对所述裁剪框进行评分，筛选出各所述锚点对应的最佳结束点；根据所述最佳结束点的出现次数，选择所述二值图的公共下边界。5.根据权利要求4所述的视频知识点抽取方法，其特征在于，获取所述最佳结束点的评估方法，包括以下步骤：对所述裁剪框内所有像素值相加，计算所述裁剪框内像素值的平均值；根据所述裁剪框区域的大小设置奖励值；使用sklearn.preprocessing.StandardScaler()方法，将所述平均值与所述奖励值分别进行标准正态分布处理；将各所述裁剪框对应的经过标准正态分布处理后的平均值与奖励值相加，获取评价得分，得分最高的裁剪框对应结束点为最佳结束点。6.根据权利要求4或5所述的视频知识点抽取方法，其特征在于，根据所述最佳结束点获取二值图公共下边界的方法，包括以下步骤：
使用python中dict容器记录end[N]数组中各最佳结束点出现的次数；其中，所述dict中的一个key对应所述end[N]数组中的一个最佳结束点位置；value为所述end[N]数组中最佳结束点位置出现的次数；...
【专利技术属性】
技术研发人员：杨宗凯，刘智，刘三女牙，陈浩，彭晛，戴志诚，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。