视频跳帧文本与语音结合的切片方法、装置、设备及介质制造方法及图纸

本申请涉及医疗图像处理技术领域，可应用于会场教学演示，例如在医学领域中，录制某位权威医生对某种疾病的诊断和治疗方法的培训视频给其他医生做培训，具体涉及一种视频跳帧文本与语音结合的切片方法、装置、设备及介质，本申请通过从视频文件中抽帧得到的每个图像帧，并按图像帧的分帧顺序对图像帧中的文本内容进行两两相似度比对，通过元素之间的第一相似度来确定切片候选点，以确保切片ppt文本内容的完整性，可以有效解决现有技术中通过图像识别技术计算图像的相似度来进行切片的方式容易受演讲人的动作影响，或在演讲人的话还没说完就进行ppt翻页，导致切出来的内容不完整的问题。的问题。的问题。

【技术实现步骤摘要】
视频跳帧文本与语音结合的切片方法、装置、设备及介质


[0001]本申请涉及医疗图像处理领域，具体涉及一种视频跳帧文本与语音结合的切片方法、装置、设备及介质。

技术介绍

[0002]随着计算机技术的发展，许多的传统行业迎来了巨大的科技创新，例如大数据、云计算或区块链；传统行业正在接受现代科技的洗礼，逐渐向智能科技方向进行转变，因此，现在计算机行业相关的执业人员不同于传统行业的执业人员那样只需具备相关行业的专业知识即可，而是需要具备一定的计算机技能，才能更好地执业，例如医疗领域，因此，在相关的行业执业人员就职时，需要不断地进行培训来拓展自身的技能，才能适应职位需求；视频培训是一种基于多媒体技术发展成型的新型教学培训技术，多应用于会场教学演示，例如录制某位权威医生对某种疾病的诊断和治疗方法的培训视频给其他医生做培训；培训视频和普通视频有很大区别，培训视频一般由演讲人和背景ppt组成，演讲人在视频前，ppt展示在视频后，演讲人有时还可以转身在ppt展示的屏上写字，而且在培训演讲过程中，演讲人会移动且伴随有肢体动作，会遮挡背后的ppt文字部分，这对识别单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频跳帧文本与语音结合的切片方法，其特征在于，包括：以预设帧长对视频文件进行分帧，得到若干个图像帧；基于OCR技术依次识别每个所述图像帧中的文本内容，并以每个所述图像帧的文本内容作为一个元素，生成文本集；将所述文本集中的元素输入预设窗长的滑窗中进行两两相似度比对，计算元素之间的第一相似度；判断所述第一相似度是否小于预设阈值；当所述第一相似度比小于所述预设阈值时，则将所述第一相似度所对应的所述图像帧设定为切片候选点。2.如权利要求1所述的视频跳帧文本与语音结合的切片方法，其特征在于，所述当所述第一相似度比小于所述预设阈值时，则将所述第一相似度所对应的所述图像帧设定为切片候选点的步骤之后，包括：获取与所述切片候选点相隔预设间隔帧数的图像帧，生成跳帧图像帧；从所述文本集获取与所述跳帧图像帧对应的元素，生成跳帧元素；计算所述切片候选点所对应的元素与所述跳帧元素的第二相似度；判断所述第二相似度是否小于所述预设阈值；若所述第二相似度小于所述预设阈值，则将所述切片候选点所对应的所述图像帧设定为切片点。3.如权利要求2所述的视频跳帧文本与语音结合的切片方法，其特征在于，所述判断所述第二相似度是否小于所述预设阈值的步骤之后，还包括：若所述第二相似度大于所述预设阈值，则将所述切片候选点所对应的元素至所述跳帧元素之间对应的所述图像帧合并。4.如权利要求2所述的视频跳帧文本与语音结合的切片方法，其特征在于，所述若所述第二相似度小于所述预设阈值，则将所述切片候选点所对应的所述图像帧设定为切片点的步骤之后，还包括：获取所述切片点的对应于所述视频文件的初步切片时间点；基于ASR对所述视频文件中的语音内容进行识别，得到语音文本信息，其中所述语音文本信息包括每句语音的语音发出时间点和语音时长；根据所述每句语音的语音发出时间点和所述语音时长计算发出语音的间隔时间段；判断所述初步切片时间点是否处于所述间隔时间段内；当所述初步切片时间点处于所述间隔时间段内时，则将所述初步切片时间点确定为最终切片时间点。5.如权利要求4所述的视频跳帧文本与语音结合的切片方法，其特征在于，所述判断所述初步切片时间点是否处于所述间隔时间段内的步骤之后，包括：当所述初步切片时间点不处于所述间隔时间段内时，则将...

【专利技术属性】
技术研发人员：舒畅，肖京，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：