一种视频内容抽取的方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种视频内容抽取的方法、装置、计算机设备及存储介质，属于人工智能技术领域，本申请通过将第一样本视频导入预先训练好的变分自编码器中，获取第一样本视频对应的隐变量特征，其中，隐变量特征为第一样本视频的视频特征分布，对第二样本视频进行标注，基于标注后的第二样本视频和视频特征分布，生成模型训练集，通过模型训练集对预设的初始视频抽取模型进行训练，接收目标视频，将目标视频导入到视频抽取模型，输出目标视频对应的视频抽取结果。此外，本申请还涉及区块链技术，目标视频可存储于区块链中。本申请通过变分自编码器生成大量的标注样本视频，有效降低了样本视频标注的工作量，提高了模型训练的效率。

【技术实现步骤摘要】
一种视频内容抽取的方法、装置、计算机设备及存储介质
本申请属于人工智能
，具体涉及一种视频内容抽取的方法、装置、计算机设备及存储介质。
技术介绍
随着人工智能在金融领域中的广泛使用，在移动端开展金融业务的场景越来越丰富，很多场景下需要借助移动端录制视频，然后通过移动端录制的视频开展相应的业务，如人脸识别审批业务等等。然而在通过移动端录制的视频开展业务之前，往往需要对视频内容进行抽取处理，以获得视频中的重点信息内容，例如，在人脸识别审批业务场景中，通过对视频内容进行抽取获得用户脸部信息内容。传统解决视频内容抽取问题主要基于两种思路来实现。第一种方法是基于预设抽取规则的方法，即预先根据经验制定出一系列的抽取规则，比如制定人物占画面的比例大于某个阈值进行抽取等等，但在通过抽取规则对视频内容进行抽取时，首先需要制定一个完整抽取规则，制作完整抽取规则本身难度非常大，其次制定出的抽取规则可能在少数场合满足需求，但是很难以做到多场景通用的效果。第二类方法是基于自注意力学习的方法，比如基于深度学习模型，通过训练好的深度学习模型对视频内容进行抽取，虽然现有的基于自注意力学习方法会取得效果较好，但是在视频抽取模型训练时，需要用到大量的训练视频，且这些训练视频都需要提前进行人工标注，而对视频进行人工标注的过程较为繁琐，效率较低且容易出现标注错误的情况。
技术实现思路
本申请实施例的目的在于提出一种视频内容抽取方法、装置、计算机设备及存储介质，以解决现有基于自注意力学习方法采用人工标注的方式进行训练视频的标注，而人工标准存在的效率较低且容易出现标注错误的问题。为了解决上述技术问题，本申请实施例提供一种视频内容抽取的方法，采用了如下所述的技术方案：一种视频内容抽取的方法，包括：从预设的数据库中获取第一样本视频，将第一样本视频导入预先训练好的变分自编码器中；对第一样本视频进行特征提取，获取第一样本视频对应的隐变量特征，其中，隐变量特征为第一样本视频的视频特征分布；从预设的数据库中获取第二样本视频，并对第二样本视频进行标注；基于标注后的第二样本视频和视频特征分布，生成模型训练集；通过模型训练集对预设的初始视频抽取模型进行训练，得到训练完成的视频抽取模型；接收目标视频，将目标视频导入到训练完成的视频抽取模型，输出目标视频对应的视频抽取结果。进一步地，在从预设的数据库中获取第一样本视频，将第一样本视频导入预先训练好的变分自编码器中的步骤之前，还包括：从预设的数据库中获取第三样本视频，并将第三样本视频导入预设的初始变分自编码器中；对第三样本视频进行编码，得到第三视频编码矩阵；计算第三视频编码矩阵的均值和方差，并将第三视频编码矩阵的均值和方差按照预设分布进行随机采样，得到隐变量特征；对隐变量特征进行解码，生成对应的解码视频；判断生成的解码视频和第三样本视频是否一致；若生成的解码视频和第三样本视频不一致，则对初始变分自编码器进行调整，直至解码视频和第三样本视频达到一致为止。进一步地，对初始变分自编码器进行调整，直至解码视频和第三样本视频达到一致为止的步骤，具体包括：构建初始变分自编码器的损失函数；基于损失函数计算解码视频和第三样本视频之间的预测误差；基于预测误差使用反向传播算法对初始变分自编码器进行迭代更新，直至初始变分自编码器输出的解码视频与第三样本视频达到一致为止。进一步地，基于标注后的第二样本视频和视频特征分布，生成模型训练集的步骤，具体包括：分别对标注后的第二样本视频与视频特征分布进行编码，得到第二视频编码矩阵和视频特征编码矩阵；基于第二视频编码矩阵和视频特征编码矩阵生成第四样本视频；组合第二样本视频和第四样本视频，得到模型训练集。进一步地，基于第二视频编码矩阵和视频特征编码矩阵生成第四样本视频的步骤，具体包括：从第二视频编码矩阵中提取第二样本视频的特征因子；基于第二样本视频的特征因子对视频特征编码矩阵进行调整，得到第四视频编码矩阵；基于第四视频编码矩阵生成第四样本视频。进一步地，通过模型训练集对预设的初始视频抽取模型进行训练，得到训练完成的视频抽取模型的步骤，具体包括：提取训练样本集中每一视频帧的特征张量，并组合所有视频帧的特征张量，得到特征张量组合；对特征张量组合进行特征相似度预测，获得特征预测结果；基于特征预测结果对特征张量组合进行合并，得到合并张量；对合并张量进行解码，生成与合并张量对应的解码结果；基于解码结果和预设标准结果使用反向传播算法对初始视频抽取模型进行迭代更新，直至模型拟合，得到拟合的视频抽取模型。进一步地，基于解码结果和预设标准结果使用反向传播算法对初始视频抽取模型进行迭代更新，直至模型拟合，得到拟合的视频抽取模型的步骤，具体包括：基于解码结果和预设标准结果计算初始视频抽取模型的抽取误差；比较抽取误差与预设误差阈值进行；若抽取误差大于预设误差阈值，则基于反向传播算法对初始视频抽取模型进行迭代更新，直至抽取误差小于或等于预设误差阈值为止，得到拟合的视频抽取模型。为了解决上述技术问题，本申请实施例还提供一种视频内容抽取的装置，采用了如下所述的技术方案：一种视频内容抽取的装置，包括：第一获取模块，用于从预设的数据库中获取第一样本视频，将第一样本视频导入预先训练好的变分自编码器中；特征分布模块，用于对第一样本视频进行特征提取，获取第一样本视频对应的隐变量特征，其中，隐变量特征为第一样本视频的视频特征分布；第二获取模块，用于从预设的数据库中获取第二样本视频，并对第二样本视频进行标注；样本生成模块，用于基于标注后的第二样本视频和视频特征分布，生成模型训练集；模型训练模块，用于通过模型训练集对预设的初始视频抽取模型进行训练，得到训练完成的视频抽取模型；视频抽取模块，用于接收目标视频，将目标视频导入到训练完成的视频抽取模型，输出目标视频对应的视频抽取结果。为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述的视频内容抽取的方法的步骤。为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述的视频内容抽取的方法的步骤。与现有技术相比，本申请实施例主要有以下有益效果：本申请公开了一种视频内容抽取的方法、装置、计算机设备及存储介质，属于人工智能
，本申请通过预先训练一个变分自编码器，通过变分自编码器获得未进行标注的样本视频的视频特征分布，然后通过获得的视频特征分布和部分标注后的本文档来自技高网...

【技术保护点】
1.一种视频内容抽取的方法，其特征在于，包括：/n从预设的数据库中获取第一样本视频，将所述第一样本视频导入预先训练好的变分自编码器中；/n对所述第一样本视频进行特征提取，获取所述第一样本视频对应的隐变量特征，其中，所述隐变量特征为所述第一样本视频的视频特征分布；/n从预设的数据库中获取第二样本视频，并对所述第二样本视频进行标注；/n基于标注后的所述第二样本视频和所述视频特征分布，生成模型训练集；/n通过所述模型训练集对预设的初始视频抽取模型进行训练，得到训练完成的视频抽取模型；/n接收目标视频，将所述目标视频导入到训练完成的所述视频抽取模型，输出所述目标视频对应的视频抽取结果。/n

【技术特征摘要】
1.一种视频内容抽取的方法，其特征在于，包括：
从预设的数据库中获取第一样本视频，将所述第一样本视频导入预先训练好的变分自编码器中；
对所述第一样本视频进行特征提取，获取所述第一样本视频对应的隐变量特征，其中，所述隐变量特征为所述第一样本视频的视频特征分布；
从预设的数据库中获取第二样本视频，并对所述第二样本视频进行标注；
基于标注后的所述第二样本视频和所述视频特征分布，生成模型训练集；
通过所述模型训练集对预设的初始视频抽取模型进行训练，得到训练完成的视频抽取模型；
接收目标视频，将所述目标视频导入到训练完成的所述视频抽取模型，输出所述目标视频对应的视频抽取结果。


2.如权利要求1所述的视频内容抽取的方法，其特征在于，在所述从预设的数据库中获取第一样本视频，将所述第一样本视频导入预先训练好的变分自编码器中的步骤之前，还包括：
从预设的数据库中获取第三样本视频，并将所述第三样本视频导入预设的初始变分自编码器中；
对所述第三样本视频进行编码，得到第三视频编码矩阵；
计算第三视频编码矩阵的均值和方差，并将所述第三视频编码矩阵的均值和方差按照预设分布进行随机采样，得到隐变量特征；
对所述隐变量特征进行解码，生成对应的解码视频；
判断生成的所述解码视频和所述第三样本视频是否一致；
若生成的所述解码视频和所述第三样本视频不一致，则对所述初始变分自编码器进行调整，直至所述解码视频和所述第三样本视频达到一致为止。


3.如权利要求2所述的视频内容抽取的方法，其特征在于，所述对所述初始变分自编码器进行调整，直至所述解码视频和所述第三样本视频达到一致为止的步骤，具体包括：
构建所述初始变分自编码器的损失函数；
基于所述损失函数计算所述解码视频和所述第三样本视频之间的预测误差；
基于所述预测误差使用反向传播算法对所述初始变分自编码器进行迭代更新，直至所述初始变分自编码器输出的解码视频与所述第三样本视频达到一致为止。


4.如权利要求1所述的视频内容抽取的方法，其特征在于，所述基于标注后的所述第二样本视频和所述视频特征分布，生成模型训练集的步骤，具体包括：
分别对标注后的所述第二样本视频与所述视频特征分布进行编码，得到第二视频编码矩阵和视频特征编码矩阵；
基于所述第二视频编码矩阵和所述视频特征编码矩阵生成第四样本视频；
组合所述第二样本视频和所述第四样本视频，得到所述模型训练集。


5.如权利要求4所述的视频内容抽取的方法，其特征在于，所述基于所述第二视频编码矩阵和所述视频特征编码矩阵生成第四样本视频的步骤，具体包括：
从所述第二视频编码矩阵中提取所述第二样本视频的特征因子；...

【专利技术属性】
技术研发人员：陈昊，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东;44