一种视频审核的方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种视频审核的方法、装置、电子设备及存储介质，方法包括：获取视频数据，对视频数据进行抽帧处理，获得待审查图像；对具有深层网络的视频审核模型进行蒸馏，得到蒸馏后的学生模型；将待审查图像输入至蒸馏后的学生模型，确定视频数据是否合格。利用本发明专利技术实施例提供的方案能够在提升视频审核速度的同时，保证审核的准确性。保证审核的准确性。保证审核的准确性。

【技术实现步骤摘要】
一种视频审核的方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能
，特别是涉及一种视频审核的方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网的发展，视频数量在迅猛增长，需要进行审核的视频也越来越多。现有技术中，往往采用视频审核模型对视频进行审核，但由于视频数据量增大，视频数据抽帧后的数据量变得更大，于是，对视频审核模型的审核速度有了比较高的要求，所以在视频审核模型的选型上，会尽量选取轻量级的模型进行部署以完成审核工作。但轻量级的模型往往无法达到更深层网络的精度，对视频的审核结果不准确。

技术实现思路

[0003]本专利技术实施例的目的在于提供一种视频审核的方法、装置、电子设备及存储介质，以提升视频审核速度的同时，保证审核的准确性。具体技术方案如下：
[0004]在本专利技术实施的第一方面，首先提供了一种视频审核方法，所述方法包括：
[0005]获取视频数据，对所述视频数据进行抽帧处理，获得待审查图像；
[0006]对具有深层网络的视频审核模型进行蒸馏，得到蒸馏后的学生模型；
[0007]将所述待审查图像输入至所述蒸馏后的学生模型，确定所述视频数据是否合格。
[0008]可选的，所述对具有深层网络的视频审核模型进行蒸馏，得到蒸馏后的学生模型，包括：
[0009]获取已训练好的教师模型和待训练的学生模型；
[0010]分别从所述已训练好的教师模型和所述待训练的学生模型中选取至少一层特征层作为对齐特征层；
>[0011]获取第一样本图像，分别输入至所述已训练好的教师模型及所述待训练的学生模型中，计算每一对齐特征层的特征损失；
[0012]基于每一对齐特征层的特征损失，获得两个模型的总损失；
[0013]基于所述总损失对所述待训练的学生模型参数进行调整；
[0014]判断所述总损失是否满足预设训练结束条件，若是，则获得蒸馏后的学生模型，否则再次获取第二样本图像，重复训练步骤。
[0015]可选的，所述对齐特征层包括：所述已训练好的教师模型的对齐特征层与所述待训练的学生模型的对齐特征层，且所述已训练好的教师模型的对齐特征层与所述待训练的学生模型的对齐特征层一一对应，所述一一对应的对齐特征层维度不同；
[0016]所述计算每一对齐特征层的特征损失，包括：
[0017]利用所述教师模型的对齐特征层与所述待训练的学生模型的对齐特征层进行特征提取，计算每一对齐特征层的特征损失；
[0018]所述基于每一对齐特征层的特征损失，获得两个模型的总损失，包括：
[0019]所述已训练好的教师模型的网络输出层输出教师模型的输出概率值；所述待训练的学生模型的网络输出层输出学生模型的输出概率值；
[0020]利用预设损失函数，根据所述教师模型的输出概率值和所述学生模型的输出概率值，计算网络输出层的输出损失；
[0021]利用每一对齐特征层的特征损失及网络输出层的输出损失，得到两个模型的总损失。
[0022]可选的，所述对齐特征层包括第一对齐特征层、第二对齐特征层和第一对齐特征层，其中，所述第二对齐特征层的层级大于所述第一对齐特征层，所述第二对齐特征层的层级大于所述第二对齐特征层；
[0023]所述利用所述教师模型的对齐特征层与所述待训练的学生模型的对齐特征层进行特征提取，计算每一对齐特征层的特征损失，包括：
[0024]将所述第一样本图像输入至所述教师模型后，由所述教师模型对所述第一样本图像进行特征提取，在经所述教师模型的第一对齐特征层进行特征提取操作后，生成教师侧第一特征；将所述第一样本图像输入至所述待训练的学生模型后，由所述学生模型对所述第一样本图像进行特征提取，在经所述待训练的学生模型的第一对齐特征层进行特征提取操作后，生成学生侧第一特征；
[0025]对所述教师侧第一特征进行预设处理后，得到教师侧第一对齐特征；对所述学生侧第一特征进行预设处理后，得到学生侧第一对齐特征，对所述学生侧第一对齐特征进行升维处理后，得到学生侧第一升维后特征；
[0026]利用预设损失函数计算所述教师侧第一对齐特征与升维后所述学生侧第一升维后特征的特征损失，得到第一特征损失；
[0027]在经教师模型的第二对齐特征层对所述教师侧第一对齐特征进行特征提取后，生成教师侧第二特征；在经待训练学生模型的第二对齐特征层对所述学生侧第一对齐特征进行特征提取后，生成学生侧第二特征；
[0028]对所述教师侧第二特征进行预设处理后，得到教师侧第二对齐特征；对所述学生侧第二特征进行预设处理后，得到学生侧第二对齐特征，对所述学生侧第二对齐特征进行升维处理后，得到学生侧第二升维后特征；
[0029]利用预设损失函数计算所述教师侧第二对齐特征与升维后所述学生侧第二升维后特征的特征损失，得到第二特征损失；
[0030]在经教师模型的第三对齐特征层对所述教师侧第二对齐特征进行特征提取后，生成教师侧第三特征；在经待训练学生模型的第三对齐特征层对所述学生侧第二对齐特征进行特征提取后，生成学生侧第三特征；
[0031]对所述教师侧第三特征进行预设处理后，得到教师侧第三对齐特征；对所述学生侧第三特征进行预设处理后，得到学生侧第三对齐特征，对所述学生侧第三对齐特征进行升维处理后，得到学生侧第三升维后特征；
[0032]利用预设损失函数计算所述教师侧第三对齐特征与升维后所述学生侧第三升维后特征的特征损失，得到第三特征损失。
[0033]可选的，所述利用每一对齐特征层的特征损失及网络输出层的输出损失，得到两个模型的总损失，包括：
[0034]利用预设权重，对所述第一特征损失、所述第二特征损失、所述第三特征损失、所述输出损失进行加权计算，得到两个模型的总损失。
[0035]可选的，所述将各待审查图像输入至所述蒸馏后的学生模型，确定所述视频数据是否合格，包括：
[0036]将待审查图像输入至所述蒸馏后的学生模型，获得各待审查图像包含不合格内容的概率；
[0037]判断每一待审查图像中包含不合格内容的概率是否达到预设概率；
[0038]若达到，则将达到预设概率的待审查图像作为不合格图像；
[0039]判断不合格图像的个数占待审查图像总数的比例是否达到预设比例；
[0040]若达到预设比例，则所述视频数据不合格；
[0041]若未达到预设比例，则所述视频数据的合格。
[0042]在本专利技术实施的第二方面，还提供了一种视频审核装置，所述装置包括：
[0043]图像获取模块，用于获取视频数据，对所述视频数据进行抽帧处理，获得待审查图像；
[0044]学生模型获取模块，用于对具有深层网络的视频审核模型进行蒸馏，得到蒸馏后的学生模型；
[0045]视频审查结果确定模块，用于将所述待审查图像输入至所述蒸馏后的学生模型，确定所述视频数据是否合格。
[0046]可选的，所述学生模型获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频审核方法，其特征在于，所述方法包括：获取视频数据，对所述视频数据进行抽帧处理，获得待审查图像；对具有深层网络的视频审核模型进行蒸馏，得到蒸馏后的学生模型；将所述待审查图像输入至所述蒸馏后的学生模型，确定所述视频数据是否合格。2.根据权利要求1所述的方法，其特征在于，所述对具有深层网络的视频审核模型进行蒸馏，得到蒸馏后的学生模型，包括：获取已训练好的教师模型和待训练的学生模型；分别从所述已训练好的教师模型和所述待训练的学生模型中选取至少一层特征层作为对齐特征层；获取第一样本图像，分别输入至所述已训练好的教师模型及所述待训练的学生模型中，计算每一对齐特征层的特征损失；基于每一对齐特征层的特征损失，获得两个模型的总损失；基于所述总损失对所述待训练的学生模型参数进行调整；判断所述总损失是否满足预设训练结束条件，若是，则获得蒸馏后的学生模型，否则再次获取第二样本图像，重复训练步骤。3.根据权利要求2所述的方法，其特征在于，所述对齐特征层包括：所述已训练好的教师模型的对齐特征层与所述待训练的学生模型的对齐特征层，且所述已训练好的教师模型的对齐特征层与所述待训练的学生模型的对齐特征层一一对应，所述一一对应的对齐特征层维度不同；所述计算每一对齐特征层的特征损失，包括：利用所述教师模型的对齐特征层与所述待训练的学生模型的对齐特征层进行特征提取，计算每一对齐特征层的特征损失；所述基于每一对齐特征层的特征损失，获得两个模型的总损失，包括：所述已训练好的教师模型的网络输出层输出教师模型的输出概率值；所述待训练的学生模型的网络输出层输出学生模型的输出概率值；利用预设损失函数，根据所述教师模型的输出概率值和所述学生模型的输出概率值，计算网络输出层的输出损失；利用每一对齐特征层的特征损失及网络输出层的输出损失，得到两个模型的总损失。4.根据权利要求3所述的方法，其特征在于，所述对齐特征层包括第一对齐特征层、第二对齐特征层和第一对齐特征层，其中，所述第二对齐特征层的层级大于所述第一对齐特征层，所述第二对齐特征层的层级大于所述第二对齐特征层；所述利用所述教师模型的对齐特征层与所述待训练的学生模型的对齐特征层进行特征提取，计算每一对齐特征层的特征损失，包括：将所述第一样本图像输入至所述教师模型后，由所述教师模型对所述第一样本图像进行特征提取，在经所述教师模型的第一对齐特征层进行特征提取操作后，生成教师侧第一特征；将所述第一样本图像输入至所述待训练的学生模型后，由所述学生模型对所述第一样本图像进行特征提取，在经所述待训练的学生模型的第一对齐特征层进行特征提取操作后，生成学生侧第一特征；
对所述教师侧第一特征进行预设处理后，得到教师侧第一对齐特征；对所述学生侧第一特征进行预设处理后，得到学生侧第一对齐特征，对所述学生侧第一对齐特征进行升维处理后，得到学生侧第一升维后特征；利用预设损失函数计算所述教师侧第一对齐特征与升维后所述...

【专利技术属性】
技术研发人员：王发发，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：