图片识别模型训练、识别方法及装置设备及介质制造方法及图纸

本公开公开一种图片识别模块训练方法及装置、图片识别方法及装置、设备及介质。所述图片识别模型训练方法包括：利用样本图片及样本标签训练第一模型，得到满足训练停止条件的第二模型；利用去除第一输出层的所述第一模型识别所述样本图片进行，得到所述图片样本的特征值；其中，所述第一输出层为所述第一模型的原始输出层；利用所述特征值及所述样本标签训练得到第二输出层；将去除所述第一输出层的所述第二模型与所述第二输出层连接，得到第二模型；使用测试图片及测试标签测试所述第二模型，确定是否继续训练所述第二模型。确定是否继续训练所述第二模型。确定是否继续训练所述第二模型。

【技术实现步骤摘要】
图片识别模型训练、识别方法及装置设备及介质


[0001]本公开涉及图片
，尤其涉及一种图片识别模块训练方法及装置、图片识别方法及装置、设备及介质。

技术介绍

[0002]图片花屏识别是识别出视频播放过程中的花屏现象。
[0003]现有的识别方法有以下两种：
[0004]方法一：
[0005]通过对单张图片的RGB像素分别进行加权计算并与邻近像素进行对比，再通过与阈值进行对比来判断花屏；或者对单张图片进行按水平方向的数据是否具备周期性来判断花屏；或者对单张图片进行傅里叶变换，将时域数据转到频域，对频域亮点特征值进行量化计算，再通过与阈值进行对比来判断花屏。
[0006]方法二：
[0007]通过接收用户上传的录屏视频，调用一种质量检测子服务，对录屏视频进行检测，包括花屏检测(使用训练样本对深度学习模型inception进行优化(fine
‑
tuning)训练，得到花屏识别模型)，该检测基于已有的inception模型(用于图片分类)进行部分优化后进行花屏识别。
[0008]但是上述两种方式都存在各自的问题。
[0009]例如，使用像素值进行数值计算，并与其余部分像素计算值进行比较时，针对的花屏场景十分局限，只能适用于全屏规则横条，竖条，斜条的花屏场景，并且要求条纹具备周期重复性，或者需要具备明显的亮，暗花屏条纹才能识别。无法覆盖各种视频播放时的部分区域碎花状，部分区域流水状，部分区域斑点状，或多种情况并存的花屏场景。
[0010]再例如，采用用户录屏视频作为花屏识别源的方式，属于后期评估，无法做到对视频实时采集并进行花屏识别，且开源的深度模型inception模块本身具有92MB大小，通过自构建的输出(top)层进行优化(fine
‑
tuning)训练后可以达到300MB大小。所需运行的PC配置要求较高，通过模型进行预测延迟较大，不能满足实时每帧均进行预测。且训练样本只有若干张花屏和非花屏图片，通过opencv滤镜模拟出的图片具备一定的相关性，经训练的模型，用于预测各种视频花屏情况的准确率，精度，召回率未进行说明。

技术实现思路

[0011]本公开实施例提供了一种图片识别模型训练方法或图片识别方法及装置、电子设备及存储介质，以至少解决相关技术中图片识别精度和/或准确度不够的问题。
[0012]本公开实施例第一方面提供一种图片识别模型训练方法，所述方法包括：
[0013]利用样本图片及样本标签训练第一模型，得到满足训练停止条件的第二模型；
[0014]利用去除第一输出层的所述第一模型识别所述样本图片进行，得到所述图片样本的特征值；其中，所述第一输出层为所述第一模型的原始输出层；
[0015]利用所述特征值及所述样本标签训练得到第二输出层；
[0016]将去除所述第一输出层的所述第二模型与所述第二输出层连接，得到第二模型；
[0017]使用测试图片及测试标签测试所述第二模型，确定是否继续训练所述第二模型。
[0018]基于上述方案，所述第二输出层包括：
[0019]N个级联的非线性变化关联层；其中，所述N为小于或等于2的正整数。
[0020]基于上述方案，所述非线性变化关联层为稠密dense层。
[0021]基于上述方案，所述将去除所述第一输出层的所述第二模型与所述第二输出层连接，得到第二模型，包括：
[0022]将去除所述第一输出层的所述第二模型和所述第二输出层全连接，得到所述第二模型。
[0023]基于上述方案，所述样本图片包括：
[0024]第一样本图片，其中，所述第一样本图片的样本标签为指示图片正常的一取值；
[0025]第二样本图片，其中，所述第二样本图片的样本标签为指示图片异常的第二取值。
[0026]基于上述方案，所述方法还包括：
[0027]获取组播视频；
[0028]抽取所述组播视频的视频帧得到所述第一样本图片；
[0029]对所述组播视频进行随机丢包处理；
[0030]对随机丢包处理之后组播视频进行录屏得到所述第二样本图片。
[0031]基于上述方案，所述抽取所述组播视频的视频帧得到所述第一样本图片，包括：
[0032]对从所述组播视频中抽取的视频帧的原始图片进行图片变换处理，得到具有预设图片参数的所述第一样本图片；
[0033]所述对随机丢包处理之后组播视频进行录屏得到所述第二样本图片，包括：
[0034]对随机丢包处理之后组播视频进行录屏得到录屏图片进行图片变换处理，得到具有设图片参数的所述第二样本图片；
[0035]其中，所述预设图片参数为：根据所述第一模型的输入层的输入通道及所述第一模型的模型参数确定的；
[0036]所述图片变换处理包括：尺寸缩放处理和/或颜色转换处理。
[0037]本公开实施例第二方面提供一种图片识别方法，其特征在于，所述方法包括：
[0038]获取待分类的目标图片；
[0039]利用前述第一方面任意技术方案提供的第二模型识别所述目标图片，得到对所述目标图片的分类结果。
[0040]基于上述方案，所述获取待分类的目标图片，包括：
[0041]通过应用编程接口API上报基于监控设备所采集画面生成的所述目标图片。
[0042]本公开实施例第三方面提供一种图片识别模型训练装置，所述装置包括：
[0043]第一训练模块，用于利用样本图片及样本标签训练第一模型，得到满足训练停止条件的第二模型；
[0044]第一识别模块，用于利用去除第一输出层的所述第一模型识别所述样本图片进行，得到所述图片样本的特征值；其中，所述第一输出层为所述第一模型的原始输出层；
[0045]第二训练模块，用于利用所述特征值及所述样本标签训练得到第二输出层；
[0046]连接模块，用于将去除所述第一输出层的所述第二模型与所述第二输出层连接，得到第二模型；
[0047]测试模块，用于使用测试图片及测试标签测试所述第二模型，确定是否继续训练所述第二模型。
[0048]基于上述方案，所述第二输出层包括：
[0049]N个非线性变化关联层；其中，所述N为小于或等于2的正整数。
[0050]基于上述方案，所述非线性变化关联层为稠密dense层。
[0051]基于上述方案，所述连接模块，具体用于将去除所述第一输出层的所述第二模型和所述第二输出层全连接，得到所述第二模型。
[0052]基于上述方案，所述样本图片包括：
[0053]第一样本图片，其中，所述第一样本图片的样本标签为指示图片正常的一取值；
[0054]第二样本图片，其中，所述第二样本图片的样本标签为指示图片异常的第二取值。
[0055]基于上述方案，所述装置还包括：
[0056]第一获取模块，用于获取组播视频；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图片识别模型训练方法，其特征在于，所述方法包括：利用样本图片及样本标签训练第一模型，得到满足训练停止条件的第二模型；利用去除第一输出层的所述第一模型识别所述样本图片进行，得到所述图片样本的特征值；其中，所述第一输出层为所述第一模型的原始输出层；利用所述特征值及所述样本标签训练得到第二输出层；将去除所述第一输出层的所述第二模型与所述第二输出层连接，得到第二模型；使用测试图片及测试标签测试所述第二模型，确定是否继续训练所述第二模型。2.根据权利要求1所述的方法，其特征在于，所述第二输出层包括：N个级联的非线性变化关联层；其中，所述N为小于或等于2的正整数。3.根据权利要求2所述的方法，其特征在于，所述非线性变化关联层为稠密dense层。4.根据权利要求1所述的方法，其特征在于，所述将去除所述第一输出层的所述第二模型与所述第二输出层连接，得到第二模型，包括：将去除所述第一输出层的所述第二模型和所述第二输出层全连接，得到所述第二模型。5.根据权利要求1至4任一项所述的方法，其特征在于，所述样本图片包括：第一样本图片，其中，所述第一样本图片的样本标签为指示图片正常的一取值；第二样本图片，其中，所述第二样本图片的样本标签为指示图片异常的第二取值。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取组播视频；抽取所述组播视频的视频帧得到所述第一样本图片；对所述组播视频进行随机丢包处理；对随机丢包处理之后组播视频进行录屏得到所述第二样本图片。7.根据权利要求6所述的方法，其特征在于，所述抽取所述组播视频的视频帧得到所述第一样本图片，包括：对从所述组播视频中抽取的视频帧的原始图片进行图片变换处理，得到具有预设图片参数的所述第一样本图片；所述对随机丢包处理之后组播视频进行录屏得到所述第二样本图片，包括：对随机丢包处理之后组播视频进行录屏得到录屏图片进行图片变换处理，得到具有设图片参数的所述第二样本图片；其中，所述预设图片参数为：根据所述第一模型的输入层的输入通道及所述第一模型的模型参数确定的；所述图片变换处理包括：尺寸缩放处理和/或颜色转换处理。8.一种图片识别方法，其特征在于，所述方法包括：获取待分类的目标图片；利用权利要求1至7任一项提供的第二模型识别所述目标图片，得到对所述目标图片的分类结果。9.根据要求8所述的方法，其特征在于，所述获取待分类的目标图片，包括：通过应用编程接口API上报基于监控设备所采集画面生成的所述目标图片。10.一种图片识别模型训练装置，其特征在于，所述装置包括：
第一训练模块，用于利用样本图片及样本标签训练第一模型，得到满足训练停止条件的第二模型；第一识别模块，用于利用去除第一输出层的所述第一模型识别所述样本图片...

【专利技术属性】
技术研发人员：邓华，黄鹏飞，李明，杨稷，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：