一种模型训练方法、图像处理方法及电子设备技术

一种模型训练方法、图像处理方法及电子设备，涉及互联网技术领域。获取多组图像，一组图像中包括连续拍摄的k帧图像，k为大于或等于2的整数。计算得到每组图像的平均图像，以及，每组图像中包括的多个像素点的光流。基于每组图像中多个像素点的光流标注得到平均图像对应的模糊标签，模糊标签用于指示模糊程度。将多组图像中每组图像的平均图像作为第一输入样本，以及，平均图像对应的模糊标签作为第一输出样本，使用第一输入样本和第一输出样本训练第一网络模型，得到识别模型，识别模型用于识别输入识别模型的图像的模糊程度。这样，可以训练得到识别运动图像的模糊程度的模型，用于准确识别运动图像的模糊程度。准确识别运动图像的模糊程度。准确识别运动图像的模糊程度。

【技术实现步骤摘要】
一种模型训练方法、图像处理方法及电子设备


[0001]本申请涉及互联网
，尤其涉及一种模型训练方法、图像处理方法及电子设备。

技术介绍

[0002]在使用手机、平板等电子设备拍摄得到的图像或者视频（包括多个图像帧）中，时常会拍摄得到模糊的图像。其中，在拍摄运动的物体的场景，或者拍摄过程中移动拍摄设备（如手机、平板等电子设备）的场景中，由于被拍摄物体和拍摄设备之间的相对运动，更容易导致拍摄得到的图像模糊。
[0003]与此同时，实际中往往需要识别出这些模糊图像，然后对其进行去模糊处理，或者对其进行剔除，以提高图像的质量。
[0004]然而，专利技术人在实施本申请实施例的过程中发现：针对被拍摄物体和拍摄设备之间在有相对运动的情况下拍摄得到的图像，现有技术中尚缺少可以对该图像进行模糊程度的识别的方案。这样，则导致后续无法准确的针对模糊图像进行去模糊处理或者剔除，不利于提高图像的质量。

技术实现思路

[0005]本申请提供一种模型训练方法、图像处理方法及电子设备，针对被拍摄物体和拍摄设备之间在有相对运动的情况下拍摄得到的图像，可以准确对其模糊程度进行识别。
[0006]第一方面，本申请提供了一种模型训练方法，用于训练得到识别图像的模糊程度的识别模型。其中，获取多组图像，一组图像中包括连续拍摄的k帧图像，k为大于或等于2的整数。计算得到每组图像的平均图像，以及，每组图像中包括的多个像素点的光流。那个，多个像素点可以为k帧图像中至少一帧图像的部分或者全部像素点。基于每组图像中多个像素点的光流标注得到平均图像对应的模糊标签，模糊标签用于指示模糊程度。将多组图像中每组图像的平均图像作为第一输入样本，以及，平均图像对应的模糊标签作为第一输出样本，使用第一输入样本和第一输出样本训练第一网络模型，得到识别模型，识别模型用于识别输入识别模型的图像的模糊程度。
[0007]综上所述，采用本申请方案，可以通过计算平均图像来得到输入样本，以及基于光流来标注平均图像的模糊程度得到输出样本，用于训练得到识别模型。其中，光流可以反映图像之间的运动情况，那么，基于光流标注得到的模糊程度可以反映因运动而导致模糊的模糊程度。因此，上述训练得到的识别模型可以用于识别因拍摄设备和被拍摄物体之间存在相对运动的情况下，拍摄得到的图像的模糊程度。
[0008]在第一方面的一种可能设计方式中，上述获取多组图像，包括：采集多段视频。划分每段视频，得到至少两段子视频，每段子视频包括m帧图像，m为大于或等于2的整数。从每段子视频包括的m帧图像中选出连续拍摄的k帧图像作为一组图像。
[0009]也就是说，可以通过对视频划分，并从划分得到的子视频中选取k帧图像，从而保
证一组图像中的k帧图像是连续拍摄得到的。
[0010]在第一方面的另一种可能设计方式中，上述计算得到每组图像的平均图像，包括：对每组图像包括的k帧图像中每个像素点的灰度值进行平均值计算，得到k帧图像中每个像素点的灰度平均值。基于k帧图像中所有像素点的灰度平均值得到平均图像，其中，平均图像包括灰度值为灰度平均值的像素点。
[0011]这样，可以使平均图像中各个像素点的灰度值为k帧图像中对应像素点的灰度值的平均值。
[0012]在第一方面的另一种可能设计方式中，上述多个像素点的光流包括每组图像包括的k帧图像中第一帧图像的多个像素点的图像内容移动到第k帧图像中图像内容所在的像素点的光流。
[0013]也就是说，多个像素点为第一帧图像中的多个像素点，并且以k帧图像的起始帧图像（即第一帧图像）和结束帧图像（即第k帧图像）计算光流，用于后续确定平均图像的模糊程度。这样，可以将生成平均图像的起始帧和结束帧之间的运动情况，用于确定该平均图像的模糊程度。
[0014]在第一方面的另一种可能设计方式中，上述每个像素点的光流包括像素点在图像坐标系的x轴方向的第一位移和y轴方向的第二位移。示例性的，图像坐标系的x轴通常以图像的左上顶点为原点，左上顶点到右上顶点的方向为x轴的正方向，左上顶点到左下顶点的方向为y轴的正方向。
[0015]相应的，基于每组图像中多个像素点的光流标注得到平均图像对应的模糊标签，包括：统计多个像素点的光流中第一位移小于第一位移阈值和第二位移小于第二位移阈值的像素点的数量。即，统计光流趋近于0的像素点的数量。根据数量标注得到平均图像对应的模糊标签。其中，数量越多，平均图像对应的模糊标签指示的模糊程度越低。
[0016]其中，光流趋近于0的像素点的数量越多，则表明相对运动越小。那么，k帧图像中，光流趋近于0的像素点的数量越多，则标注平均图像的模糊程度越低，从而可以在运动幅度越小时，标注模糊程度越低，实现准确的标注模糊程度。
[0017]在第一方面的另一种可能设计方式中，上述统计多个像素点的光流中第一位移小于第一位移阈值和第二位移小于第二位移阈值的像素点的数量，包括：计算多个像素点中每个像素点的光流中第一位移和第二位移的欧氏距离。统计多个像素点中欧氏距离小于第一距离阈值的像素点的数量。
[0018]也就是说，可以通过欧氏距离来衡量是否满足第一位移小于第一位移阈值和第二位移小于第二位移阈值。
[0019]在第一方面的另一种可能设计方式中，上述平均图像对应的模糊标签，包括：每个平均图像对应一个模糊标签，模糊标签用于指示平均图像的模糊程度。如此，训练得到的识别模型可以图像为粒度，识别模糊程度。或者，每个平均图像包括多个图像区域，平均图像对应的模糊标签，包括：多个图像区域对应的多个模糊标签，一个模糊标签用于指示一个图像区域的模糊程度。如此，训练得到的识别模型，可以图像区域为粒度，识别模糊程度，从而更精细的进行模糊程度的识别。
[0020]在第一方面的另一种可能设计方式中，k为奇数，上述方法还包括：将每组图像包括的k帧图像中第（k+1）/2帧图像确定为平均图像的清晰图像。将多组图像中每组图像的平
均图像作为第二输入样本，以及，平均图像的清晰图像作为第二输出样本，使用第二输入样本和第二输出样本训练第二网络模型，得到处理模型，处理模型用于对输入处理模型的图像进行去模糊处理。
[0021]也就是说，可以通过计算k帧图像的平均图像来得到输入样本，以及以k帧图像的中间帧图像作为输出样本，用于训练得到对图像进行去模糊处理的处理模型，用于对图像进行去模糊处理。
[0022]第二方面，本申请还提供了一种图像处理方法，可以使用前述模型训练方法训练得到的识别模型来识别图像的模糊程度。其中，将待识别图像作为输入，运行识别模型，输出得到待识别图像的模糊标签，模糊标签用于指示待识别图像的模糊程度。
[0023]在第一方面的一种可能设计方式中，在输出得到待识别图像的模糊标签之后，还可以使用前述模型训练方法训练得到的处理模型来进行去模糊处理。其中，如果待识别图像的模糊标签为预设标签，将待识别图像作为输入，运行处理模型，输出得到待识别图像的清晰图像。其中，预设标签用于指示较高的模糊程度。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取多组图像，一组图像中包括连续拍摄的k帧图像，k为大于或等于2的整数；计算得到每组图像的平均图像，以及，每组图像中包括的多个像素点的光流；基于每组图像中所述多个像素点的光流标注得到所述平均图像对应的模糊标签，所述模糊标签用于指示模糊程度；将所述多组图像中每组图像的所述平均图像作为第一输入样本，以及，所述平均图像对应的模糊标签作为第一输出样本，使用所述第一输入样本和所述第一输出样本训练第一网络模型，得到识别模型，所述识别模型用于识别输入所述识别模型的图像的模糊程度。2.根据权利要求1所述的方法，其特征在于，所述获取多组图像，包括：采集多段视频；划分每段视频，得到至少两段子视频，每段子视频包括m帧图像，m为大于或等于2的整数；从每段子视频包括的m帧图像中选出连续拍摄的所述k帧图像作为一组图像。3.根据权利要求1所述的方法，其特征在于，所述计算得到每组图像的平均图像，包括：对每组图像包括的所述k帧图像中每个像素点的灰度值进行平均值计算，得到所述k帧图像中每个像素点的灰度平均值；基于所述k帧图像中所有像素点的所述灰度平均值得到所述平均图像，其中，所述平均图像包括灰度值为所述灰度平均值的像素点。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述多个像素点的光流包括每组图像包括的所述k帧图像中第一帧图像的所述多个像素点的图像内容移动到第k帧图像中所述图像内容所在的像素点的光流。5.根据权利要求1
‑
3中任一项所述的方法，其特征在于，每个像素点的光流包括所述像素点在图像坐标系的x轴方向的第一位移和y轴方向的第二位移；所述基于每组图像中所述多个像素点的光流标注得到所述平均图像对应的模糊标签，包括：统计所述多个像素点的光流中所述第一位移小于第一位移阈值和所述第二位移小于第二位移阈值的像素点的数量；根据所述数量标注得到所述平均图像对应的模糊标签；其中，所述数量越多，所述平均图像对应的所述模糊标签指示的模糊程度越低。6.根据权利要求5所述的方法，其特征在于，所述统计所述多个像素点的光流中所述第一位移小于第一位移阈值和所述第二位移小于第二位移阈值的像素点的数量，包括：计算所述多个像素点中每个像素点的光流中所述第一位移和所述第二位移的欧氏距离；统计所述多个像素点中所述欧氏距离小于第一距离阈值的像素点的数量。7.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述平均图像对应的模糊标签，包括：每个平均图像对应一个模糊标签，所述模糊标签用于指示所述平均图像的模糊程度；或者，每个平均图像包括多个图像区域，所述平均图像对应的模糊标签，包括：所述多个图像区域对应的多个模糊标签，一个模糊标签用于指示一个图像区域的模糊程度。
8.根据权利要求1
‑
3中任一项所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：刘亚，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：