图像处理方法及装置、设备以及存储介质制造方法及图纸

一种图像处理方法及装置、设备以及存储介质，方法包括：对当前帧进行场景预测，获得标签集；执行场景切换判断，包括第一、第二和第三判断中的任意一个或多个；第一判断判断前一帧分类标签是否包含于当前帧标签集中且与对应初始标签的置信度是否大于预设阈值；第二判断判断前一帧与当前帧的色彩统计信息差值是否在预设范围内；第三判断判断前一帧分类标签特征对应色调范围的像素在当前帧的占比是否大于预设占比阈值；当场景切换判断步骤中的至少一个判断结果为是时，为当前帧分配前一帧的分类标签；否则，设置第一初始标签为当前帧的分类标签；基于当前帧分类标签，配置相应的画质调节参数。本发明专利技术实施例减小场景误切换的概率，改善画质抖动问题。改善画质抖动问题。改善画质抖动问题。

【技术实现步骤摘要】
图像处理方法及装置、设备以及存储介质


[0001]本专利技术实施例涉及图像处理
，尤其涉及一种图像处理方法及装置、设备以及存储介质。

技术介绍

[0002]电视的视频处理单元(video processing unit，VPU)包含了色彩调节、锐化、降噪等模块。VPU对提升电视显示画面质量、提升画面细节和色彩方面有重要作用。常规的电视画质调节需要有一组VPU控制参数，适配所有画面，很难做到所有场景的画质最优。一些电视厂商采用人工智能算法对图像进行分类，对不同类别的图像采用不同的画质参数，希望获得最佳的画质效果。
[0003]AIPQ(Artificial Intelligent Picture Quality)的策略是通过卷积神经网络学习到图像的分类，对不同的分类采取最优的VPU参数，使得画质最优。对卷积神经网络进行训练时，依据画质调节经验创建图像分类训练集，训练完成后得到分类模型。在实际的画质调节过程中，分类模型对画面的场景进行预测，得到topN(一般是top1，top3或者top5)的分类结果。根据分类结果调节VPU的参数。最常见的是对色彩饱和度、对比度和DNLP等参数进行调整。
[0004]但是，目前画质调节容易出现画质抖动的问题。

技术实现思路

[0005]本专利技术实施例解决的问题是提供一种图像处理方法及装置、设备以及存储介质，减小由于分类模型精度导致场景误切换的概率，改善由于场景误切换导致的画质抖动的问题。
[0006]为解决上述问题，本专利技术实施例提供一种图像处理方法，包括：提供视频帧序列，包括视频帧序列的第一帧、和所述第一帧之后的当前帧；对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签，其中准确率最高的一个初始标签为第一初始标签；与当前帧相邻的前一帧具有已确定的分类标签；执行场景切换判断步骤，包括第一判断、第二判断和第三判断中的任意一个或多个判断步骤；其中，所述第一判断包括：判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，得第一判断结果；所述第二判断包括：判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，得第二判断结果；所述第三判断包括：判断所述前一帧标签特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，得第三判断结果；在当所述场景切换判断步骤中的至少一个判断结果为是时，设置当前帧的分类标签与所述前一帧的分类标签相同；否则，设置所述第一初始标签为所述当前帧的分类标签；基于当前帧的分类标签，为当前帧配置相应的画质调节参数。
[0007]相应的，本专利技术实施例还提供一种图像处理装置，包括：提供单元，用于提供视频
帧序列，包括视频帧序列的第一帧、和第一帧之后的当前帧；场景预测单元，用于获得所述第一帧的分类标签，还用于对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签，其中准确率最高的一个初始标签为第一初始标签；场景切换判断单元，用于对所述当前帧进行场景切换判断处理，所述场景切换判断单元包括第一判断子单元、第二判断子单元和第三判断子单元中的任意一个或多个判断子单元；其中，所述第一判断子单元用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，输出第一判断结果；所述第二判断子单元用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，输出第二判断结果；所述第三判断子单元用于判断前一帧的分类标签的特征对应的色调范围在当前帧图片中的占比，是否大于预设占比阈值，输出第三判断结果；标签设置单元，用于在当所述场景切换判断单元中的至少一个判断子单元的判断结果为是时，设置当前帧的分类标签与前一帧的分类标签相同；否则，所述标签设置单元用于设置所述第一初始标签为当前帧的分类标签；画质调节单元，用于基于当前帧的所述分类标签，为当前帧配置相应的画质调节参数。
[0008]相应的，本专利技术实施例还提供一种设备，包括至少一个存储器和至少一个处理器，所述存储器存储有一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现前述的图像处理方法。
[0009]本专利技术实施例还提供一种存储介质，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现前述的图像处理方法。
[0010]与现有技术相比，本专利技术实施例的技术方案具有以下优点：
[0011]本专利技术实施例提供的图像处理方法，在对当前帧进行场景预测处理后，执行场景切换判断步骤，包括第一判断、第二判断和第三判断中的任意一个或多个判断步骤；其中，所述第一判断用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，因此，在场景切换时，不仅将当前帧的第一初始标签与前一帧的分类标签进行比较，还同时检查前一帧的分类标签是否包含于当前帧的标签集中以及与对应初始标签的置信度，有利于防止由于分类模型精度导致的场景误切换；所述第二判断用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，进而提高对场景切换判断的准确度；所述第三判断用于判断前一帧分类标签的特征所对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，从而能够对当前帧的场景进行进一步的判断，有利于提高对场景切换判断的准确度；综上，本专利技术实施例通过所述场景切换步骤，能够提高对场景切换判断的准确度，有利于减小由于分类模型精度导致场景误切换的概率，相应在基于当前帧的分类标签配置对应的画质参数时，有利于改善由于场景误切换导致的画质抖动的问题，进而提升画质调节的质量。
附图说明
[0012]图1是本专利技术图像处理方法一实施例的流程示意图；
[0013]图2是图1中的步骤S9一实施例的流程示意图；
[0014]图3是图1中的步骤S8一实施例的流程示意图；
[0015]图4是本专利技术图像处理装置一实施例的功能框图；
[0016]图5是图4中的场景切换判断单元104一实施例的功能框图；
[0017]图6是本专利技术设备一实施例的结构示意图。
具体实施方式
[0018]由
技术介绍
可知，目前画质调节容易出现画质抖动的问题。
[0019]具体地，首先，真实场景中包含了大量的语义信息，极为复杂，比如蓝天、白云、人像、建筑物这些画质调节分类模型相应的场景中，语义信息并不是完全互斥的；其次，大部分的VPU参数不支持任意分区的参数调整，可以利用当前像素(Pixel)值，通过查找表的方式做色彩、DNLP(动态对比度增强)等模块的调整。
[0020]以色彩调整为例，假设一个场景有蓝天向草地过渡的过程。分类模型给出的top1蓝天的预测概率会逐渐减小，直到top1由蓝天变成草地，草地的top1概率逐渐增高。一般的画质调节策略为，在top1为蓝天时，根据色彩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：提供视频帧序列，包括视频帧序列的第一帧、和所述第一帧之后的当前帧；获得所述第一帧的分类标签；对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签，其中准确率最高的一个初始标签为第一初始标签；执行场景切换判断步骤，包括第一判断、第二判断和第三判断中的任意一个或多个判断步骤；其中，所述第一判断包括：判断与所述当前帧相邻的前一帧的分类标签，是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值；所述第二判断包括：判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内；所述第三判断包括：判断前一帧的分类标签特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值；在当所述场景切换判断步骤中的至少一个判断结果为是时，设置当前帧的分类标签与前一帧的分类标签相同；否则，设置所述第一初始标签为所述当前帧的分类标签；基于当前帧的所述分类标签，为当前帧配置相应的画质参数。2.如权利要求1所述的图像处理方法，其特征在于，获得所述第一帧的分类标签的步骤包括：对所述第一帧进行场景预测处理，获得一个预测结果，用于作为所述第一帧的分类标签；所述图像处理方法还包括：基于所述第一帧的分类标签，为所述第一帧配置相应的画质调节参数。3.如权利要求2所述的图像处理方法，其特征在于，基于所述第一帧的分类标签，为所述第一帧配置相应的画质调节参数的步骤包括：判断第一帧的分类标签是否为预设画质调节场景；如果是，则为所述第一帧配置与所述分类标签对应的画质调节参数；否则，为所述第一帧配置默认的画质调节参数。4.如权利要求1所述的图像处理方法，其特征在于，当所述场景切换判断步骤包括第一判断、第二判断和第三判断中的任意多个判断步骤时，并行执行第一判断、第二判断和第三判断中的任意多个判断；或者，所述第一判断、第二判断和第三判断的判断步骤具有先后顺序，所述第一判断的判断顺序先于所述第二判断和第三判断的判断顺序，且所述第二判断的判断顺序先于所述第三判断的判断顺序，且在前一个判断步骤的判断结果为否时，执行下一个判断步骤。5.如权利要求4所述的图像处理方法，其特征在于，所述场景切换判断步骤包括依次或并行进行的第一判断、第二判断和第三判断。6.如权利要求1所述的图像处理方法，其特征在于，所述基于当前帧的所述分类标签，为当前帧配置相应的画质参数的步骤包括：判断当前帧的所述分类标签是否为预设画质调节场景；如果是，则为所述当前帧配置与所述分类标签对应的画质调节参数；否则，设置当前帧的所述分类标签为默认标签，并且为当前帧配置默认的画质调节参数。7.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：对当前
帧进行预判断，用于判断当前帧的第一初始标签与前一帧的分类标签是否相同；当所述预判断的结果或所述场景切换判断步骤中的至少一个判断结果为是时，设置当前帧的分类标签与所述前一帧的分类标签相同；当所述预判断的结果和所述场景切换判断步骤中的所有判断结...

【专利技术属性】
技术研发人员：晏虎，陈颜君，顾敏，鲍政，王东建，
申请(专利权)人：晶晨半导体上海股份有限公司，
类型：发明
国别省市：