图像处理方法、装置及存储介质制造方法及图纸

本申请涉及人工智能技术领域，尤其涉及一种图像处理方法、装置及存储介质。所述方法包括：根据ISP参数对采集到的原始图像进行处理得到目标图像，根据目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，目标评估结果指示评估的目标图像的图像质量；根据目标评估结果对ISP参数进行调整。本申请实施例通过调用图像质量评估模型对目标图像进行图像质量评估，输出得到目标评估结果，根据目标评估结果自动调整ISP参数，保证了ISP参数的调试效果，提高了后续经过ISP处理后的图像质量。本申请实施例提供的方法、装置可应用于智能汽车、新能源汽车等。新能源汽车等。新能源汽车等。

【技术实现步骤摘要】
图像处理方法、装置及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种图像处理方法、装置及存储介质。

技术介绍

[0002]在自动驾驶领域，摄像头输出图像的质量除了相机本身的模组、工艺等外，还取决于图像信号处理器(Image Signal Processor，ISP)技术。
[0003]相关技术中，如图1所示，图像成像过程包括：通过镜头11拍摄景物，将生成的光学图像投射到感光传感器12表面上，然后光学图像被光电转换为模拟电信号，模拟电信号被消噪声后经过模数转换器13转换后变为数字图像信号，将数字图像信号输入至数字信号处理芯片(Digital Signal Process，DSP)14中，经过DSP14的加工处理输出YUV(或者RGB)格式的数据，再通过I/O接口传输到中央处理器(central processing unit，CPU)中处理，最终转换成电子设备的屏幕上所显示的图像。其中，DSP14的结构框架包括图像信号处理器(image signal processor，ISP)、图像解码器(JPEG encoder，JPEG)和USB设备控制器(USB device controller，USB)。
[0004]ISP用于对感光传感器输出的数据进行后期处理，主要功能包括黑电平补偿(black level compensation)、镜头矫正(lens shading correction)、坏像素矫正(bad pixel correction)、颜色插值(demosaic)、噪声去除、白平衡矫正、色彩矫正(color correction)、伽马(gamma)矫正、色彩空间转换(比如RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像头的成像质量。
[0005]当前自动驾驶领域摄像头的图像质量取决于ISP参数，然而ISP参数的调试效果取决于调测的环境、参数标定方法、调测人员经验等，调试效果不佳。

技术实现思路

[0006]有鉴于此，提出了一种图像处理方法、装置及存储介质，能够根据图像质量评估模型输出的目标评估结果，自动调整ISP参数，保证了ISP参数的调试效果，提高了后续经过ISP处理后的图像质量。
[0007]第一方面，本申请的实施例提供了一种图像处理方法，所述方法包括：
[0008]根据ISP参数对采集到的原始图像进行处理得到目标图像；
[0009]根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
[0010]根据所述目标评估结果对所述ISP参数进行调整。
[0011]在该实现方式中，根据ISP参数对采集到的原始图像进行处理得到目标图像，根据目标图像，调用图像质量评估模型输出得到用于指示图像质量的目标评估结果，根据目标评估结果自动调整ISP参数，保证了ISP参数的调试效果，提高了后续经过ISP处理后的图像
质量。
[0012]在一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
[0013]其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
[0014]在该实现方式中，目标评估结果包括目标图像的客观质量信息和主观质量信息，使得图像质量评估模型输出的参数可以在客观指标和/或主观美学上指示目标图像的质量评估情况，进一步保证了图像质量评估模型的评估效果。
[0015]在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，包括：
[0016]将所述目标图像输入至所述场景分类层输出得到场景分类结果；
[0017]将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
[0018]在该实现方式中，在图像质量评估模型中引入场景分类层，电子设备将目标图像输入至场景分类层输出得到场景分类结果，将目标图像和场景分类结果输入至客观评分层输出得到客观质量信息，并将目标图像和场景分类结果输入至主观评分层输出得到主观质量信息，提供了一种多任务的图像处理方法，以便后续能够自动的调优不同场景类型下的ISP参数，提升各个场景下的图像质量。
[0019]在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
[0020]在该实现方式中，客观质量信息可以包括指定维度对应的客观评分值，主观质量信息可以包括指定维度对应的主观评分值，丰富了图像质量评估模型的输出参数，进一步保证了图像质量评估模型的评估效果。
[0021]在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述根据所述目标评估结果对所述ISP参数进行调整，包括：
[0022]对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
[0023]根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
[0024]在该实现方式中，根据指定维度对应的客观评分值和主观评分值确定指定维度对应的目标评分值，根据指定维度对应的目标评分值和预设参数阈值，对指定维度对应的ISP参数进行调整，从而能够自动的调优不同场景类型下的ISP参数，提升各个场景下的图像质量，可以自动的适配自动驾驶的全天候场景，从而满足自动驾驶感知算法对图像质量的需求。
[0025]在另一种可能的实现方式中，所述根据所述目标图像，调用预先训练完成的图像
质量评估模型输出得到目标评估结果之前，还包括：
[0026]获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和其中预先标注的正确评估结果。
[0027]在该实现方式中，根据至少一组样本数据组训练得到图像质量评估模型，每组样本数据组包括样本图像和预先标注的正确评估结果，以便后续基于训练完成的图像质量评估模型输出目标评估结果，从而自动调整ISP参数，为ISP参数的调试提供了前提条件。
[0028]在另一种可能的实现方式中，所述获取所述图像质量评估模型之前，还包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：根据ISP参数对采集到的原始图像进行处理得到目标图像；根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；根据所述目标评估结果对所述ISP参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。3.根据权利要求2所述的方法，其特征在于，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，包括：将所述目标图像输入至所述场景分类层输出得到场景分类结果；将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。4.根据权利要求2或3所述的方法，其特征在于，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。5.根据权利要求4所述的方法，其特征在于，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述根据所述目标评估结果对所述ISP参数进行调整，包括：对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。6.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果之前，还包括：获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。7.根据权利要求6的方法，其特征在于，所述获取所述图像质量评估模型之前，还包括：获取训练样本集，所述训练样本集包括所述至少一组样本数据组；对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果之后，还包括：对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。9.一种图像处理装置，其特征在于，所述装置包括：处理单元，用于根据ISP参数对采集到的原始图像进行处理得到目标图像；输出单元，用于根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；调整单元，用于根据所述...

【专利技术属性】
技术研发人员：张毅，覃广耀，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：