适用机器视觉的图像信号处理环境的训练方法及设备技术

本发明专利技术涉及图像信号处理环境的训练方法、装置及可读介质，其中本发明专利技术的计算装置包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时实现图像信号处理环境的训练方法。通过本发明专利技术可以提高处理后图片的语义质量。理后图片的语义质量。理后图片的语义质量。

【技术实现步骤摘要】
适用机器视觉的图像信号处理环境的训练方法及设备


[0001]本专利技术一般地涉及神经网络领域。更具体地，本专利技术涉及适用机器视觉的图像信号处理环境的训练方法、图像信号处理装置、计算装置、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]在图像信号处理(Image Signal Processing，ISP)技术中，以真实还原场景或愉悦人眼为目标的色调映射(Tone Mapping，TM)模块或者动态范围压缩(Dynamic Range Compressing，DRC)模块长期以来是图像信号处理的核心功能模块。这是因为：受限于显示设备的显示位宽，图像采集传感器采集到的高位宽数据无法直接显示在显示设备上，需经过TM模块或DRC模块的处理。
[0003]随着机器视觉的发展，越来越多的产品不再需要显示图像，而是直接由机器接收图像数据并基于图像自动做出决策，如机器人、园区自动驾驶小车、智能监控等。在这些产品中通常包括核心神经网络，用于分析收到的图像信号，根据图像语义信息进行决策。这些产品同样受到位宽的限制，同样需要TM模块或DRC模块对图像数据进行处理。为使机器能更好地根据处理后的图像进行决策，图像处理技术需生成适合机器判读的图像，即，所生成的图像使得机器可以从中获取高质量的语义信息，以作为决策的依据。由于机器感知图像语义信息的方式与人眼的感知方式不同，因此，处理图像数据以生成适合机器判读的图像的技术与生成适合人眼接收的图像的技术有所不同。为了生成适合机器判读的图像，需要一种适用于机器视觉的图像信号处理技术，特别是色调映射或动态范围压缩技术。

技术实现思路

[0004]为了至少部分地解决
技术介绍
中提到的技术问题，本专利技术的方案提供了一种适用机器视觉的图像信号处理环境的训练方法、图像信号处理装置、计算装置、计算机可读存储介质及计算机程序产品。
[0005]在一个方面中，本专利技术揭露一种适用机器视觉的图像信号处理环境的训练方法，图像信号处理环境包括色调映射框架。训练方法包括：建立教练网络；以及基于教练网络的权重训练色调映射框架中的网络层，以获得网络层的教练后权重；其中，网络层基于教练后权重生成像素亮度的半饱和值。
[0006]在另一个方面中，本专利技术揭露一种适用机器视觉的图像信号处理装置，包括：色调映射模块，用以调整像素亮度，其包括网络模块，基于教练网络的权重进行训练，以获得教练后权重，并基于教练后权重生成像素亮度的半饱和值。
[0007]在另一个方面中，本专利技术揭露一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如上所述的方法的步骤。
[0008]在另一个方面中，本专利技术揭露一种计算机可读存储介质，其上存储适用机器视觉
的图像信号处理环境的训练方法的计算机程序代码，当所述计算机程序代码由处理装置运行时，执行如上所述的方法。
[0009]在另一个方面中，本专利技术揭露一种计算机程序产品，包括适用机器视觉的图像信号处理环境的训练方法的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
[0010]本专利技术在训练适用机器视觉的图像信号处理环境时，引入教练网络对图像信号处理环境中的色调映射框架的网络层进行训练，使得训练后的网络层能够基于待处理图像输出可用在适用于机器视觉的图像信号处理中的像素亮度半饱和值，从而实现了适用于机器视觉的图像信号处理技术。
附图说明
[0011]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，并且相同或对应的标号表示相同或对应的部分。其中：
[0012]图1是示出本专利技术实施例的色调映射框架的结构示意图；
[0013]图2是示出本专利技术实施例的图像信号处理环境/装置的结构示意图；
[0014]图3是示出本专利技术一实施例的适用机器视觉的图像信号处理环境的训练方法的示例流程图；
[0015]图4是示出本专利技术另一实施例的适用机器视觉的图像信号处理环境的训练方法的示例流程图；
[0016]图5是示出本专利技术实施例的基于教练网络训练网络层的训练环境的结构示意图；
[0017]图6是示出本专利技术实施例的计算装置的示意组成框图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]应当理解，本专利技术的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本专利技术的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0020]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本专利技术。如在本专利技术说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0021]如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
[0022]下面结合附图来详细描述本专利技术的具体实施方式。
[0023]如前所述，如今某些诸如机器人的产品需要根据图像中的语义信息做决策。而在现有技术的图像信号处理技术中，经过处理后的图像均是愉悦人眼或仿造人眼的，这种图像信号处理技术在应用时不考虑语义质量，因此对于机器视觉来说是不友好的。有鉴于此，本专利技术提供适用于机器视觉的图像信号处理技术，该图像信号处理技术使用色调映射框架调整像素亮度以生成适合机器判读的图像。
[0024]图1示出了本专利技术实施例的色调映射框架的结构示意图。如图1所示，该示例色调映射框架100包括网络模块101、人眼压缩模块102、色彩转亮度模块(rgb2L模块)103和亮度转色彩模块(L2rgb模块)104。色调映射框架100是基于人眼压缩模型改良而来，网络模块101包括一个网络层，人眼压缩模块102基于人眼压缩模型根据输入其中的待处理图像的输入像素亮度、统计信息以及像素亮度的半饱和值σ(即背景信息)生成调整后的输出像素亮度。其中，统计信息为全局统计信息，也可以将其扩展后作为先验知识与待处理图像合并在一起作为色调映射框架100的输入。在一个示例中，人眼压缩模块102基于以下公式生成输出像素亮度值：...

【技术保护点】

【技术特征摘要】
1.一种适用机器视觉的图像信号处理环境的训练方法，所述图像信号处理环境包括色调映射框架，所述训练方法包括：建立教练网络；以及基于所述教练网络的权重训练所述色调映射框架中的网络层，以获得所述网络层的教练后权重；其中，所述网络层基于所述教练后权重生成像素亮度的半饱和值。2.根据权利要求1所述的训练方法，所述色调映射框架包括人眼压缩模型，所述训练方法还包括：通过人眼标定，生成人眼训练数据集；以及将所述人眼训练数据集导入所述色调映射框架中，以监督训练所述网络层，生成所述网络层的初始权重；其中，基于所述教练网络的权重训练所述网络层的步骤是基于所述初始权重展开训练。3.根据权利要求1所述的训练方法，其中所述教练网络包括：骨干网络(backbone)，为ResNet结构；以及首部网络(header)，为数层全连接层加上Softmax结构。4.根据权利要求3所述的训练方法，其中所述教练网络的训练数据为ImageNet、COCO及VOC数据库其中之一。5.根据权利要求3所述的训练方法，其中所述基于教练网络的权重训练所述网络层的步骤为自监督训练。6.根据权利要求3所述的训练方法，其中所述基于教练网络的权重训练所述网络层的步骤是根据所述教练网络的损失函数梯度回传进行训练。7.根据权利要求1所述的训练方法，其中所述网络层为ResNet结构。8.根据权利要求1所述的训练方法，其中所述网络层为步长为1的多层二维卷积网络。9.根据权利要求1所述的训练方法，其中所述图像信号处理环境包括目标网络，所述训练方法还包括：基于所述教练后权重，训练所述目标网络，以获得所述目标网络的微调后权重；其中，所述图像信号处理环境基于所述教练后权重及所述微调后权重执行推理任务。10.根据权利要求2所述的训练方法，其中所述人眼压缩模型基于以下公式生成输出像素亮度值：其中，L
out
为所述输出像素亮度值，L
in
为输入像素亮度值，σ为所述半饱和值。11.根据权利要求10所述的训练方法，其中所述色...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：寒武纪西安集成电路有限公司，
类型：发明
国别省市：