图像处理网络的训练方法、图像处理方法及装置制造方法及图纸

本申请实施例公开了一种图像处理网络的训练方法、图像处理方法及装置，其中，所述方法包括：基于标注真值的训练图像，确定参考像素；以所述参考像素为起点，基于所述训练图像的马尔可夫链确定图像处理网络对所述训练图像进行处理时的裁剪概率；基于所述图像处理网络对训练裁剪区域进行处理的输出结果和所述真值，对所述图像处理网络的网络参数值和所述裁剪概率进行调整，得到训练完成的图像处理网络；所述训练裁剪区域基于所述裁剪概率对所述训练图像进行裁剪后得到。练图像进行裁剪后得到。练图像进行裁剪后得到。

【技术实现步骤摘要】
图像处理网络的训练方法、图像处理方法及装置


[0001]本申请涉及但不限于计算机视觉
，尤其涉及一种图像处理网络的训练方法、图像处理方法及装置。

技术介绍

[0002]通道修剪已广泛用于模型加速和压缩，以在嵌入式或移动设备上部署过参数化卷积图像处理网络(Convolutional Neural Networks，CNN)。在相关技术中，通过可微马尔可夫通道修剪(Differentiable Markov Channel Pruning，DMCP)的方式对该网络进行通道剪枝。在DMCP中，通道修剪过程被建模为马尔可夫链以减少搜索空间。但是在视线估计中，由于在训练图像中包括冗余像素，所以使得训练得到图像处理网络进行视线估计的准确度不高。

技术实现思路

[0003]有鉴于此，本申请实施例至少提供一种图像处理网络的训练方法、图像处理方法及装置。
[0004]本申请实施例的技术方案是这样实现的：
[0005]第一方面，本申请实施例提供一种图像处理网络的训练方法，所述方法包括：
[0006]基于标注真值的训练图像，确定参考像素；
[0007]以所述参考像素为起点，基于所述训练图像的马尔可夫链确定图像处理网络对所述训练图像进行处理时的裁剪概率；
[0008]基于所述图像处理网络对训练裁剪区域进行处理的输出结果和所述真值，对所述图像处理网络的网络参数值和所述裁剪概率进行调整，得到训练完成的图像处理网络；所述训练裁剪区域基于所述裁剪概率对所述训练图像进行裁剪后得到。
>[0009]第二方面，本申请实施例提供一种图像处理方法，所述方法包括：
[0010]获取待处理图像；
[0011]基于训练完成的图像处理网络的裁剪概率对所述待处理图像进行像素裁剪，得到待处理裁剪区域；其中，所述训练完成的图像处理网络为基于上述第一方面的方法训练得到的；
[0012]采用所述训练完成的图像处理网络对所述待处理裁剪区域进行处理，得到所述待处理图像的处理结果。
[0013]第三方面，本申请实施例提供一种图像处理网络的训练装置，包括：
[0014]第一确定模块，用于基于标注真值的训练图像，确定参考像素；
[0015]第二确定模块，用于以所述参考像素为起点，基于所述训练图像的马尔可夫链确定图像处理网络对所述训练图像进行处理时的裁剪概率；
[0016]第一调整模块，用于基于所述图像处理网络对训练裁剪区域进行处理的输出结果和所述真值，对所述图像处理网络的网络参数值和所述裁剪概率进行调整，得到训练完成
的图像处理网络；所述训练裁剪区域基于所述裁剪概率对所述训练图像进行裁剪后得到。
[0017]第四方面，本申请实施例提供一种图像处理装置，包括：
[0018]第一获取模块，用于获取待处理图像；
[0019]第一裁剪模块，用于基于训练完成的图像处理网络的裁剪概率对所述待处理图像进行像素裁剪，得到待处理裁剪区域；其中，所述训练完成的图像处理网络为基于上述图像处理网络的训练方法训练得到的；
[0020]第一处理模块，用于采用所述训练完成的图像处理网络对所述待处理裁剪区域进行处理，得到所述待处理图像的处理结果。
[0021]第五方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面或第二方面中的部分或全部步骤。
[0022]本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面或第二方面中的部分或全部步骤。
[0023]本申请实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述计算机设备中的处理器执行用于实现上述第一方面或第二方面中的部分或全部步骤。
[0024]本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
[0025]本申请实施例中，通过在标注真值的训练图像中确定参考像素，便于后续在训练图像中选择要保留的图像区域。之后，以该参考像素为起点，将对训练图像的裁剪操作建模为马尔可夫过程结合作为起点的参考像素，能够分析到训练图像中每一像素点是否被保留的裁剪概率。之后，通过图像处理网络对训练图像预测的输出结果和该训练图像的真值，对图像处理网络中的网络参数值和每一个像素的裁剪概率进行优化，以得到训练完成的图像处理网络。如此，通过引入马尔可夫链估计训练图像的裁剪概率，以及通过训练图像的输出结果和真值对裁剪概率以及网络参数值进行调整，从而能够优化该裁剪概率和网络参数值，进而能够提高训练完成的图像处理网络的性能。
[0026]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
[0027]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0028]图1为本申请实施例提供的一种图像处理网络的训练方法的实现流程示意图；
[0029]图2为本申请实施例提供的一种图像处理网络的训练方法的另一实现流程示意图；
[0030]图3为本申请实施例提供的一种图像处理方法的实现流程示意图；
[0031]图4为本申请实施例提供的马尔可夫链的组成结构示意图；
[0032]图5为本申请实施例提供的一种图像处理网络的训练方法应用场景示意图；
[0033]图6为本申请实施例提供的一种图像处理方法应用场景示意图；
[0034]图7为本申请实施例提供的图像处理网络的训练方法的又一应用场景示意图；
[0035]图8A为本申请实施例提供的一种图像处理网络的训练装置的组成结构示意图；
[0036]图8B为本申请实施例提供的一种图像处理装置的组成结构示意图；
[0037]图9为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
[0038]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0039]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0040]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
[0041]在对本申请实施例进行进一步详细说明之前，先对本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理网络的训练方法，其特征在于，所述方法包括：基于标注真值的训练图像，确定参考像素；以所述参考像素为起点，基于所述训练图像的马尔可夫链确定图像处理网络对所述训练图像进行处理时的裁剪概率；基于所述图像处理网络对训练裁剪区域进行处理的输出结果和所述真值，对所述图像处理网络的网络参数值和所述裁剪概率进行调整，得到训练完成的图像处理网络；所述训练裁剪区域基于所述裁剪概率对所述训练图像进行裁剪后得到。2.根据权利要求1所述的方法，其特征在于，所述训练图像包括：面部图像，所述真值为所述面部图像中的标注的视线信息。3.根据权利要求2所述的方法，其特征在于，所述标注的视线信息包括以下至少之一：视线的俯仰角、所述视线的偏航角、所述视线的翻滚角。4.根据权利要求2或3所述的方法，其特征在于，所述基于标注真值的训练图像，确定参考像素，包括：确定所述训练图像中的中心像素为所述参考像素；所述以所述参考像素为起点，基于所述训练图像的马尔可夫链确定图像处理网络对所述训练图像进行处理时的裁剪概率，包括：以所述中心像素为起点，基于所述马尔可夫链确定所述训练图像中每一像素的裁剪概率。5.根据权利要求4所述的方法，其特征在于，所述以所述中心像素为起点，基于所述马尔可夫链确定所述训练图像中每一像素的裁剪概率，包括：在所述马尔可夫链中，确定所述中心像素到下一个像素的转移概率；基于所述下一个像素的转移概率和所述下一个像素之前的多个像素的转移概率，确定所述下一个像素的裁剪概率。6.根据权利要求4或5所述的方法，其特征在于，所述以所述中心像素为起点，基于所述马尔可夫链确定所述训练图像中每一像素的裁剪概率，包括：基于从所述中心像素出发的至少一个方向上的马尔科夫链，各向同性的设置所述从中心像素出发的至少一个方向上的每一像素的裁剪概率。7.根据权利要求4或5所述的方法，其特征在于，所述以所述中心像素为起点，基于所述马尔可夫链确定所述训练图像中每一像素的裁剪概率，包括：基于从所述中心像素出发的对称传播方向上的马尔可夫链，设置从所述中心像素出发的对称传播方向上的像素的裁剪概率。8.根据权利要求1至7任一项所述的方法，其特征在于，在根据所述裁剪概率对所述训练图像进行裁剪得到所述训练裁剪区域后，所述方法还包括：在所述训练图像中，确定包括所述训练图像的中心像素的线；将所述训练裁剪区域校正为以所述线为对称轴的轴对称区域。9.根据权利要求1至7任一项所述的方法，其特征在于，在根据所述裁剪概率对所述训练图像进行裁剪得到所述训练裁剪区域后，所述方法还包括：将所述训练裁剪区域校正为以所述中心像素为对称中心的中心对称区域。10.根据权利要求1至9任一项所述的方法，其特征在于，所述基于所述图像处理网络对
训练裁剪区域进行处理的输出结果和所述真值，对所述图像处理网络的网络参数值和所述裁剪概率进行调整，得到训练完成的图像处理网络，包括：基于所述输出结果和所述真值，确定目标函数的值；基于所述目标函数的值和所述图像处理网络的计算量损失，对所述网络参数值和所述裁剪概率进行调整，得到所述训练完成的图像处理网络。11.根据权利要求10所述的方法，其特征在...

【专利技术属性】
技术研发人员：佐久间宏树，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：