模型训练方法、图像处理方法、装置、设备与介质制造方法及图纸

本公开提供一种模型训练方法、图像处理方法、装置、设备与介质，涉及图像处理技术领域，尤其涉及人工智能、大数据、计算机视觉技术领域。具体实现方案为：获取若干张初始样本图像；随机旋转初始样本图像，得到不同预设旋转方向上的目标样本图像并生成对应的样本方向标签信息；将每张目标样本图像作为输入，对应的样本方向标签信息作为输出，采用预设轻量级网络模型训练得到图像方向预测模型。本公开基于预设轻量级网络模型训练得到图像方向预测模型，实现对任意一张待处理图像，都能够高效且准确地对应的图像方向预测情况并给出对应的矫正策略以自动进行矫正，以得到方向为正的图像，能够满足复杂的视觉任务场景要求。能够满足复杂的视觉任务场景要求。能够满足复杂的视觉任务场景要求。

【技术实现步骤摘要】
模型训练方法、图像处理方法、装置、设备与介质


[0001]本公开涉及图像处理
，尤其涉及人工智能、大数据、计算机视觉
，具体提供一种模型训练方法、图像处理方法、装置、设备与介质。

技术介绍

[0002]在计算机视觉任务中，图像的方向至关重要，在一定程度上，图像的方向决定了任务的好坏，如在数字识别中，“6”和“9”在0度和180度会得到截然不同的结果，在图像识别中，一个倒着的摩天轮也可能会识别为替他物品，在目标检测中，预测一个被旋转过的图像的框非常难，甚至基本不可能，所以在做所有视觉的任务中，预测图像的方向，并对其进行纠正会变得异常重要。其可以嵌套在任何视觉算法上，在保证不影响原有方向为正的图像的精度上大大提升其他方向的精度。
[0003]目前的方案中，要么是提升视觉任务的精度往往主要集中在具体任务的模型上，如提升目标检测的精度往往会主要优化目标检测模型的精度、提升语义分割的精度往往会去优化语义分割模型的精度。由于公开数据集的方向基本为正，所以这种优化模型的方法本身不会存在问题，即优化模型只针对模型本身，很少会有一个图像方向矫正模块，来专门负责提升图像质量；要么是为了适应不同方向的图像预测的精度，在整个预测过程中使用了图像方向分类器，但是通常这类模型会比较大，模型训练以及处理时间比较长，从而会拖慢了整个速度，很难做到实时预测图像方向，从而无法实际场景需求。

技术实现思路

[0004]本公开要解决的技术问题是为了克服现有技术中存在无法有效、可靠、实时地对图像方向识别的缺陷，提供一种模型训练方法、图像处理方法、装置、设备与介质。
[0005]本公开是通过下述技术方案来解决上述技术问题：
[0006]根据本公开的一方面，提供一种图像方向预测模型的训练方法，所述训练方法包括：
[0007]获取若干张初始样本图像；
[0008]随机旋转所述初始样本图像，得到不同预设旋转方向上的目标样本图像并生成对应的样本方向标签信息；
[0009]将每张所述目标样本图像作为输入，对应的所述样本方向标签信息作为输出，采用预设轻量级网络模型训练得到所述图像方向预测模型。
[0010]根据本公开的另一方面，提供一种图像处理方法，所述图像处理方法基于上述的图像方向预测模型的训练方法实现；
[0011]所述图像处理方法包括：
[0012]获取待处理图像；
[0013]将所述待处理图像输入至所述图像方向预测模型中，得到输出的图像方向预测结果。
[0014]根据本公开的另一方面，提供一种图像方向预测模型的训练装置，所述训练装置包括：
[0015]初始样本图像获取模块，用于获取若干张初始样本图像；
[0016]目标样本图像获取模块，用于随机旋转所述初始样本图像，得到不同预设旋转方向上的目标样本图像；
[0017]样本标签信息获取模块，用于生成对应的样本方向标签信息；
[0018]模型训练模块，用于将每张所述目标样本图像作为输入，对应的所述样本方向标签信息作为输出，采用预设轻量级网络模型训练得到所述图像方向预测模型。
[0019]根据本公开的另一方面，提供一种图像处理装置，所述图像处理装置基于上述的图像方向预测模型的训练装置实现；
[0020]所述图像处理装置包括：
[0021]待处理图像获取模块，用于获取待处理图像；
[0022]预测结果获取模块，用于将所述待处理图像输入至所述图像方向预测模型中，得到输出的图像方向预测结果。
[0023]根据本公开的另一方面，提供一种电子设备，包括：
[0024]至少一个处理器；以及
[0025]与所述至少一个处理器通信连接的存储器；其中，
[0026]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
[0027]根据本公开的另一方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述的方法。
[0028]根据本公开的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述的方法。
[0029]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0030]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0031]图1为本公开第一实施例的图像方向预测模型的训练方法的流程图。
[0032]图2为本公开第一实施例的图像方向预测模型的训练方法的流程图。
[0033]图3为本公开第一实施例的图像方向预测模型的训练方法的流程图。
[0034]图4为本公开第一实施例的图像方向预测模型的训练方法的流程图。
[0035]图5为本公开第一实施例的图像方向预测模型的训练方法的流程图。
[0036]图6为本公开第一实施例的图像方向预测模型的训练方法的流程图。
[0037]图7为本公开第二实施例的图像处理方法的流程图。
[0038]图8为本公开第二实施例的图像处理方法的流程图。
[0039]图9为本公开第三实施例的图像方向预测模型的训练装置的模块示意图。
[0040]图10为本公开第三实施例的图像方向预测模型的训练装置的模块示意图。
[0041]图11为本公开第四实施例的图像处理装置的模块示意图。
[0042]图12为本公开第四实施例的图像处理装置的模块示意图。
[0043]图13为本公开第五实施例的电子设备的结构示。
具体实施方式
[0044]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0045]实施例1
[0046]如图1所示，本实施例的图像方向预测模型的训练方法包括：
[0047]S101、获取若干张初始样本图像；
[0048]其中，这些初始样本图像来源于ImageNet、COCO、Cityscapes(ImageNet、COCO、Cityscapes均为一种图像数据库)等图像数据库。
[0049]S102、随机旋转初始样本图像，得到不同预设旋转方向上的目标样本图像并生成对应的样本方向标签信息；
[0050]例如，初始样本图像未旋转前图像方向为正，在对其旋转角度A后，自动标识出该旋转角度A所在的旋转方向的信息MA；在对其旋转角度B后，自动标识出该旋转角度B所在的旋转方向的信息MB，依次类推。其中，对应不同的内容生成与之相适配的标识信息属于本领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像方向预测模型的训练方法，所述训练方法包括：获取若干张初始样本图像；随机旋转所述初始样本图像，得到不同预设旋转方向上的目标样本图像并生成对应的样本方向标签信息；将每张所述目标样本图像作为输入，对应的所述样本方向标签信息作为输出，采用预设轻量级网络模型训练得到所述图像方向预测模型。2.如权利要求1所述的图像方向预测模型的训练方法，基于不同的所述目标样本图像构成样本图像训练集；所述采用预设轻量级网络模型训练得到所述图像方向预测模型的步骤之后，还包括：采用第一预设优化方式对所述样本图像训练集进行优化处理；采用所述预设轻量级网络模型基于优化处理后的对所述样本图像训练集进行训练，得到优化后的所述图像方向预测模型。3.如权利要求2所述的图像方向预测模型的训练方法，所述采用第一预设优化方式对所述样本图像训练集进行优化处理的步骤，包括：将所述样本图像训练集中的任意一张所述目标样本图像输入至所述图像方向预测模型，得到输出的第一方向标签信息；比对所述第一方向标签信息和所述样本方向标签信息，确定所述第一方向标签信息的第一置信度；将所述第一置信度小于第一设定阈值的所述目标样本图像从所述样本图像训练集中剔除，以得到优化后的所述样本图像训练集。4.如权利要求3所述的图像方向预测模型的训练方法，所述采用第一预设优化方式对所述样本图像训练集进行优化处理的步骤，包括：生成预设图像训练集中的每张第一图像对应的第二方向标签信息；将所预设图像训练集中的任意一张所述第一图像输入至所述图像方向预测模型，得到输出的第三方向标签信息；比对所述第二方向标签信息和所述第三方向标签信息，确定所述第三方向标签信息的第二置信度；将所述第二置信度大于或者等于所述第一设定阈值的所述第一图像作为所述目标样本图像并增加至所述样本图像训练集，以得到优化后的所述样本图像训练集。5.如权利要求2所述的图像方向预测模型的训练方法，在模型训练前，所述训练方法还包括：对所述样本图像训练集中的所述目标样本图像采用多种预设数据增强方式进行增强处理；其中，多种所述预设数据增强方式采用概率融合方式进行处理，每种所述预设数据增强方式对应不同的预设概率。6.如权利要求2
‑
5中任一项所述的图像方向预测模型的训练方法，所述训练方法还包括：采用第二预设优化方式对所述预设轻量级网络模型的模型参数进行优化处理；所述采用预设轻量级网络模型训练得到所述图像方向预测模型的步骤，包括：
采用优化处理后的所述预设轻量级网络模型对所述样本图像训练集进行训练，得到优化后的图像方向预测模型。7.如权利要求6所述的图像方向预测模型的训练方法，所述训练方法还包括：采用预设知识蒸馏算法获取教师模型根据所述样本图像训练集中每张所述目标样本图像输出的参照方向标签信息；所述采用预设轻量级网络模型训练得到所述图像方向预测模型的步骤，包括：将每张所述目标样本图像作为输入，对应的所述参照方向标签信息作为输出，采用所述预设轻量级网络模型训练得到新的所述图像方向预测模型。8.如权利要求1
‑
5中任一项所述的图像方向预测模型的训练方法，所述预设轻量级网络模型包括骨干网络模型PP
‑
LCNet。9.如权利要求1所述的图像方向预测模型的训练方法，不同的所述预设旋转方向包括0度、90度、180度或270度。10.一种图像处理方法，所述图像处理方法基于如权利要求1
‑
9中任一项所述的图像方向预测模型的训练方法实现；所述图像处理方法包括：获取待处理图像；将所述待处理图像输入至所述图像方向预测模型中，得到输出的图像方向预测结果。11.如权利要求10所述的图像处理方法，所述得到输出的图像方向预测结果的步骤之后，还包括：根据所述图像方向预测结果获取所述待处理图像在不同的预设旋转方向的概率值；将所述概率值大于第二设定阈值对应的所述预设旋转方向作为所述待处理图像的实际图像方向；基于所述实际图像方向生成对应的图像矫正策略；根据所述图像矫正策略将所述待处理图像调整至目标图像方向。12.一种图像方向预测模型的训练装置，所述训练装置包括：初始样本图像获取模块，用于获取若干张初始样本图像；目标样本图像获取模块，用于随机旋转所述初始样本图像，得到不同预设旋转方向上的目标样本图像；样本标签信息获取模块，用于生成对应的样本方向标签信息；模型训练模块，用于将每张所述目标样本图像作为输入，对应的所述样本方向标签信息作为输出，采用预设轻量级网络模型训练得到所述图像方向预测模型。13.如权利要求12所述的图像方向预测模型的训练装置，基于不同的所述目标样本图像构成样本图像训练集；所述训练装置还包括...

【专利技术属性】
技术研发人员：崔程，郜廷权，魏胜禹，李晨霞，杜宇宁，刘毅，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：