图像处理方法、神经网络的训练方法、装置以及设备制造方法及图纸

技术编号:18784434 阅读:20 留言:0更新日期:2018-08-29 07:11
本申请实施方式公开了一种图像处理方法、神经网络的训练方法、装置、设备、存储介质以及计算机程序,其中的图像处理方法包括:将待处理图像作为输入图像,提供给神经网络进行目标对象检测,其中,所述待处理图像包括:原始图像和/或所述原始图像的至少一个旋转图像;根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果;其中,所述神经网络是利用多角度的旋转图像样本训练获得的,所述旋转图像样本由图像样本通过旋转预设角度或随机角度得到。本申请提供的技术方案有利于提高目标对象检测的准确率和鲁棒性。

【技术实现步骤摘要】
图像处理方法、神经网络的训练方法、装置以及设备
本申请涉及计算机视觉技术,尤其是涉及一种图像处理方法、神经网络的训练方法、图像处理装置、神经网络的训练装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
图像处理通常包括:检测出图像中的人脸、车辆或者行人等目标对象。目前,利用深度卷积神经网络以及区域候选网络等神经网络,能够实现目标对象的检测。然而,在图像中的目标对象存在一定角度的倾斜(如人脸等目标对象与水平方向存在一定的夹角)的情况下,针对图像进行目标对象检测的准确率会受到影响。如何提高目标对象检测的准确率是一个值得关注的技术问题。
技术实现思路
本申请实施方式提供一种图像处理和神经网络训练的技术方案。根据本申请实施方式的其中一方面,提供了一种图像处理方法,该方法包括:将待处理图像作为输入图像,提供给神经网络进行目标对象检测;其中,所述待处理图像包括:原始图像和/或所述原始至少一个图像的旋转图像;根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果;其中,所述神经网络是利用多角度的旋转图像样本训练获得的,所述旋转图像样本由图像样本通过旋转预设角度或随机角度得到。在本申请一实施方式中,所述旋转图像与原始图像大小相同,且包含有原始图像中完整的图像内容;所述旋转图像的产生方式包括:对所述原始图像进行缩小处理以及旋转处理;其中,所述旋转处理包括:基于随机角度的旋转处理,和/或,基于预设旋转角度的旋转处理。在本申请又一实施方式中,所述目标对象检测结果信息包括:目标对象位置和目标对象位置的置信度。在本申请再一实施方式中,所述神经网络包括:用于提取各输入图像的图像特征的主网络单元、用于检测各输入图像的目标对象位置的第一分支网络单元以及用于检测各输入图像的目标对象位置的置信度的第二分支网络单元;其中,所述主网络单元输出的各输入图像的图像特征分别提供给第一分支网络单元和第二分支网络单元。在本申请再一实施方式中,所述将待处理图像作为输入图像,提供给神经网络进行目标对象检测包括:将原始图像作为输入图像,提供给神经网络进行目标对象检测;所述根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果包括:根据所述神经网络针对原始图像输出的目标对象外接框位置以及目标对象外接框位置的置信度,将置信度满足预定置信度要求的目标对象外接框位置,作为所述原始图像中的目标对象的位置。在本申请再一实施方式中,所述将待处理图像作为输入图像,提供给神经网络进行目标对象检测包括:将原始图像的一旋转图像作为输入图像,提供给神经网络进行目标对象检测;所述根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果包括:根据所述神经网络针对旋转图像输出的目标对象外接框位置以及目标对象外接框位置的置信度,确定置信度满足预定置信度要求的目标对象外接框位置;将所述神经网络针对旋转图像输出的各目标对象外接框位置以及各目标对象外接框位置的置信度中的,置信度满足预定置信度要求的目标对象外接框位置,映射到所述原始图像中,将映射后的目标对象外接框位置,作为所述目的原始图像中的目标对象的位置。在本申请再一实施方式中,所述将待处理图像作为输入图像,提供给神经网络进行目标对象检测包括:将原始图像的至少两个旋转图像分别作为输入图像,提供给神经网络进行目标对象检测;或者,将原始图像和所述原始图像的至少一个旋转图像分别作为输入图像,提供给神经网络进行目标对象检测;所述根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果包括:根据所述神经网络针对各输入图像分别输出的目标对象外接框位置以及目标对象外接框位置的置信度,确定置信度满足预定置信度要求的目标对象外接框位置;将置信度满足预定置信度要求,且对应旋转图像的目标对象外接框位置,分别映射到所述原始图像中;针对存在交叠,且对应不同输入图像的目标对象外接框,进行目标对象外接框合并处理;根据合并处理结果,形成所述原始图像的目标对象检测结果。在本申请再一实施方式中,所述目标对象外接框合并处理包括:在目标对象外接框之间的交并比满足预定要求的情况下,将置信度高的目标对象外接框作为合并后的目标对象外接框。在本申请再一实施方式中,所述神经网络的训练过程包括:从训练数据集中获取图像样本;将所述图像样本的旋转图像样本提供给待训练的神经网络,进行目标对象检测;以所述图像样本的目标对象位置标注信息为指导信息,或者以基于所述图像样本的目标对象位置标注信息形成的所述旋转图像样本的目标对象位置标注信息为指导信息,对所述待训练的神经网络进行监督学习。在本申请再一实施方式中,所述旋转图像样本与图像样本大小相同,且包含有图像样本中完整的图像内容;所述旋转图像样本的产生方式包括:对所述图像样本进行缩小处理以及旋转处理。在本申请再一实施方式中,所述旋转处理包括:基于随机角度的旋转处理,和/或,基于预设旋转角度的旋转处理。根据本申请实施方式的另一方面,提供了一种神经网络的训练方法,该方法包括:从训练数据集中获取图像样本;将所述图像样本的旋转图像样本提供给待训练的神经网络,进行目标对象检测;以所述图像样本的目标对象位置标注信息为指导信息,或者以基于所述图像样本的目标对象位置标注信息形成的所述旋转图像样本的目标对象位置标注信息为指导信息,对所述待训练的神经网络进行监督学习。在本申请一实施方式中,所述旋转图像样本与图像样本大小相同,且包含有图像样本中完整的图像内容;所述旋转图像样本的产生方式包括:对所述图像样本进行缩小处理以及旋转处理。在本申请又一实施方式中,所述旋转处理包括:基于随机角度的旋转处理,和/或,基于预设旋转角度的旋转处理。根据本申请实施方式的再一方面,提供了一种图像处理装置,该装置包括:目标对象检测模块,用于将待处理图像作为输入图像,提供给神经网络进行目标对象检测;其中,所述待处理图像包括:原始图像和/或所述原始图像的至少一个旋转图像;获得检测结果模块,用于根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果;其中,所述神经网络是利用多角度的旋转图像样本训练获得的,所述旋转图像样本由图像样本通过旋转预设角度或随机角度得到。在本申请一实施方式中,所述旋转图像与原始图像大小相同,且包含有原始图像中完整的图像内容;所述装置还包括:产生旋转图像模块,用于对所述原始图像进行缩小处理以及旋转处理;其中,所述旋转处理包括:基于随机角度的旋转处理,和/或,基于预设旋转角度的旋转处理。在本申请又一实施方式中,所述目标对象检测结果信息包括:目标对象位置和目标对象位置的置信度。在本申请再一实施方式中,所述神经网络包括:用于提取各输入图像的图像特征的主网络单元、用于检测各输入图像的目标对象位置的第一分支网络单元以及用于检测各输入图像的目标对象位置的置信度的第二分支网络单元;其中,所述主网络单元输出的各输入图像的图像特征分别提供给第一分支网络单元和第二分支网络单元。在本申请再一实施方式中,所述目标对象检测模块具体用于:将原始图像作为输入图像,提供给神经网络进行目标对象检测;所述获得检测结果模块具本文档来自技高网...

【技术保护点】
1.一种图像处理方法,其特征在于,包括:将待处理图像作为输入图像,提供给神经网络进行目标对象检测;其中,所述待处理图像包括:原始图像和/或所述原始至少一个图像的旋转图像;根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果;其中,所述神经网络是利用多角度的旋转图像样本训练获得的,所述旋转图像样本由图像样本通过旋转预设角度或随机角度得到。

【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:将待处理图像作为输入图像,提供给神经网络进行目标对象检测;其中,所述待处理图像包括:原始图像和/或所述原始至少一个图像的旋转图像;根据所述神经网络针对各输入图像分别输出的目标对象检测信息,确定所述原始图像的目标对象检测结果;其中,所述神经网络是利用多角度的旋转图像样本训练获得的,所述旋转图像样本由图像样本通过旋转预设角度或随机角度得到。2.根据权利要求1所述的方法,其特征在于,所述旋转图像与原始图像大小相同,且包含有原始图像中完整的图像内容;所述旋转图像的产生方式包括:对所述原始图像进行缩小处理以及旋转处理;其中,所述旋转处理包括:基于随机角度的旋转处理,和/或,基于预设旋转角度的旋转处理。3.根据权利要求1至2中任一项所述的方法,其特征在于,所述目标对象检测结果信息包括:目标对象位置和目标对象位置的置信度。4.根据权利要求3所述的方法,其特征在于,所述神经网络包括:用于提取各输入图像的图像特征的主网络单元、用于检测各输入图像的目标对象位置的第一分支网络单元以及用于检测各输入图像的目标对象位置的置信度的第二分支网络单元;其中,所述主网络单元输出的各输入图像的图像特征分别提供给第一分支网络单元和第二分支网络单元。5.一种神经网络的训练方法,其特征在于,包括:从训练数据集中获取图像样本;将所述图像样本的旋转图像样本提供给待训练的神经网络,进行目标对象检测;以所述图像样本的目标对象位置标注信息为指导信息,或者以基于所述图像样本的目标对象位置标注信息形成的所述旋...

【专利技术属性】
技术研发人员:苏鑫秦红伟
申请(专利权)人:北京市商汤科技开发有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1