当前位置: 首页 > 专利查询>辉达公司专利>正文

包括使用神经网络进行鲁棒预测的背景修改的数据增强制造技术

技术编号:33080116 阅读:31 留言:0更新日期:2022-04-15 10:31
在各种示例中,可以修改对象的背景以生成训练图像。分割掩码可被生成并用于生成包括表示对象的图像数据的对象图像。对象图像可以集成到不同的背景中,并用于训练神经网络中的数据增强。还可以使用色调调整(例如,对象图像的)和/或渲染对应于来自所选视图的对象的三维捕获数据来执行数据增强。可以分析推理分数以选择要包括在训练数据集中的图像的背景。可以选择背景并且可以在训练期间(例如,在时期之间)迭代地将训练图像添加到训练数据集。此外,可以采用使用对象掩码数据的早期或晚期融合来改进由使用对象掩码数据训练的神经网络执行的推理。执行的推理。执行的推理。

【技术实现步骤摘要】
包括使用神经网络进行鲁棒预测的背景修改的数据增强

技术介绍

[0001]当训练神经网络以执行诸如对象分类的预测任务时,经训练的神经网络的准确度通常受到训练数据集的质量的限制。为了训练产生鲁棒的神经网络,网络应该使用具有挑战性的训练图像进行训练。例如,在训练用于手部姿势识别(例如,竖起大拇指、和平手势、拳头等)的神经网络时,网络可能难以检测在某些环境特征前的手部姿势。如果姿势包括伸展的手指,则当姿势位于大部分纯色环境前时网络可能会表现良好,但当姿势位于包括某些颜色图案的环境前时,网络可能会表现不佳。作为另一个示例,网络可能在从某些角度或当环境和手具有相似色调时的某些姿势有困难。
[0002]然而,特定训练图像对于神经网络是否具有挑战性可能取决于许多因素,例如正在执行的预测任务、神经网络的架构以及网络看到的其他训练图像。因此,很难通过预期应该使用哪些训练图像来训练网络来构建训练数据集,其将产生鲁棒训练的网络。估计训练图像的哪些特征可能对神经网络具有挑战性是可能的。然而,即使这样的估计是可能且准确的,也可能无法或不切实际地获得足够的展示这些特征的图像以充分训练网络。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法,包括:在第一图像中识别与在所述第一图像中具有第一背景的对象对应的区域;至少基于所述对象的所述区域确定表示所述对象的图像数据;至少基于使用所述图像数据整合具有第二背景的所述对象,生成包括具有所述第二背景的所述对象的第二图像;以及训练至少一个神经网络以使用所述第二图像执行预测任务。2.如权利要求1所述的方法,其中所述区域的识别包括至少基于对所述第一图像执行图像分割来确定所述第一图像的至少第一段对应于所述对象并且所述第一图像的至少第二段对应于所述第一背景。3.如权利要求1所述的方法,其中所述至少一个神经网络的训练是对所述对象的一种或更多种姿态进行分类。4.如权利要求1所述的方法,其中确定所述图像数据包括至少基于所述第一图像中的所述区域生成掩码,并将所述掩码应用于所述第一图像。5.如权利要求1所述的方法,其中确定所述图像数据包括至少基于所述第一图像中的所述区域生成掩码,并且生成所述第二图像是至少基于对对应于所述对象的所述掩码的部分执行扩张或侵蚀中的一种或更多种。6.如权利要求1所述的方法,其中确定所述图像数据包括至少基于所述图像中的所述区域生成掩码,并且生成所述第二图像是至少基于模糊对应于所述对象的所述掩码的边界的至少一部分。7.如权利要求1所述的方法,其中生成所述第二图像包括修改所述对象的色调。8.如权利要求1所述的方法,还包括:在环境中选择所述对象的视图;以及至少基于光栅化从所述视图的所述环境中的所述对象的三维捕获来生成所述第一图像。9.如权利要求1所述的方法,还包括至少基于将所述对象与第三背景整合来生成包括具有所述第三背景的所述对象的第三图像,其中所述至少一个神经网络的所述训练进一步使用所述第三图像。10.如权利要求1所述的方法,其中所述整合包括所述对象与所述第二背景的无缝混合。11.一种方法,包括:接收具有多个背景的一个或更多个对象的图像;生成一组推理分数,这些分数对应于使用所述图像对所述一个或更多个对象执行的预测任务的一个或更多个预测;至少基于所述一组推理分数中的一个或更多个推理分数来选择背景;至少基于对所述背景的选择,至少基于将对象与所述背景整合来生成图像;以及在训练至少一个神经网络期间应用所述图像以执行所述预测任务。12.如权利要求11所述的方法,其中所述一个或更多个推理分数包括用于包括所述背景的一组所述图像的多个推理分数,并且所述选择至少基于对所述多个推理分数的分析。13.如权利要求11所述的方法,其中所述推理分数是在训练所述至少一个神经网络的
...

【专利技术属性】
技术研发人员:N
申请(专利权)人:辉达公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1