【技术实现步骤摘要】
利用周边汽车的图像自动标注基础汽车的图像的方法及装置
本专利技术涉及自动标注图像的方法及装置，更详细而言，涉及一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行学习的学习方法及学习装置以及利用其的测试方法及测试装置。
技术介绍
最近，有很多利用机器学习对执行物体识别及与之相同内容的方法进行的研究。作为这种机器学习方法之一，在输入层与输出层之间具有多个隐藏(hidden)层的神经网络的深度学习，具有高识别性能。而且，利用这种深度学习的神经网络，一般通过利用了损失(loss)的反向传播进行学习。为了执行深度学习网络的这种学习，需要借助于标注工具(labeler)而在个别数据点追加了标签的训练数据。准备这种训练数据(即，准确地分类数据)需利用大量的训练数据，在数据预先准备的质量不能一贯保持良好的情况下，是非常劳动密集型的工作，费用高且麻烦。以往的交互式标注在经济方面费用高昂，难以导出良好结果。因此，最近普遍使用自动标注，利用基于深度学习的自动标注装置在训练图像中追加标签，即追加标注，检验者检...
【技术保护点】
1.一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行学习的方法，其特征在于，包括：/n(a)步骤，获得所述基础汽车的至少一个基础图像和一个以上周边汽车各自的第一子图像至第n子图像后，其中n为大于0的整数，学习装置执行流程，即将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一已学习密集对应网络至第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络，分别生成各自的第一密集对应信息至第n密集对应信息，其中，当各个所述第一子图像的密集至所述第n子图像的密集移动到所述基础图像时，各个所述第一密集对应信息至所述第n密集对应信息表示所述第一...
【技术特征摘要】 【专利技术属性】
20190131 US 62/799484;20200110 US 16/7392011.一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行学习的方法，其特征在于，包括：
(a)步骤，获得所述基础汽车的至少一个基础图像和一个以上周边汽车各自的第一子图像至第n子图像后，其中n为大于0的整数，学习装置执行流程，即将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一已学习密集对应网络至第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络，分别生成各自的第一密集对应信息至第n密集对应信息，其中，当各个所述第一子图像的密集至所述第n子图像的密集移动到所述基础图像时，各个所述第一密集对应信息至所述第n密集对应信息表示所述第一子图像的密集至所述第n子图像的密集分别在所述基础图像上的各自的位置；
(b)步骤，所述学习装置执行：(i)流程，将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器，对所述基础图像和各个所述第一子图像至所述第n子图像分别施加至少一个卷积运算，分别输出第一卷积特征图至第(n+1)卷积特征图，(ii)流程，将各个所述第一卷积特征图至所述第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器，对各个所述第一卷积特征图至所述第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出第一反卷积特征图至第(n+1)反卷积特征图，(iii)流程，参照第k密集对应信息，k为1至n的整数，使第(k+1)反卷积特征图的坐标移动到所述第一反卷积特征图的坐标，生成第k调整反卷积特征图，从而生成第一调整反卷积特征图至第n调整反卷积特征图，及(iv)流程，将所述第一反卷积特征图与所述第一调整反卷积特征图至所述第n调整反卷积特征图进行级联，生成至少一个级联特征图；及
(c)步骤，所述学习装置执行流程：将所述级联特征图输入掩蔽层，从而使所述掩蔽层，对所述级联特征图施加至少一个掩蔽运算，生成至少一个语义分割图像；使第一损失层，参照所述语义分割图像和与之对应的至少一个分割地面真值GT，计算一个以上的第一损失，通过利用所述第一损失的反向传播更新所述第一解码器至所述第(n+1)解码器的各个加权值及所述第一编码器至所述第(n+1)编码器的各个加权值，以使所述第一损失最小化。
2.根据权利要求1所述的方法，其特征在于，
所述学习装置使各个所述第一至所述第n已学习密集对应网络执行：(i)流程，将所述基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第一子编码器，从而使各个所述第一子编码器对所述基础图像施加所述卷积运算而分别生成各自的第一子卷积特征图；(ii)流程，将各个所述第一至所述第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第二子编码器，从而使各个所述第二子编码器对各个所述第一至所述第n子图像分别施加所述卷积运算而分别生成各自的第二子卷积特征图；(iii)流程，将各个所述第一子卷积特征图与各个所述第二子卷积特征图进行级联，从而生成各个所述第一至所述第n子级联特征图；(iv)将各个所述第一至所述第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个子解码器，从而使各个所述子解码器，对各个所述第一至所述第n子级联特征图分别施加所述反卷积运算，分别生成各自的第一至第n子反卷积特征图；及(v)流程，将各个所述第一至所述第n子反卷积特征图，分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个回归器，从而使各个所述回归器对各个所述第一至所述第n密集对应信息分别施加至少一个回归运算，输出各个所述第一至所述第n密集对应信息。
3.根据权利要求2所述的方法，其特征在于，
各个所述第一至所述第n已学习密集对应网络借助于子学习装置进行学习，以便分别输出各个所述第一至所述第n密集对应信息，即，
获得至少一个第一训练图像及至少一个第二训练图像后，所述子学习装置执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器，从而使各个所述第一子编码器对所述第一训练图像分别施加所述卷积运算，分别生成各个学习用第一子卷积特征图；(ii)流程，将所述第二训练图像输入各个所述第二子编码器，从而使各个所述第二子编码器对所述第二训练图像施加所述卷积运算，分别生成各个学习用第二子卷积特征图；(iii)将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图进行级联，从而生成各个学习用子级联特征图；(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器，从而使各个所述子解码器，对所述学习用子级联特征图分别施加所述反卷积运算，分别生成各个学习用子反卷积特征图；(v)流程，将各个所述学习用子反卷积特征图输入到各个所述回归器，从而使各个所述回归器分别输出各个学习用密集对应信息，所述学习用密集对应信息表示当所述第二训练图像的密集移动到所述第一训练图像时，所述第二训练图像的密集分别在所述第一训练图像上的各自的位置；及(vi)流程，使第二损失层参照所述学习用密集对应信息和密集对应GT，计算一个以上的第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器的子解码器加权值、各个所述第一子编码器及所述第二子编码器的子编码器加权值。
4.根据权利要求2所述的方法，其特征在于，
各个所述第一子编码器和各个所述第二子编码器共享子编码器加权值。
5.根据权利要求1所述的方法，其特征在于，
各个所述第一至所述第n密集对应信息包括表示各个所述第一至所述第n子图像的各个像素与所述基础图像的哪个像素对应的信息。
6.根据权利要求5所述的方法，其特征在于，
在各个所述第一至所述第n子图像的各个像素不与所述基础图像的任何像素对应时，各个所述第一至所述第n密集对应信息包括与所述基础图像的至少一个外侧拓展区域的至少一个位置对应的信息。
7.根据权利要求1所述的方法，其特征在于，
所述第一编码器至所述第(n+1)编码器共享编码器加权值，所述第一解码器至所述第(n+1)解码器共享解码器加权值。
8.一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行测试的方法，其特征在于，包括：
(a)步骤，在学习装置执行了：(1)流程，获得所述学习用基础汽车的至少一个学习用基础图像和一个以上学习用周边汽车各自的学习用第一子图像至学习用第n子图像后，n为大于0的整数，将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入各个第一已学习密集对应网络至第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络分别生成各个学习用第一密集对应信息至学习用第n密集对应信息，所述各个学习用第一密集对应信息至学习用第n密集对应信息表示当各个所述学习用第一子图像的密集至所述学习用第n子图像的密集移动到所述学习用基础图像时，所述学习用第一子图像的密集至所述学习用第n子图像的密集分别在所述学习用基础图像上的各自的位置；(2)(i)流程，将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器对所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别施加至少一个卷积运算，分别输出学习用第一卷积特征图至学习用第(n+1)卷积特征图，(ii)流程，将各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器对各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出学习用第一反卷积特征图至学习用第(n+1)反卷积特征图，(iii)流程，参照学习用第k密集对应信息，k为1至n的整数，使学习用第(k+1)反卷积特征图的坐标移动到所述学习用第一反卷积特征图的坐标，生成学习用第k调整反卷积特征图，从而生成学习用第一调整反卷积特征图至学习用第n调整反卷积特征图，及(iv)流程，将所述学习用第一反卷积特征图与所述学习用第一调整反卷积特征图至所述学习用第n调整反卷积特征图进行级联，生成至少一个学习用级联特征图；及(3)流程，将所述学习用级联特征图输入掩蔽层，从而使所述掩蔽层对所述学习用级联特征图施加至少一个掩蔽运算，输出至少一个学习用语义分割图像，使第一损失层，参照所述学习用语义分割图像和与之对应的至少一个分割GT，计算一个以上的第一损失，通过利用所述第一损失的反向传播更新所述第一解码器至所述第(n+1)解码器的各个加权值及所述第一编码器至所述第(n+1)编码器的各个加权值，以使所述第一损失最小化；的状态下，测试装置执行如下流程：获得所述测试用基础汽车的至少一个测试用基础图像和一个以上的测试用周边汽车各自的测试用第一子图像至测试用第n子图像后，n为大于0的整数，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入各个所述第一已学习密集对应网络至所述第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络，分别生成各个测试用第一密集对应信息至测试用第n密集对应信息，所述各个测试用第一密集对应信息至测试用第n密集对应信息表示各个所述测试用第一子图像的密集至所述测试用第n子图像的密集移动到所述测试用基础图像时，所述测试用第一子图像的密集至所述测试用第n子图像的密集分别在所述测试用基础图像上的各自位置；
(b)步骤，所述测试装置执行：(i)流程，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器对所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别施加所述卷积运算，分别输出测试用第一卷积特征图至测试用第(n+1)卷积特征图，(ii)流程，将各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器，对各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图分别施加所述反卷积运算，分别输出测试用第一反卷积特征图至测试用第(n+1)反卷积特征图，(iii)流程，参照测试用第k密集对应信息，k为1至n的整数，使测试用第(k+1)反卷积特征图的坐标移动到所述测试用第一反卷积特征图的坐标，生成测试用第k调整反卷积特征图，从而生成测试用第一调整反卷积特征图至测试用第n调整反卷积特征图，及(iv)流程，将所述测试用第一反卷积特征图与所述测试用第一调整反卷积特征图至所述测试用第n调整反卷积特征图进行级联，生成至少一个测试用级联特征图；
(c)步骤，所述测试装置执行将所述测试用级联特征图输入所述掩蔽层，从而使所述掩蔽层对所述测试用级联特征图施加所述掩蔽运算，输出至少一个测试用语义分割图像。
9.根据权利要求8所述的测试方法，其特征在于，
所述测试装置使各个所述第一至所述第n已学习密集对应网络，执行：(i)流程，将所述测试用基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第一子编码器，从而使各个所述第一子编码器，对所述测试用基础图像施加所述卷积运算，分别生成各个测试用第一子卷积特征图；(ii)流程，将各个所述测试用第一至所述测试用第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第二子编码器，从而使各个所述第二子编码器对各个所述测试用第一至所述测试用第n子图像分别施加所述卷积运算，分别生成各个测试用第二子卷积特征图；(iii)流程，将各个所述测试用第一子卷积特征图与各个所述测试用第二子卷积特征图进行级联，从而生成各个所述测试用第一至所述测试用第n子级联特征图；(iv)流程，将各个所述测试用第一至所述测试用第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个子解码器，从而使各个所述子解码器对各个所述测试用第一至所述测试用第n子级联特征图分别施加所述反卷积运算，分别生成各个测试用第一至测试用第n子反卷积特征图；及(v)流程，将各个所述测试用第一至所述测试用第n子反卷积特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个回归器，从而使各个所述回归器对各个所述测试用第一至所述测试用第n密集对应信息分别施加至少一个回归运算，输出各个所述测试用第一至所述测试用第n密集对应信息。
10.根据权利要求9所述的测试方法，其特征在于，
各个所述第一至所述第n已学习密集对应网络借助于子学习装置进行学习，以便分别输出各个所述测试用第一至所述测试用第n密集对应信息，即，
获得至少一个第一训练图像及至少一个第二训练图像后，所述子学习装置执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器，从而使各个所述第一子编码器对所述第一训练图像分别施加所述卷积运算，分别生成各个学习用第一子卷积特征图；(ii)流程，将所述第二训练图像输入各个所述第二子编码器，从而使各个所述第二子编码器对所述第二训练图像施加所述卷积运算，分别生成各个学习用第二子卷积特征图；(iii)将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图进行级联，从而生成各个学习用子级联特征图；(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器，从而使各个所述子解码器对所述学习用子级联特征图分别施加所述反卷积运算，分别生成各个学习用子反卷积特征图；(v)流程，将各个所述学习用子反卷积特征图输入到各个所述回归器，从而使各个所述回归器分别输出各个学习用密集对应信息，所述各个学习用密集对应信息表示当所述第二训练图像的密集移动到所述第一训练图像时，所述第二训练图像的密集分别在各个所述第一训练图像上各自的位置；及(vi)流程，使第二损失层，参照所述学习用密集对应信息和密集对应GT，计算一个以上的第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器的子解码器加权值、各个所述第一子编码器及所述第二子编码器的子编码器加权值。
11.根据权利要求9所述的测试方法，其特征在于，
各个所述第一子编码器和各个所述第二子编码器共享子编码器加权值。
12.根据权利要求8所述的测试方法，其特征在于，
各个所述测试用第一至所述测试用第n密集对应信息，包括表示各个所述测试用第一至所述测试用第n子图像的各个像素与所述测试用基础图像的哪个像素对应的信息。
13.根据权利要求12所述的测试方法，其特征在于，
在各个所述测试用第一至所述测试用第n子图像的各个像素不与所述测试用基础图像的任何像素对应时，各个所述测试用第一至所述测试用第n密集对应信息包括与所述测试用基础图像的至少一个外侧拓展区域的至少一个位置对应的信息。
14.根据权利要求8所述的测试方法，其特征在于，
所述第一编码器至所述第(n+1)编码器共享编码器加权值，所述第一解码器至所述第(n+1)解码器共享解码器加权值。
技术研发人员：金桂贤，金镕重，金鹤京，南云铉，夫硕焄，成明哲，申东洙，吕东勋，柳宇宙，李明春，李炯树，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。