参照边缘图像的客体检测方法及装置制造方法及图纸

本发明专利技术涉及基于CNN的用于检测特定客体的方法。所述方法的特征在于，包括：(a)获得了输入图像的情况下，学习装置执行(i)对输入图像适用卷积运算以获得特定特征图的过程及(ii)从输入图像提取边缘部分获得边缘图像，从获得的边缘图像获得包括关于具有与特定客体类似的特定形态的特定边缘部分的信息的引导图的过程的步骤；以及(b)学习装置向特定特征图反映引导图获得用于检测输入图像内的特定客体的分割结果的步骤。

Object detection method and device of reference edge image

【技术实现步骤摘要】
参照边缘图像的客体检测方法及装置
本专利技术涉及基于CNN的用于检测特定客体的方法，具体来讲，涉及如下学习方法及学习装置、基于其的测试方法及测试装置。所述学习方法为基于CNN的用于检测所述特定客体的方法，其特征在于，包括：(a)获得输入图像的情况下，学习装置执行(i)对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程及(ii)从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像中获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程的步骤；以及(b)所述学习装置向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的步骤。
技术介绍
深度学习是用于对事物或数据聚类或分类的技术。例如，计算机仅凭照片无法区分狗与猫。而人能够轻易地区分。为此研究出了所谓“机器学习(MachineLearning)”的方法。是将大量数据输入到计算机并将近似的分为同一类的技术。其在输入了与存储的狗照片近似的照片的情况下，计算机将此分类为狗照片。关于如何对数据分类，已经出现了很多机器学习算法。典型的有“决策树”、“贝叶斯网络”、“支持向量机(SVM)”、“人工神经网络”等。其中深度学习是人工神经网络的后裔。深度卷积神经网络(DeepConvolutionNeuralNetworks；DeepCNN)是深度学习领域发生的惊人的发展核心。CNN为了解决文字识别问题而自90年代以来开始使用，而像目前广泛使用是则多亏近来的研究结果。这种深度CNN在2012年ImageNet图像分类比赛打败了其他竞争者获胜。自那以后卷积神经网络在机器学习(MachineLearning)领域成为非常有用的工具。图1示出根据现有技术利用深度CNN欲从照片获得的多种输出的例。分类(Classification)是识别欲从照片中识别的类(class)的种类，例如如图1所示，识别获得的客体为人、羊还是狗的方法，检测(Detection)是找出所有客体并以被边界框(BoundingBox)包围的形态表示找出的客体的方法，分割(segmentation)是在照片中区分出特定客体的区域与其他客体的方法。近来随着深度学习(Deeplearning)技术受到极大关注，分类、检测及分割技术也多采用深度学习。图2是简要示出利用CNN的现有的车道线检测方法的附图，图3是简要示出一般CNN分割过程的附图。首先参照图3，根据现有的车道线检测方法，学习装置接收输入图像，在多个卷积层多次执行卷积运算与ReLU等非线性运算以获得特征图，并在多个反卷积层多次执行反卷积运算，最后在特征图执行柔性最大值(SoftMax)运算得到分割结果。并且，参照图2，现有的车道线(Lane)检测方法的分割结果如图2的中间所示地由两种构成(例如车道线与背景)。这种分割结果用概率预测值示出。这样选择的车道线上的后补像素中仅抽样是车道线的概率高的像素以找出车道线后，利用从找出的车道线上的像素得到的车道线模型函数最终确定车道线。而如上所述的检测包括车道线在内的至少一个特定客体的现有的CNN装置需要将多种背景分类为一个类(class)(即，标签＝0的类)，背景部分内的类内变化(In-ClassVariation)(同一类内的检测值的变化)大，因此具有难以准确地检测出特定客体的问题。例如检测至少一个车道线的情况下，输入图像中除车道线以外的其他背景部分包括标志板或建筑物等多种形态。但由于其中有很多具有与车道线相似的形态的背景，因此在背景类内算出的标签值并不全部接近0，标签背景类内的值的变化变大。即，虽然是属于背景部分的客体但具有与车道线相似的形态的情况下，算出的标签值是既不接近车道线(标签＝1)也不接近背景(标签＝0)的值，因此具有难以检测车道线的问题。
技术实现思路
技术问题本专利技术的目的是解决上述所有问题。本专利技术的另一目的是提供一种将属于背景之一且与特定客体类似的其他客体排除在检测对象之外，从而能够轻易地检测特定客体的方法。本专利技术的又一目的是提供一种在利用通过CNN得到的至少一个特征图的基础上还利用至少一个边缘图像在图像内准确地检测特定客体的方法。技术方案根据本专利技术的一个方面，一种基于CNN的用于检测特定客体的方法，其特征在于，包括：(a)获得了输入图像的情况下，学习装置执行(i)对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程及(ii)从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程的步骤；以及(b)所述学习装置向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的步骤。根据一个实施例，其特征在于从所述输入图像去除特定临界值以下的频率成份得到所述边缘图像。根据一个实施例，其特征在于所述边缘图像是算出所述输入图像像素的梯度(Gradient)后提取所述输入图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘(CannyEdge)图像。根据一个实施例，其特征在于通过对与所述特定客体类似的所述特定形态赋予第一加权值且对与所述特定客体类似的所述特定形态外的至少一个形态赋予第二加权值获得所述引导图，所述第一加权值大于所述第二加权值。根据一个实施例，其特征在于通过对所述边缘图像适用至少一次膨胀(Dilation)运算或形态学(Morphology)运算以加宽所述特定边缘部分生成所述引导图。根据一个实施例，其特征在于在所述(b)步骤中，所述学习装置向所述引导图与所述特定特征图乘以像素宽度生成至少一个边缘强化的特征图。根据一个实施例，其特征在于所述(b)步骤包括：(b1)有多个所述特定特征图的状态下，所述学习装置为了生成使得各所述特定特征图的尺寸与各经过尺寸调整的引导图的尺寸相同的至少一个所述经过尺寸调整的引导图而调整所述引导图的尺寸的步骤；以及(b2)所述学习装置向所述引导图和与之对应的特定特征图乘以像素宽度且向所述经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度生成多个边缘强化的特征图的步骤。根据一个实施例，其特征在于在所述(b)步骤中，被反映所述引导图的所述特定特征图选自从所述学习装置的编码层获得的至少一个特征图与从所述学习装置的解码层获得的至少一个特征图。根据一个实施例，其特征在于所述特定客体为道路的至少一个车道线。根据一个实施例，其特征在于还包括：(c)所述学习装置参照所述分割结果和与之对应的GT算出分割损耗的步骤；以及(d)所述学习装置利用所述分割损耗执行反向传播以优化所述学习装置的至少一个参数的步骤。根据本专利技术的另一方面，一种用于检测包含于基于CNN图像的至少一个特定客体的测试方法，其特征在于，包括：(a)在执行了(i)学习装置对训练图像适用至少一本文档来自技高网...

【技术保护点】
1.一种学习方法，是基于CNN的用于检测特定客体的方法，其特征在于，包括：/na：获得了输入图像的情况下，学习装置执行i.对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程及ii.从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程的步骤；以及/nb：所述学习装置向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的步骤。/n

【技术特征摘要】
20180904 US 16/120,6641.一种学习方法，是基于CNN的用于检测特定客体的方法，其特征在于，包括：
a：获得了输入图像的情况下，学习装置执行i.对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程及ii.从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程的步骤；以及
b：所述学习装置向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的步骤。


2.根据权利要求1所述的学习方法，其特征在于：
从所述输入图像去除特定临界值以下的频率成份得到所述边缘图像。


3.根据权利要求1所述的学习方法，其特征在于：
所述边缘图像是算出所述输入图像像素的梯度后提取所述输入图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘图像。


4.根据权利要求1所述的学习方法，其特征在于：
通过对与所述特定客体类似的所述特定形态赋予第一加权值且对与所述特定客体类似的所述特定形态外的至少一个形态赋予第二加权值获得所述引导图，
所述第一加权值大于所述第二加权值。


5.根据权利要求1所述的学习方法，其特征在于：
通过对所述边缘图像适用至少一次膨胀运算或形态学运算以加宽所述特定边缘部分生成所述引导图。


6.根据权利要求1所述的学习方法，其特征在于：
在所述b步骤中，
所述学习装置向所述引导图与所述特定特征图乘以像素宽度生成至少一个边缘强化的特征图。


7.根据权利要求1所述的学习方法，其特征在于：
所述b步骤包括：
b1：有多个所述特定特征图的状态下，所述学习装置为了生成使得各所述特定特征图的尺寸与各经过尺寸调整的引导图的尺寸相同的至少一个所述经过尺寸调整的引导图而调整所述引导图的尺寸的步骤；以及b2：所述学习装置向所述引导图和与之对应的特定特征图乘以像素宽度且向所述经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度生成多个边缘强化的特征图的步骤。


8.根据权利要求1所述的学习方法，其特征在于：
在所述b步骤中，
被反映所述引导图的所述特定特征图选自从所述学习装置的编码层获得的至少一个特征图与从所述学习装置的解码层获得的至少一个特征图。


9.根据权利要求1所述的学习方法，其特征在于：
所述特定客体为道路的至少一个车道线。


10.根据权利要求1所述的学习方法，其特征在于，还包括：
c：所述学习装置参照所述分割结果和与之对应的GT算出分割损耗的步骤；以及
d：所述学习装置利用所述分割损耗执行反向传播以优化所述学习装置的至少一个参数的步骤。


11.一种测试方法，是用于检测包含于基于CNN图像的至少一个特定客体的测试方法，其特征在于，包括：
a：在执行了i.学习装置对训练图像适用至少一次卷积运算获得至少一个特定学习用特征图的过程、ii.所述学习装置从所述训练图像提取至少一个边缘部分获得学习用边缘图像，从获得的所述学习用边缘图像获得包括关于具有与所述特定客体类似的特定形态的特定学习用边缘部分的信息的至少一个学习用引导图的过程、iii.所述学习装置向所述特定学习用特征图反映所述学习用引导图获得用于检测所述训练图像内的所述特定客体的学习用分割结果的过程、iv.所述学习装置参照检测的所述学习用分割结果和与之对应的GT算出分割损耗的过程及v.所述学习装置利用所述分割损耗执行反向传播优化所述学习装置的至少一个参数的过程的状态下，测试装置获得测试图像的步骤；
b：所述测试装置执行i.对所述测试图像适用至少一次卷积运算得到至少一个特定测试用特征图的过程及ii.从所述测试图像提取至少一个边缘部分获得测试用边缘图像，从获得的所述测试用边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个测试用引导图的过程的步骤；以及
c：所述测试装置向所述特定测试用特征图反映所述测试用引导图获得用于检测所述测试图像内的所述特定客体的测试用分割结果的步骤。


12.根据权利要求11所述的测试方法，其特征在于：
通过从所述测试图像去除特定临界值以下的频率成份获得所述测试用边缘图像。


13.根据权利要求11所述的测试方法，其特征在于：
所述测试用边缘图像是算出所述测试图像像素的梯度后提取所述测试图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘图像。


14.根据权利要求11所述的测试方法，其特征在于：
通过对于所述特定客体类似的所述特定形态赋予第一加权值且向与所述特定客体类似的所述特定形态以外的至少一个形态赋予第二加权值获得所述测试用引导图，
所述第一加权值大于所述第二加权值，
通过对所述测试用边缘图像适用至少一次膨胀运算或形态学运算以加宽所述特定测试用边缘部分生成所述测试用引导图。


15.根据权利要求11所述的测试方法，其特征在于：
所述c步骤包括：
c1：有多个所述特定测试用特征图的状态下，所述测试装置为了生成使得各所述特定测试用特征图的尺寸与各经过尺寸调整的测试用引导图的尺寸相同的至少一个所述经过尺寸调整的测试用引导图而调整所述测试用引导图的尺寸的步骤；以及
c2：所述测试装置向所述测试用引导图和与之对应的特定测试用特征图乘以像素宽度且向所述经过尺寸调整的测试用引导图和与之对应的...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR