基于数据增强的事物分析模型学习装置及方法制造方法及图纸

根据本发明专利技术的实施例的基于数据增强的事物分析模型学习装置包括处理器，处理器可获取包括事物图像的第一空间图像生成对第一空间图像中包含的像素信息进行了变更的第二空间图像的操作、在第一空间图像内的包括第一事物图像的区域指定边界框，在边界框标注表征第一事物图像的第一类别的操作、向基于图像分类算法设计的模型输入第一空间图像初次学习导出所述边界框内第一事物图像与第一类别之间的相关关系的模型的加权值，生成根据相关关系表征空间图像中包含的事物图像且判别类别的模型的操作、向经过初次学习的模型输入第二空间图像，标注模型表征第二空间图像内的第二事物图像的边界框和模型判别出的第二类别的操作、及根据第二空间图像生成对模型的加权值进行二次学习的模型。二次学习的模型。二次学习的模型。

【技术实现步骤摘要】
【国外来华专利技术】基于数据增强的事物分析模型学习装置及方法


[0001]本专利技术涉及一种基于数据增强的事物分析模型学习装置及方法。

技术介绍

[0002]根据韩国互联网振兴院(KISA)的数据，2019年统计的韩国在线购物市场规模为约133万亿韩元，与2018年的111万亿韩元相比增长了约20％。随着网购市场增速的大幅提升，在网购平台上注册的店铺和商品数量快速增加，消费者通过网购而非线下购买商品的比例显著上升。
[0003]另外，线下购物方式是消费者选择商场，用眼睛确认商场内的商品购买心仪商品的一种方式，而网购方式是消费者通过想要的商品的关键字搜索并购买商品的方式，随着商品销售平台的变化，消费者查找商品的方式也在发生变化。
[0004]因此，在网购中，良好地设置与商品相关的关键字使消费者的流量能够流向商品页面变得非常重要。但是，仅韩国前10位网购商城中上传的商品数量就已超过4亿件的情况下，很难为每件商品一一设置关键字，因此网购商城需要仅凭商品图像文件即可设置商品关键字的功能的解决方案。
[0005]在此，构成商品图像的要素可以大致分为空间、事物、氛围、色彩。由于消费者同样在搜索商品时将使用商品的空间的用途、商品本身、空间的氛围、商品色彩视为重要因素，因此组合作为构成商品的图像的要素的空间、事物、氛围、色彩中任意一个关键字进行搜索。
[0006]如上，在需要能够从商品图像中自动提取关于空间、事物、氛围、色彩的关键字的解决方案的情况下，可以引入的代表性技术有利用人工智能的客体检测算法。另外，为了从商品图像中准确地分类出空间、事物、氛围、色彩，有很多需要考虑的因素，如数据质量、数据数量、标注方法、学习难易程度等。因此，需要一种能够生成各种学习数据使得容易学习人工智能模型且能够生成具有准确的性能的模型的技术。

技术实现思路

[0007]技术问题
[0008]本专利技术的实施例要解决的技术问题是提供一种生成能够从图像自动分类该图像中包含的事物的类别的模型的技术。
[0009]在此，作为本专利技术的实施例使用的技术的客体检测人工智能算法可随着用于学习的学习数据的量和品质导致模型的性能产生很大差异。尤其，人工智能模型学习的情况下，为了仅使用有限的学习数据也能够创建具有优异性能的模型，重要的是通过包括模型将实际被使用的各种环境或各种状况的变量的学习数据学习模型。本专利技术提出一种生成对空间图像进行分类的模型时，生成反映模型将实际被使用的各种环境或状况的学习数据的数据增强技术。
[0010]另外，存在数据越增加则一一标注空间图像中包含的事物的类别越消耗很长时间
的问题。为此，本专利技术的实施例提出一种通过经过初次学习的模型自动标注增强的学习数据的类别以自动执行数据提纯及学习过程的技术。
[0011]但本专利技术的实施例要实现的技术目的不限于以上技术目的，可在本领域普通技术人员显而易见的范围内从以下要说明的内容导出各种技术目的。
[0012]技术方案
[0013]根据本专利技术的一个实施例的基于数据增强的事物分析模型学习装置包括存储使得执行预定的操作的指令的一个以上的存储器及可操作地连接于所述一个以上的存储器且被设置成运行所述指令的一个以上的处理器，所述处理器执行的操作可包括：获取包括第一事物图像的第一空间图像生成对所述第一空间图像中包含的像素信息进行了变更的第二空间图像的操作；在所述第一空间图像内的包括所述第一事物图像的区域指定边界框(bounding box)，并且在所述边界框标注表征所述第一事物图像的第一类别的操作；向基于预定的客体检测算法设计的模型输入所述第一空间图像初次学习用于导出所述边界框内所述第一事物图像与所述第一类别之间的相关关系的所述模型的加权值，生成根据所述相关关系表征空间图像中包含的事物图像且判别类别的模型的操作；向经过所述初次学习的模型输入所述第二空间图像，将所述模型表征所述第二空间图像内的第二事物图像的边界框和所述模型对所述第二事物图像判别出的第二类别标注到所述第二空间图像的操作；以及根据所述第二空间图像生成对所述模型的加权值进行了二次学习的模型的操作。
[0014]并且，所述操作还包括生成存储有表征事物信息的多个类别的集合的操作，标注的所述操作可包括在所述第一空间图像内的第一事物图像的区域指定有边界框(bounding box)的情况下，输出所述集合以接收所选择的表征所述第一事物图像的第一类别并在所述边界框标注所述第一类别的操作。
[0015]并且，生成经过所述二次学习的模型的操作可包括向经过初次学习的所述模型输入所述第二空间图像二次学习用于导出所述第二事物图像与所述第二类别之间的相关关系的模型的加权值，以生成根据所述相关关系表征空间图像中包含的事物图像且判别类别的模型的操作。
[0016]并且，在所述第二空间图像进行标注的操作可包括向经过初次学习的所述模型输入所述第二空间图像，比较所述第一类别和所述模型对所述第二事物图像判别的第二类别，所述第二类别与所述第一类别相同的情况下保持所述第二类别的值，所述第二类别与所述第一类别不同的情况下将所述第二类别的值修改为与所述第一类别相同的值。
[0017]并且，其特征还可以是所述边界框被设置成每个边界框包括一个事物图像且事物图像的轮廓区域全部包含于边界框的内部。
[0018]并且，生成所述第二空间图像的操作可包括对构成所述第一空间图像中包含的像素信息的RGB信息的(x，y，z)元素值，变更使得具有比预定的基准值更大的值的元素值具有更大的值，变更使得具有比所述基准值小的值的元素值具有更小的元素值，以此生成所述第二空间图像的操作。
[0019]并且，生成所述第二空间图像的操作可包括根据以下数学式1从所述第一空间图像生成所述第二空间图像的操作，
[0020][数学式1][0021]dst(I)＝round(max(0，min(α*src(I)
‑
β，255)))
[0022](src(I)：像素信息的变更前元素值(x，y，z)，α：常数，β：常数，dst(I)：像素信息的变更后元素值(x
′
，y
′
，z
′
))。
[0023]并且，生成所述第二空间图像的操作可包括根据以下数学式2从所述第一空间图像生成所述第二空间图像的操作，
[0024][数学式2][0025]Y＝0.1667*R+0.5*G+0.3334*B
[0026](R：像素信息的RGB信息(x，y，z)中x，G：像素信息的RGB信息(x，y，z)中y，B：像素信息的RGB信息(x，y，z)中z，Y：像素信息的变更后元素值(x
′
，y
′
，z
′
))。
[0027]并且，生成所述第二空间图像的操作可包括根据以下数学式3及数学式4从所述第一空间图像生成所述第二空间图像的操作，
[0028][数学式3][0029]dst(I)＝round(max(0，min(α*sr本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种基于数据增强的事物分析模型学习装置，其中，包括存储使得执行预定的操作的指令的一个以上的存储器及可操作地连接于所述一个以上的存储器且被设置成运行所述指令的一个以上的处理器，所述处理器执行的操作包括：获取包括第一事物图像的第一空间图像生成对所述第一空间图像中包含的像素信息进行了变更的第二空间图像的操作；在所述第一空间图像内的包括所述第一事物图像的区域指定边界框(bou nding box)，并且在所述边界框标注表征所述第一事物图像的第一类别的操作；向基于预定的客体检测算法设计的模型输入所述第一空间图像初次学习用于导出所述边界框内所述第一事物图像与所述第一类别之间的相关关系的所述模型的加权值，生成根据所述相关关系表征空间图像中包含的事物图像且判别类别的模型的操作；向经过所述初次学习的模型输入所述第二空间图像，将所述模型表征所述第二空间图像内的第二事物图像的边界框和所述模型对所述第二事物图像判别出的第二类别标注到所述第二空间图像的操作；以及根据所述第二空间图像生成对所述模型的加权值进行了二次学习的模型的操作。2.根据权利要求1所述的基于数据增强的事物分析模型学习装置，其中：所述操作还包括生成存储有表征事物信息的多个类别的集合的操作，标注的所述操作包括：在所述第一空间图像内的第一事物图像的区域指定有边界框(bounding box)的情况下，输出所述集合以接收所选择的表征所述第一事物图像的第一类别并在所述边界框标注所述第一类别的操作。3.根据权利要求1所述的基于数据增强的事物分析模型学习装置，其中，生成经过所述二次学习的模型的操作包括：向经过初次学习的所述模型输入所述第二空间图像二次学习用于导出所述第二事物图像与所述第二类别之间的相关关系的模型的加权值，以生成根据所述相关关系表征空间图像中包含的事物图像且判别类别的模型的操作。4.根据权利要求1所述的基于数据增强的事物分析模型学习装置，其中，在所述第二空间图像进行标注的操作包括：向经过初次学习的所述模型输入所述第二空间图像，比较所述第一类别和所述模型对所述第二事物图像判别的第二类别，所述第二类别与所述第一类别相同的情况下保持所述第二类别的值，所述第二类别与所述第一类别不同的情况下将所述第二类别的值修改为与所述第一类别相同的值。5.根据权利要求1所述的基于数据增强的事物分析模型学习装置，其中，所述边界框被设置成每个边界框包括一个事物图像且事物图像的轮廓区域全部包含于边界框的内部。6.根据权利要求1所述的基于数据增强的事物分析模型学习装置，其中，生成所述第二空间图像的操作包括：对构成所述第一空间图像中包含的像素信息的RGB信息的(x，y，z)元素值，变更使得具有比预定的基准值更大的值的元素值具有更大的值，变更使得具有比所述基准值小的值的元素值具有更小的元素值，以此生成所述第二空间图像的操作。7.根据权利要求6所述的基于数据增强的事物分析模型学习装置，其中，生成所述第二
空间图像的操作包括：根据以下数学式1从所述第一空间图像生成所述第二空间图像的操作，[数学式1]dst(I)＝round(max(0，min(α*src(I)
‑
β，255)))(src(I)：像素信息的变更前元素值(x，y，z)，α：常数，β：常数，dst(I)：像素信息的变更后元素值(x'，y'，z'))。8.根据权利要求1所述的基于数据增强的事物分析模型学习装置，其中，生成所述第二空间图像的操作包括：根据以下数学式2从所述第一空间图像生成所述第二空间图像的操作，[数学式2]Y＝0.1667*R+0.5*G+0.3334*B(R：像素信息的RGB信息(x，y，z)中x，G：像素信息的RGB信息(x，y，z)中y，B：像素信息的RGB信息(x，y，z)中z，Y：像素信息的变更后元素值(x'，y'，z'))。9.根据权利要求1所述的基于数据增强的事物分析模型学习装置，其中，生成所述第二空间图像的操作包括：根据以下数学式3及数学式4从所述第一空间图像生成所述第二空间图像的操作，[数学式3]dst(I)＝round(max(0，min(α*src(I)
‑
β，255)))(src(I)：像素信息的变更前元素值(x，y，z)，α：常数，β：常数，dst(I)：像素信息的变更后元素值(x
′
，y
′
，z
′
))，[数学式4]Y＝0.1667*R+0.5*G+0.3334*B(R：所述dst(I)的(x
′
，y
′
，z
′
)中x
′
，G：所述dst(I)的(x
′
，y
′
，z
′
)中y

【专利技术属性】
技术研发人员：金秀珉，白允雅，
申请(专利权)人：株式会社鄂本贝斯，
类型：发明
国别省市：