学习用数据生成装置(100)具有：3D模型取得部(110)，其取得表示物体的3D模型的3D模型信息；局部图像取得部(120)，其取得表示拍摄图像中的拍摄到物体的图像区域即局部图像的局部图像信息；纹理坐标取得部(130)，其基于局部图像信息和3D模型信息，取得用于将局部图像向3D模型进行纹理映射的2维纹理坐标；渲染条件取得部(140)，其取得表示渲染条件的渲染条件信息，该渲染条件是用于对基于2维纹理坐标将局部图像向3D模型执行了纹理映射的带纹理3D模型进行渲染的条件；2维图像取得部(150)，其基于渲染条件信息对带纹理3D模型进行渲染而取得表示2维图像的2维图像信息；以及学习用数据输出部(190)，其输出2维图像信息。其输出2维图像信息。其输出2维图像信息。
【技术实现步骤摘要】
【国外来华专利技术】学习用数据生成装置及学习用数据生成方法
[0001]本专利技术涉及学习用数据生成装置及学习用数据生成方法。
技术介绍
[0002]将表示拍摄图像的拍摄图像信息作为说明变量而输入至训练好的模型，使训练好的模型对物体的形状、中心位置或类别等进行推断，该拍摄图像是通过对该物体进行拍摄而得到的图像。
[0003]为了使训练好的模型进行高精度的推断，需要准备大量用于供学习模型进行学习的学习用数据。
[0004]例如，在非专利文献1中公开了如下技术，即，不将拍摄图像信息而是仅将表示通过虚拟照相机对通过计算机制图(下面称为“CG”。)创建的3维(下面称为“3D”。)模型进行拍摄而得到的CG图像的CG图像信息作为学习用数据而供学习模型进行学习，生成训练好的模型，该技术通过将拍摄图像信息作为说明变量输入而生成训练好的模型，该训练好的模型能够对拍摄图像信息所示的拍摄图像中映出的物体的中心位置进行推断。
[0005]在非专利文献1所公开的技术(下面称为“现有技术”。)中，利用虚拟照相机对通过CG创建的3D模型进行拍摄，由此能够生成大量学习用数据。
[0006]非专利文献1："Josh Tobin,Rachel Fong,Alex Ray,Jonas Schneider,Wojciech Zaremba,Pieter Abbeel"、"Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World"、[online]、"arXiv preprint arXiv:1703.06907"、[日本令和2年11月12日检索]、互联网(URL：https://arxiv.org/abs/1703.06907)
技术实现思路
[0007]现有技术中的3D模型为通过CG创建的3D模型，是形状及模样单纯的3D模型。因此，现有技术适合生成用于对形状或模样单纯的物体的形状、中心位置或类别等进行推断的训练好的模型。
[0008]但是，在现有技术中，为了生成用于高精度地对形状或模样单纯的物体的形状、中心位置或类别等进行推断的训练好的模型，需要使用更多的学习用数据使学习模型进行学习。即，在现有技术中存在如下问题，即，为了生成用于高精度地对形状或模样单纯的物体的形状、中心位置或类别等进行推断的训练好的模型，学习模型的学习需要长时间。
[0009]本专利技术就是为了解决上述问题而提出的，其目的在于提供如下学习用数据生成装置，即，即使是形状或模样复杂的物体，也能够生成可以使生成训练好的模型时所需要的学习时间比现有技术短的学习用数据，该训练好的模型可以高精度地对物体的形状、中心位置或类别等进行推断。
[0010]本专利技术涉及的学习用数据生成装置具有：局部图像取得部，其取得表示拍摄图像中的拍摄到物体的图像区域即局部图像的局部图像信息；3D模型取得部，其取得表示3D模
型的3D模型信息；纹理坐标取得部，其基于由局部图像取得部取得的局部图像信息、由3D模型取得部取得的3D模型信息，取得用于将局部图像信息所示的局部图像向3D模型信息所示的3D模型进行纹理映射的2维纹理坐标；渲染条件取得部，其取得表示渲染条件的渲染条件信息，该渲染条件是用于对基于由纹理坐标取得部取得的2维纹理坐标将局部图像信息所示的局部图像向3D模型信息所示的3D模型执行了纹理映射的带纹理3D模型进行渲染的条件；2维图像取得部，其基于由渲染条件取得部取得的渲染条件信息，对带纹理3D模型进行渲染而取得表示2维图像的2维图像信息；以及学习用数据输出部，其输出由2维图像取得部取得的2维图像信息。
[0011]专利技术的效果
[0012]根据本专利技术，即使是形状或模样复杂的物体，也能够使生成训练好的模型时所需要的学习时间比现有技术短，该训练好的模型可以高精度地对物体的形状、中心位置或类别等进行推断。
附图说明
[0013]图1是表示应用实施方式1涉及的学习用数据生成装置而构成的物体推断系统的主要部分的结构的一个例子的框图。
[0014]图2是表示实施方式1涉及的学习用数据生成装置的主要部分的结构的一个例子的框图。
[0015]图3是表示由实施方式1涉及的学习用数据生成装置所具有的3D模型取得部110取得的3D模型信息所示的3D模型的一个例子的说明图。
[0016]图4A是表示由实施方式1涉及的学习用数据生成装置所具有的拍摄图像取得部取得的拍摄图像信息所示的拍摄图像的一个例子的说明图。图4B是表示实施方式1涉及的学习用数据生成装置所具有的局部图像取得部通过背景差分法从图4A所示的拍摄图像提取的局部图像的一个例子的说明图。
[0017]图5A是表示实施方式1涉及的学习用数据生成装置所具有的纹理坐标取得部对图3所示的3D模型进行UV展开而得到的UV展开图的一个例子的说明图。图5B是表示实施方式1涉及的学习用数据生成装置所具有的纹理坐标取得部在图5A所示的UV展开图中对UV坐标进行了旋转及缩小后的UV展开图的一个例子的说明图。
[0018]图6是表示实施方式1涉及的带纹理3D模型的一个例子的说明图。
[0019]图7A及图7B是表示实施方式1涉及的学习用数据生成装置的主要部分的硬件结构的一个例子的图。
[0020]图8是说明实施方式1涉及的学习用数据生成装置的处理的一个例子的流程图。
具体实施方式
[0021]下面，一边参照附图，一边对本专利技术的实施方式进行详细的说明。
[0022]实施方式1
[0023]参照图1至图8，对实施方式1涉及的学习用数据生成装置100进行说明。
[0024]图1是表示应用实施方式1涉及的学习用数据生成装置100而构成的物体推断系统1的主要部分的结构的一个例子的框图。
[0025]物体推断系统1具有学习用数据生成装置100、存储装置10、学习装置20及推断装置30。
[0026]存储装置10是具有SSD(Solid State Drive)或HDD(Hard Disk Drive)等存储介质的用于对电子信息进行存储的装置。存储装置10经由有线通信手段或无线通信手段而与学习用数据生成装置100、学习装置20或推断装置30等连接。
[0027]学习用数据生成装置100生成学习用数据，将生成的学习用数据输出至学习装置20或存储装置10，该学习用数据在执行用于对物体的形状、中心位置或类别等进行推断的机器学习时被使用。后面会对学习用数据生成装置100的详情进行叙述。
[0028]学习装置20取得学习用数据，使用所取得的学习用数据执行用于对物体的形状、中心位置或类别等进行推断的机器学习。具体而言，学习装置20为了进行机器学习而从学习用数据生成装置100或存储装置10取得由学习用数据生成装置100输出的学习用数据。
[0029]学习装置20将表示与由该机器学习得到的学习结果对应的训练好的模型的训练好模型信本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种学习用数据生成装置，其特征在于，具有：3D模型取得部，其取得表示物体的3D模型的3D模型信息；局部图像取得部，其取得表示拍摄图像中的拍摄到所述物体的图像区域即局部图像的局部图像信息；纹理坐标取得部，其基于由所述局部图像取得部取得的所述局部图像信息和由所述3D模型取得部取得的所述3D模型信息，取得用于将所述局部图像信息所示的所述局部图像向所述3D模型信息所示的所述3D模型进行纹理映射的2维纹理坐标；渲染条件取得部，其取得表示渲染条件的渲染条件信息，该渲染条件是用于对基于由所述纹理坐标取得部取得的所述2维纹理坐标将所述局部图像信息所示的所述局部图像向所述3D模型信息所示的所述3D模型执行了纹理映射的带纹理3D模型进行渲染的条件；2维图像取得部，其基于由所述渲染条件取得部取得的所述渲染条件信息，对所述带纹理3D模型进行渲染而取得表示2维图像的2维图像信息；以及学习用数据输出部，其输出由所述2维图像取得部取得的所述2维图像信息。2.根据权利要求1所述的学习用数据生成装置，其特征在于，具有标签取得部，该标签取得部取得表示与由所述2维图像取得部取得的所述2维图像信息相关的标签的标签信息，所述学习用数据输出部除了所述2维图像取得部所示的所述2维图像信息之外，还将由所述标签取得部取得的所述标签信息与所述2维图像信息相关联地输出。3.根据权利要求2所述的学习用数据生成装置，其特征在于，所述2维图像取得部除了取得所述2维图像信息之外，还取得表示与该2维图像信息所示的所述2维图像对应的分段图像或深度图像的附带图像信息，所述标签取得部取得由所述2维图像取得部取得的所述附带图像信息作为所述标签信息。4.根据权利要求2所述的学习用数据生成装置，其特征在于，所述标签取得部取得表示在所述2维图像取得部取得所述2维图像信息时使用的所述渲染条件信息所示的所述渲染条件中的至少一部分所述渲染条件的部分渲染信息而作为所述标签信息。5.根据权利要求1所述的学习用数据生成装置，其特征在于，具有拍摄图像取得部，该拍摄图像取得部取得表示拍摄到所述物体的所述拍摄图像的拍摄图像信息，所述局部图像取得部针对由所述拍摄图像取得部取得的所述拍摄图像信息所示的所述拍摄图像，通过背景差分法提取前景，从所述拍摄图像提取包含提取出的前景区域的矩形区域，由此取得表示所述拍摄图像中的拍摄到所述物体的所述...
【专利技术属性】
技术研发人员：都丸义广，铃木利久，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。