点云的数据的生成方法及数据生成装置制造方法及图纸

一种点云的数据的生成方法及数据生成装置。拍摄对象物并生成二维彩色图像数据。对彩色图像数据的多个像素进行分类，生成分类图像数据，分类图像数据包含被附加有分类信息的多个像素。确定与类别相对应的内核。内核具有与各类别所包含的像素所构成的区域的大小相应的大小。拍摄对象物并生成三维的点云的第一数据。将第一数据投影于平面，生成与第一数据的点云相对应且在二维坐标中特定的点云的第二数据。通过使包含于第二数据的点云的点和分类图像数据的像素相对应，经由包含于第二数据的点云，将包含于第一数据的点云分类至类别。使用与包含于第一数据的点的类别相应的内核，进行第一数据的点的位置信息的滤波，生成三维坐标的点云的第三数据。标的点云的第三数据。标的点云的第三数据。

【技术实现步骤摘要】
点云的数据的生成方法及数据生成装置


[0001]本申请涉及点云的数据的生成方法及数据生成装置。

技术介绍

[0002]现有技术中，存在有使用LiDAR(光学雷达，Light Detection And Ranging)、立体相机等，基于现实的对象物在三维坐标中生成特定的点云的技术。在非专利文献1的技术中，使用了PointNet，通过使这些点云分割，来识别存在于控制对象周围的物体的形状及距离等。并且能够基于该识别，使控制对象受到控制。例如，汽车以不会与存在于该汽车周围的其他物体冲突的方式自动驾驶。另外，机器人以不会与该机器人周边的建造物冲突的方式被驱动。另外，机器人能够在应当把持的位置正确地把持对象物。
[0003]在预先让实现点云的分割的网络进行学习的时候，将从对象物的CAD(Computer Aided Design)数据生成的点云的数据作为教师数据，使用每个点都分别被标记有标签的点云的数据。这些标记有标签的点云的数据的各标签的信息在环境识别中根据应当识别的对象物而生成。
[0004]现有技术文献
[0005]专利文献
[0006]非专利文献1：C.R.Qi,W.Liu,C.Wu,H.Su and L.J.Guibas,“Frustum Point Nets for 3D object detection from RGB
‑
D data”,Proc.2018IEEE/CVF Conf.on Computer Vision and Pattern Recognition,2018.
[0007]然而，对于存在于被识别的环境的每个对象物，需要从分别的CAD数据生成这样的教师数据。因此，生成教师数据的负荷较大。另外，在置于现实的世界的情况下，对于不维持与CAD数据一致的形状的柔软的弹性体，则不能够基于CAD数据生成教师数据。
[0008]本申请的专利技术者们针对以下方法进行了探讨：使用LiDAR、立体相机等，基于现实的对象物生成点云的数据，对点云的各点标记标签，生成教师数据。然而，在基于现实的对象物生成点云的情况下，在特定各点在坐标上的位置的时候，特别是，计算进深方向的位置的时候，会不可避免地有噪声混入。如果将这样的包含噪声的数据作为教师数据，让实现分割的网络进行学习，则分割的精度会降低。
[0009]本申请的专利技术者们针对用于减轻点云的数据所包含的噪声的以下手法进行了探讨。即，在三维坐标中特定的点云之中，某部分区域所包含的点云的密度比预先确定的密度更低的情况下，将该部分区域所包含的点云作为噪声，从点云的数据中除去。然而，该手法存在下述问题。例如，在LiDAR等的ToF相机(深度相机，Time of Flight)中，光以放射状射出，基于接收到其反射光的时间，生成点云的数据。因此，即便是同样大小的对象物，对于存在于离ToF相机较近位置的对象物，其点云以高密度生成，与此相对的是，对于存在于离ToF相机较远位置的对象物，其点云以低密度生成。因此，在上述手法中，对于存在于离ToF相机较远位置的对象物的点，其会被作为噪声除去。

技术实现思路

[0010]根据本申请的一个方式，提供一种点云的数据的生成方法，其特征在于，具备以下工序：通过拍摄对象物而生成二维的彩色图像数据；将构成所述彩色图像数据的多个像素分类至一个以上的类别并生成分类图像数据，所述分类图像数据包含被分别附加有分类信息的多个像素的信息；确定与所述一个以上的类别分别相对应的内核，所述内核具有与所述一个以上的类别所分别包含的像素所构成的区域的大小相应的大小；通过拍摄所述对象物，生成在三维坐标中由各个特定的点所形成的点云的第一数据；通过将所述第一数据投影于平面，生成与所述第一数据的点云的各点相对应且在二维坐标中由各个特定的点所形成的点云的第二数据；通过使包含于所述第二数据的点云的点和所述分类图像数据的像素相对应，借助包含于所述第二数据的点云的点，将包含于所述第一数据的点云的点分类至所述一个以上的类别；以及使用与包含于所述第一数据的点的类别相应的所述内核，通过将与所述第一数据的点相对应的信息作为对象进行滤波，根据所述第一数据生成在三维坐标中由各个特定的点所形成的点云的第三数据。
[0011]根据本申请的一个方式，提供一种数据生成装置，用于生成点云的数据，其特征在于，具备：彩色图像生成部，用于通过拍摄对象而生成二维的彩色图像数据；分类图像数据生成部，用于将构成所述彩色图像数据的多个像素分类至一个以上的类别并生成分类图像数据，所述分类图像数据包含被分别附加有分类信息的多个像素的信息；内核确定部，用于确定与所述一个以上的类别分别相对应的内核，所述内核具有与所述一个以上的类别所分别包含的像素所构成的区域的大小相应的大小；第一数据生成部，用于通过拍摄所述对象物，生成在三维坐标中由各个特定的点所形成的点云的第一数据；第二数据生成部，用于通过将所述第一数据投影于平面，生成与所述第一数据的点云的各点对应且在二维坐标中由各个特定的点所形成的点云的第二数据；点云分类部，用于通过使包含于所述第二数据的点云的点和所述分类图像数据的像素相对应，从而经由包含于所述第二数据的点云的点，将包含于所述第一数据的点云的点分类至所述一个以上的类别；以及第三数据生成部，用于通过使用所述内核以与所述第一数据的点相对应的信息为对象进行滤波，根据所述第一数据生成在三维坐标中由各个特定的点所形成的点云的第三数据，所述内核与包含于所述第一数据的点的类别相应。
附图说明
[0012]图1是示出本申请的第一实施方式的数据生成装置1的构成的框图。
[0013]图2是示出从两个图像数据计算到对象物的距离的手法的原理的说明图。
[0014]图3是示出根据数据生成装置1的点云的数据的生成方法的处理的流程图。
[0015]图4是示出彩色图像数据D2ci的例子的图。
[0016]图5是示出第一数据D31的例子的图。
[0017]图6是示出步骤S100中获取到的彩色图像数据D2ci的例子的图。
[0018]图7是示出分类图像数据D2cs的例子的图。
[0019]图8是示出包含于第二数据D22的点云的例子的图。
[0020]图9是示出经由包含于第二数据D22的点云的点而标记于包含于第一数据D31的点云的点的分类信息Is的例子的图。
[0021]图10是示出表格Tr的例子的图。
[0022]图11是示出内核的一例即内核Knc的图。
[0023]图12是示出内核的一例即内核Kng的图。
[0024]图13是示出步骤S100中获取到的彩色图像数据D2cib的图。
[0025]图14是示出分类图像数据D2csb的例子的图。
[0026]图15是示出在使用立体相机、ToF相机、以及结构化照明和相机作为通过拍摄对象物OB而生成第一数据D31的构成的情况下的性能的比较的表。
[0027]附图标记说明
[0028]1…
数据生成装置，10
…本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云的数据的生成方法，其特征在于，具备以下工序：通过拍摄对象物而生成二维的彩色图像数据；将构成所述彩色图像数据的多个像素分类至一个以上的类别并生成分类图像数据，所述分类图像数据包含被分别附加有分类信息的多个像素的信息；确定与所述一个以上的类别分别相对应的内核，所述内核具有与所述一个以上的类别所分别包含的像素所构成的区域的大小相应的大小；通过拍摄所述对象物，生成在三维坐标中由各个特定的点所形成的点云的第一数据；通过将所述第一数据投影于平面，生成与所述第一数据的点云的各点相对应且在二维坐标中由各个特定的点所形成的点云的第二数据；通过使包含于所述第二数据的点云的点和所述分类图像数据的像素相对应，借助包含于所述第二数据的点云的点，将包含于所述第一数据的点云的点分类至所述一个以上的类别；以及使用与包含于所述第一数据的点的类别相应的所述内核，通过将与所述第一数据的点相对应的信息作为对象进行滤波，根据所述第一数据生成在三维坐标中由各个特定的点所形成的点云的第三数据。2.根据权利要求1所述的点云的数据的生成方法，其特征在于，所述滤波是除去噪声的滤波。3.根据权利要求1或2所述的点云的数据的生成方法，其特征在于，确定所述内核的工序包括以下工序：参照表格确定所述内核的大小，所述表格保存有根据所述一个以上的类别所分别包含的像素所构成的区域的大小而确定的大小。4.一种数据生成装置，用于生成点云的数据，其特征在于，具备：彩色图像...

【专利技术属性】
技术研发人员：佐藤彰展，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：