模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法及其推定装置制造方法及图纸

一种模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法以及移动体姿势推定装置。模型生成方法包括：将至少拍摄了移动体的2维图像中的图像坐标指示为所述移动体的关键点，将附加了与所述关键点相关的信息的所述2维图像制作为训练数据，所述图像坐标是从上部观察所述移动体时的所述移动体的外形投影在路上而形成的矩形形状的顶点中的至少1点的图像坐标；和使用所述训练数据进行机器学习，生成从至少拍摄了移动体的2维图像输出所述关键点的机器学习模型。出所述关键点的机器学习模型。出所述关键点的机器学习模型。

【技术实现步骤摘要】
模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法及其推定装置


[0001]本专利技术涉及模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法、以及移动体姿势推定装置。

技术介绍

[0002]近年来，正在开发对车辆等对象(object)进行检测的各种各样的技术。例如，Garrick Brazil，他1名，“M3D－RPN：Monocular 3D Region Proposal Network for Object Detection”，Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV)，2019年，p.9287－9296中记载了，将通过单眼摄像头取得的2维图像、和作为3维数据的通过LiDAR取得的距离信息(点群数据，point group data)进行对照来制作训练数据，制作检测车辆的机器学习模型。

技术实现思路

[0003]在Garrick Brazil，他1名，“M3D－RPN：Monocular 3DRegion Proposal Network for Object Detection”，Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV)，2019年，p.9287－9296中，由于将2维数据和3维数据进行对照来制作训练数据，所以有可能为了收集充分的训练数据而需要庞大的时间。另外，由于使用了3维数据，所以有可能为了进行机器学习模型的制作所需的运算时间也变得庞大。
[0004]本专利技术提供一种能够更容易制作用于进行移动体检测的机器学习模型的模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法、以及移动体姿势推定装置。
[0005]本专利技术的第1技术方案的模型生成方法，包括：将至少拍摄了移动体的2维图像中的图像坐标指示为所述移动体的关键点，将附加了与所述关键点相关的信息的所述2维图像制作为训练数据，所述图像坐标是从上部观察所述移动体时的所述移动体的外形投影在路上而形成的矩形形状的顶点中的至少1点的图像坐标；和使用所述训练数据进行机器学习，生成从至少拍摄了移动体的2维图像输出所述关键点的机器学习模型。
[0006]本专利技术的第2技术方案的模型生成装置具备处理器。所述处理器构成为，将至少拍摄了移动体的2维图像中的图像坐标指示为所述移动体的关键点，将附加了与所述关键点相关的信息所述2维图像制作为训练数据，所述图像坐标是从上部观察所述移动体时的所述移动体的外形投影在路上而形成的矩形形状的顶点中的至少1点的图像坐标，使用所述训练数据进行机器学习，生成从至少拍摄了移动体的2维图像输出所述关键点的机器学习模型。
[0007]本专利技术的第3技术方案的非瞬时性存储介质，保存能够由一个或多个处理器执行的命令，所述命令使所述一个或多个处理器执行包括以下的功能：将至少拍摄了移动体的2维图像中的图像坐标指示为所述移动体的关键点，将附加了与所述关键点相关的信息的所
述2维图像制作为训练数据，所述图像坐标是从上部观察所述移动体时的所述移动体的外形投影在路上而形成的矩形形状的顶点中的至少1点的图像坐标；和使用所述训练数据进行机器学习，生成从至少拍摄了移动体的2维图像输出所述关键点的机器学习模型。
[0008]本专利技术的第4的技术方案的移动体姿势推定方法，包括：使用通过上述模型生成方法生成的机器学习模型，从至少拍摄了移动体的2维图像，推断所述移动体的所述关键点；和对所述关键点，进行为了推定所述移动体的姿势所需的运算。
[0009]本专利技术的第5的技术方案的移动体姿势推定装置，具备处理器，所述处理器构成为：使用通过上述模型生成方法生成的机器学习模型，从至少拍摄了移动体的2维图像，推断所述移动体的所述关键点，对所述关键点，进行为了推定所述移动体的姿势所需的运算。
[0010]在上述第1～第5的技术方案中，也可以将所述矩形形状的4个顶点指示为所述移动体的所述关键点。
[0011]在上述第1～第5的技术方案中，也可以将所述矩形形状的顶点中的2点以上的图像坐标指示为所述移动体的所述关键点，也可以按预定的顺序指示所述2维图像中的所述关键点。
[0012]在上述第1～第5的技术方案中，也可以是，所述移动体是车辆，以位于所述车辆的右侧和左侧中的至少一侧的车轮的接地位置沿着将所述车辆的右侧和左侧中的至少一侧位于前后的2个所述关键点连结的线的方式指示所述关键点。
[0013]在上述第1～第5的技术方案中，也可以是，所述机器学习模型具有神经网络构造，所述神经网络构造具备：用于从所述2维图像提取特征量的BaseNet、用于对所述特征量进行多重分辨率解析来制作多重分辨率特征映射的SpatialNet、以及基于所述多重分辨率特征映射输出所述关键点的识别器。
[0014]根据本专利技术的技术方案的模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法、以及移动体姿势推定装置，能够仅使用至少拍摄了移动体的2维图像制作训练数据。换言之，能够不使用LiDAR等的3维数据来制作训练数据。因此，与使用3维数据的情况相比，能够缩短收集训练数据所需的时间。另外，由于不使用3维数据，所以也能够缩短制作机器学习模型所需的运算时间。由此，能够提供一种更加容易制作用于进行移动体检测的机器学习模型的模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法、以及移动体姿势推定装置。
附图说明
[0015]以下，将参照附图说明本专利技术的示例性实施例的特征、优点以及技术上和产业上的意义，其中同一附图标记表示同一要素，并且其中：
[0016]图1是表示本专利技术的实施方式1的移动体姿势推定装置的构成的一例的框图。
[0017]图2是表示本专利技术的实施方式1的移动体姿势推定方法的流程图。
[0018]图3是示意性表示本专利技术的实施方式1的边界框(bounding box)和关键点(key point)的图。
[0019]图4是表示本专利技术的实施方式1的角模型(corner model)的神经网络构造的图。
[0020]图5是说明使用了作为本专利技术的实施方式1的BaseNet的一例的VGG16进行的运算的图。
[0021]图6是说明使用了本专利技术的实施方式1的SpatialNet的运算的一例的图。
[0022]图7是说明本专利技术的实施方式1的锚(anchor)的图。
[0023]图8是表示本专利技术的实施方式1的训练数据的制作处理的流程图。
[0024]图9是说明本专利技术的实施方式1的角模型的生成处理的流程图。
[0025]图10是表示本专利技术的实施方式1的移动体姿势推定处理的流程图。
具体实施方式
[0026]实施方式1
[0027]以下，参照附图说明本专利技术的实施方式1。但是，本专利技术并不限定于以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型生成方法，包括：将至少拍摄了移动体的2维图像中的图像坐标指示为所述移动体的关键点，将附加了与所述关键点相关的信息的所述2维图像制作为训练数据，所述图像坐标是从上部观察所述移动体时的所述移动体的外形投影在路上而形成的矩形形状的顶点中的至少1点的图像坐标；和使用所述训练数据进行机器学习，生成从至少拍摄了移动体的2维图像输出所述关键点的机器学习模型。2.根据权利要求1所述的模型生成方法，将所述矩形形状的4个顶点指示为所述移动体的所述关键点。3.根据权利要求1或2所述的模型生成方法，将所述矩形形状的顶点中的2点以上的图像坐标指示为所述移动体的所述关键点，按预定的顺序指示所述2维图像中的所述关键点。4.根据权利要求1至3中任一项所述的模型生成方法，所述移动体是车辆，以位于所述车辆的右侧和左侧中的至少一侧的车轮的接地位置沿着将在所述车辆的右侧和左侧中的至少一侧位于前后的2个所述关键点连结的线的方式指示所述关键点。5.根据权利要求1至4中任一项所述的模型生成方法，所述机器学习模型具有神经网络构造，所述神经网络构造具备：用于从所述2维图像提取特征量的BaseNet、用于对所述特征量进行多重分辨率解析来制作多重分辨率特征映射的SpatialNet、以及基于所述多重分辨率特征映射输出所述关键点的识别器。6.一种模型生成装置，包括处理器，所述处理器构成为：将至少拍摄了移动体的2维图像中的图像坐标指示为所述移...

【专利技术属性】
技术研发人员：浜岛绫，中野雄介，中西克典，山口阳平，
申请(专利权)人：有限会社来栖川电算，
类型：发明
国别省市：