图像处理设备和图像处理方法技术

估计单元使用姿态估计模型来估计姿态参数，姿态参数是基于目标图像表示目标图像中的对象的姿态的参数，目标图像是其姿态将被估计的所述对象已被拍摄在其中的对象的图像，姿态估计模型使用一个或多个教师数据来学习，一个或多个教师数据包括教师图像和教师图像中的对象的姿态参数，其中教师图像是对象已被拍摄在其中的图像。获取单元获取其姿态相似性在一个或多个教师数据中包括的一个或多个教师图像之中为最大的教师图像，姿态相似性是估计的姿态参数和与教师图像相关的姿态参数之间的相似度。第一计算单元计算图像相似性，该图像相似性是目标图像和所获取的教师图像之间的相似度。相似度。相似度。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和图像处理方法


[0001]本专利技术涉及图像处理设备和图像处理方法，特别地涉及能够检测在使用机器学习的对象姿态估计中的估计准确性的降低的图像处理设备和图像处理方法。

技术介绍

[0002]空间态势感知(SSA)要求对象的姿态的估计以便了解空间中对象的状态。在SSA中，通过诸如雷达、光学望远镜或卫星成像的方法获取诸如物体的位置、速度或外观的信息，以便了解物体在空间中的状态。
[0003]SSA的目的之一是从对象的外部图像估计对象的3D姿态。在下文中，假设物体的姿态以诸如欧拉角和四元数的参数的形式来表示。
[0004]一种用于从图像中估计对象的3D姿态的方法是使用基于机器学习的图像分类。常见的图像分类问题是从诸如“狗”、“猫”、“苹果”的预定义标签中识别针对在图像中成像的对象的适当标签。
[0005]为了将图像分类应用于3D姿态估计，每个标签必须与姿态相对应。应用于3D姿态估计的图像分类方法，通过识别对象的姿态与预定义姿态中的哪一个相匹配来间接估计图像中成像的对象的姿态。
[0006]例如，专利文献(PTL)1描述了一种用于抑制关于特定姿态组的分类准确性降低的方法。具体而言，专利文献1描述了一种在对输入图像中的对象物体进行姿态估计时，用于抑制与特定的姿态类别附近的姿态有关的识别准确性降低的技术。
[0007]此外，作为一种用于从图像中估计对象的三维姿态的方法，而不是图像分类方法，也存在使用基于机器学习的回归的方法。在使用回归的方法中，通过以统计方式直接学习图像和姿态参数之间的关系来生成回归模型。当感兴趣图像被输入到已在实际操作中学习的回归模型时，回归模型输出表示在感兴趣图像中成像的对象的估计姿态的参数。
[0008]另外，PTL2描述了一种信息处理设备，其使得从拍摄的多个人像中选择图像，从而能够有效地观察人的姿势的差异。
[0009]另外，PTL3描述了一种用于对静止或运动图像的视频场景进行分类的视频分类设备和视频分类程序，以及用于从视频场景中检索特定场景的视频检索设备和视频检索程序。
[0010]引用列表
[0011]专利文献
[0012]PTL1：日本专利号No.6188345
[0013]PTL2：日本专利申请特开平No.2018－180894
[0014]PTL3：国际公布号No.WO 2006/025272

技术实现思路

[0015]技术问题
[0016]图像分类方法要求数据库存储与各种姿态、照明环境等相对应的标签。此外，使用基于机器学习(诸如回归)的图像识别的方法要求数据库存储用于学习与各种姿态，照明环境等相对应的图像。
[0017]然而，预先生成要存储在上述数据库中的覆盖所有姿态和照明环境的数据集(标签和学习图像)的成本很高。换句话说，难以生成覆盖所有姿态和照明环境的数据集。
[0018]如果数据集仅用于有限的姿态和照明环境，则当在实际操作期间发生非预期情况时，估计姿态的准确性很可能会降低。
[0019]即使当使用计算机图形学(CG)来准备针对各种姿态和照明环境的数据集时，由于CG和实况动作图像之间的差异，估计姿态的准确性也可能降低。
[0020]如果忽略估计姿态的准确性的降低，则在SSA中将误判空间中的对象的状态。如果对象的状态被误判，则可能丢失重要信息。丢失重要信息可能导致针对空间中对象的主要问题。
[0021]由于上述原因，在SSA中，不仅提高姿态的估计准确性是重要的问题，而且检测实际操作中的姿态的估计准确性的降低也是重要的问题。PTL1
‑
3没有描述任何能够检测估计实际操作中的姿态的准确性的降低的技术。
[0022]因此，本专利技术的目的在于提供一种图像处理设备和一种图像处理方法，其能够检测使用机器学习的对象姿态估计中的估计准确性的降低。
[0023]问题的解决方案
[0024]根据本专利技术的图像处理设备是一种图像处理设备，包括：估计单元使用姿态估计模型来估计姿态参数，该姿态参数是基于目标图像表示在目标图像中的对象的姿态的参数，目标图像是其姿态将被估计的所述对象已被拍摄在其中的图像，姿态估计模型是使用一个或多个教师数据来学习的，教师数据包括教师图像和教师图像中的对象的姿态参数，其中教师图像是对象已被拍摄在其中的图像；获取单元获取其姿态相似性在一个或多个教师数据中包括的一个或多个教师图像之中为最大的教师图像，姿态相似性是估计的姿态参数和与教师图像相关的姿态参数之间的相似度；第一计算单元，计算图像相似性，该图像相似性是目标图像和所获取的教师图像之间的相似度；以及确定单元，其确定计算的图像相似性是否小于或等于预定阈值。
[0025]根据本专利技术的图像处理方法是一种图像处理方法，包括：使用姿态估计模型来估计姿态参数，该姿态参数是基于目标图像表示在目标图像中的对象的姿态的参数，目标图像是其姿态将被估计的所述对象已被拍摄在其中的图像，姿态估计模型是使用一个或多个教师数据来学习的，教师数据包括教师图像和教师图像中的对象的姿态参数，其中教师图像是对象已被拍摄在其中的图像；获取其姿态相似性在一个或多个教师数据中包括的一个或多个教师图像之中为最大的教师图像，姿态相似性是估计的姿态参数和与教师图像相关的姿态参数之间的相似度；计算图像相似性，该图像相似性是目标图像和所获取的教师图像之间的相似度；以及确定计算的图像相似性是否小于或等于预定阈值。
[0026]一种记录有根据本专利技术的图像处理程序的计算机可读记录介质，当由计算机执行时，存储的图像处理程序使计算机执行使用姿态估计模型来估计姿态参数，该姿态参数是基于目标图像表示在目标图像中的对象的姿态的参数，目标图像是其姿态将被估计的所述对象已被拍摄在其中的图像，姿态估计模型是使用一个或多个教师数据来学习的，教师数
据包括教师图像和教师图像中的对象的姿态参数，其中教师图像是对象已被拍摄在其中的图像；获取其姿态相似性在一个或多个教师数据中包括的一个或多个教师图像之中为最大的教师图像，姿态相似性是估计的姿态参数和与教师图像相关的姿态参数之间的相似度；计算图像相似性，该图像相似性是目标图像和所获取的教师图像之间的相似度；以及确定计算的图像相似性是否小于或等于预定阈值。
[0027]本专利技术的有益效果
[0028]根据本专利技术，能够检测使用了机器学习的对象姿势估计中的估计可靠度的降低。
附图说明
[0029]图1是示出本专利技术的第一示例实施例的图像处理设备的配置的示例的框图。
[0030]图2是示出感兴趣图像的示例的解释示图。
[0031]图3是示出通过相似性计算单元130分别处理感兴趣图像和教师图像的过程的示例的解释示图。
[0032]图4是示出通过第一示例实施例的图像处理设备100进行的姿态估计准确性确定过程的操作的流程图。
[0033]图5是示出本专利技术的第二示例实施例的图像处理设备的配置的示例的框图。
[0034]图6是示出通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理设备，包括：估计单元，所述估计单元使用姿态估计模型来估计姿态参数，所述姿态参数是基于目标图像表示所述目标图像中的对象的姿态的参数，所述目标图像是其姿态将被估计的所述对象已被拍摄在其中的图像，所述姿态估计模型使用一个或多个教师数据来学习，所述一个或多个教师数据包括教师图像和所述教师图像中的所述对象的所述姿态参数，所述教师图像是所述对象已被拍摄在其中的图像；获取单元，所述获取单元获取其姿态相似性在所述一个或多个教师数据中包括的一个或多个教师图像之中为最大的教师图像，所述姿态相似性是所估计的所述姿态参数和与所述教师图像相关的所述姿态参数之间的相似度；第一计算单元，所述第一计算单元计算图像相似性，所述图像相似性是所述目标图像和所获取的所述教师图像之间的相似度；以及确定单元，所述确定单元确定所计算的所述图像相似性是否小于或等于预定阈值。2.根据权利要求1所述的图像处理设备，还包括：第二计算单元，所述第二计算单元分别计算所述教师图像相对于一个或多个教师数据中包括的一个或多个教师图像的所述姿态相似性；其中所述获取单元基于所计算的所述姿态相似性来获取所述教师图像。3.根据权利要求1所述的图像处理设备，还包括：生成单元，所述生成单元基于所估计的所述姿态参数来生成具有最大姿态相似性的教师图像，其中所述获取单元从所述生成单元获取所述教师图像。4.根据权利要求3所述的图像处理设备，其中所述生成单元使用表示对象的3D模型来生成教师图像。5.根据权利要求1至4中任一项所述的图像处理设备，还包括：输出单元，当小于预定阈值的图像相似度被计算出时，所述输出单元输出指示估计所述姿态的准确性已经下降的信息。6.根据权利要求1至5中任一项所述的图像处理设备，其中所述姿态参数用欧拉角表示。7.一种图像处理方法，包括：使用姿态估计模型来估计姿态参数，所述姿态参数是基于目标图像表示所述目标图像中的对象的姿态的参数，所述目标图像是其姿态将被估...

【专利技术属性】
技术研发人员：先崎健太，室园响子，佐藤昭吾，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：