信息估计、模型检索和模型对准方法和装置制造方法及图纸

本公开提供一种信息估计方法，包括获取第一图像；以及利用神经网络对所述第一图像中的对象进行姿态和/或关键点估计。本公开还提供一种模型检索方法，包括获取图像，以及根据所述图像进行模型检索，获得与所述图像中的对象匹配的目标模型。本公开还提供一种模型对准方法，包括获取第一图像；以及将所述第一图像中的对象与目标模型。

Methods and devices for information estimation, model retrieval and model alignment

【技术实现步骤摘要】
信息估计、模型检索和模型对准方法和装置
本公开涉及增强现实
，特别涉及信息估计、模型检索和模型对准方法和装置。
技术介绍
近年来，增强现实(AugmentedReality，简称AR)技术受到越来越多的关注。增强现实技术是一种将真实世界信息和虚拟世界信息集成的技术，AR不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加，这给用户带来了全新的体验。增强现实技术的一个基本功能是三维交互，即在现实世界的三维对象上叠加显示增强信息(虚拟对象或者文字等)。先进的增强现实功能需要对象的三维信息。然而现有的对象检测器或者SLAM(simultaneouslocalizationandmapping,同步定位与建图)系统却并不能提供这些信息。
技术实现思路
有鉴于此，本公开的实施例提供了新的信息估计装置和方法、新的模型检索装置和方法、新的模型对准装置和方法，及其任意组合的装置和方法。按照本公开的一方面，提供了一种信息估计方法，包括获取第一图像；以及利用神经网络对所述第一图像中的对象进行姿态和/或关键点估计。所述神经网络包括姿态和/或关键点估计模块和领域自适应模块，所述神经网络的网络参数是采用合成图像和真实图像对所述姿态和/或关键点估计模块和所述领域自适应模块进行训练得到的。在实施例中，该信息估计方法还可以包括根据所述第一图像和至少一个第二图像进行检索，得到目标模型，所述对象在所述第一图像中的第一姿态和在所述至少一个第二图像中的第二姿态各不相同。r>在实施例中，该信息估计方法还可以包括：根据所述第一图像和所述至少一个第二图像获取图像特征，根据各模型在所述第一姿态下的图像和第二姿态下的图像获取各模型的模型特征，计算所述图像特征和所述各模型的模型特征的相似度，根据相似度在所述各模型中确定目标模型。在实施例中，该信息估计方法还可以包括如下中的任一种：利用所述对象的姿态信息将目标模型和所述对象进行对准，再利用所述对象的关键点信息和所述目标模型的关键点信息对所述对准进行校准；以及利用所述对象的关键点信息将目标模型和所述对象进行对准，再利用所述对象的姿态信息和所述目标模型对所述对准进行校准。该信息估计方法还可以包括利用所述对象的姿态信息和目标模型、所述对象的关键点信息和目标模型、以及与所述对象对准的目标模型中的至少一项来执行以下任一功能：操控所述对象；预测所述对象的行为；在所述对象表面绘制预定义内容；更新和/或控制虚拟对象的姿态。按照本公开的另一方面，提供了一种模型检索方法，包括获取图像，以及根据所述图像进行模型检索，获得与所述图像中的对象匹配的目标模型。所述图像包括第一图像和至少一个第二图像，所述对象在所述第一图像中的第一姿态和在所述至少一个第二图像中的第二姿态各不相同。在实施例中，所述模型检索方法还可以包括根据所述第一图像和所述至少一个第二图像，获取图像特征，根据各模型在所述第一姿态下的图像和第二姿态下的图像获取各模型的模型特征，计算所述图像特征和所述各模型的模型特征的相似度，根据相似度在所述各模型中确定目标模型。在实施例中，所述模型检索方法还可以包括如下中的任一种：利用所述对象的姿态信息将目标模型和所述对象进行对准，再利用所述对象的关键点信息和所述目标模型的关键点信息对所述对准进行校准；以及利用所述对象的关键点信息将目标模型和所述对象进行对准，再利用所述对象的姿态信息和所述目标模型对所述对准进行校准。在实施例中，所述模型检索方法还可以包括利用神经网络对所述对象进行姿态和/或关键点估计，其中，所述神经网络包括姿态和/或关键点估计模块和领域自适应模块，所述神经网络的网络参数是采用合成图像和真实图像对所述姿态和/或关键点估计模块和所述领域自适应模块进行训练得到的。所述模型检索方法还可以利用所述对象的姿态信息和目标模型、所述对象的关键点信息和目标模型、以及与所述对象对准的目标模型中的至少一项来执行以下任一功能：操控所述对象；预测所述对象的行为；在所述对象表面绘制预定义内容；更新和/或控制虚拟对象的姿态。按照本公开的又一方面，提供了一种模型对准方法，包括获取第一图像；以及将所述第一图像中的对象与目标模型对准。在实施例中，所述模型对准方法具体可以采用如下任一种方式进行：利用所述对象的姿态信息将目标模型和所述对象进行对准，再利用所述对象的关键点信息和所述目标模型的关键点信息对所述对准进行校准；以及利用所述对象的关键点信息将目标模型和所述对象进行对准，再利用所述对象的姿态信息和所述目标模型对所述对准进行校准。在实施例中，所述模型对准方法还可以包括根据所述第一图像和至少一个第二图像获取图像特征，根据各模型在所述第一姿态下的图像和第二姿态下的图像获取各模型的模型特征，计算所述图像特征和所述各模型的模型特征的相似度，根据相似度在所述各模型中确定目标模型；所述对象在所述第一图像中的第一姿态和在所述至少一个第二图像中的第二姿态各不相同。在实施例中，所述模型对准方法还可以包括利用神经网络对所述对象进行姿态和/或关键点估计，其中，所述神经网络包括姿态和/或关键点估计模块和领域自适应模块，所述神经网络的网络参数是采用合成图像和真实图像对所述姿态和/或关键点估计模块和所述领域自适应模块进行训练得到的。在实施例中，所述模型对准方法还可以包括利用所述对象的姿态信息和目标模型、所述对象的关键点信息和目标模型、以及与所述对象对准的目标模型中的至少一项来执行以下任一功能：操控所述对象；预测所述对象的行为；在所述对象表面绘制预定义内容；更新和/或控制虚拟对象的姿态。按照本公开的又一方面，提供了一种信息估计装置，包括：获取模块，用于获取第一图像；以及估计模块，用于利用神经网络对所述第一图像中的对象进行姿态和/或关键点估计。按照本公开的又一方面，提供了一种模型检索装置，包括：获取模块，用于获取图像；以及检索模块，根据所述图像进行模型检索，获得与所述图像中的对象匹配的目标模型。按照本公开的又一方面，提供了一种模型对准装置，包括：获取模块，用于接收第一图像；以及对准模块，将所述第一图像中的对象与目标模型对准。按照本公开的又一方面，提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机可执行代码，当所述代码被处理器执行时，执行如本公开实施例中所描述的任一方法。按照本公开的又一方面，提供了一种计算机可读介质，其上存储有计算机可执行指令，当所述指令由处理器执行时，执行如本公开实施例中所描述的任一方法。按照本公开的实施例，在信息估计装置和方法中，信息估计神经网络包括姿态和/或关键点估计模块和领域自适应模块，并且采用合成图像和真实图像对姿态和/或关键点估计模块和领域自适应模块进行训练得到信息估计神经网络的网络参数，进而提高精度；在模型检索装置和方法中，利用图像和各模型在多姿态下的特征提取和比较来检索最接近的目标模型，从而提高模型检索的精度；在模型对准装置和方法中，利用对象的姿态信息将目标模本文档来自技高网...

【技术保护点】
1.一种信息估计方法，包括：/n获取第一图像；以及/n利用神经网络对所述第一图像中的对象进行姿态和/或关键点估计。/n

【技术特征摘要】
1.一种信息估计方法，包括：
获取第一图像；以及
利用神经网络对所述第一图像中的对象进行姿态和/或关键点估计。


2.根据权利要求1中任一项所述的方法，其中，所述神经网络包括姿态和/或关键点估计模块和领域自适应模块，所述神经网络的网络参数是采用合成图像和真实图像对所述姿态和/或关键点估计模块和所述领域自适应模块进行训练得到的。


3.根据权利要求1-2中任一项所述的方法，还包括：根据所述第一图像和至少一个第二图像进行检索，得到目标模型，所述对象在所述第一图像中的第一姿态和在所述至少一个第二图像中的第二姿态各不相同。


4.根据权利要求3所述的方法，还包括：根据所述第一图像和所述至少一个第二图像获取图像特征，根据各模型在所述第一姿态下的图像和第二姿态下的图像获取各模型的模型特征，计算所述图像特征和所述各模型的模型特征的相似度，根据相似度在所述各模型中确定目标模型。


5.根据权利要求1-4中任一项所述的方法，还包括如下中的一种：
利用所述对象的姿态信息将目标模型和所述对象进行对准，再利用所述对象的关键点信息和所述目标模型的关键点信息对所述对准进行校准；以及
利用所述对象的关键点信息将目标模型和所述对象进行对准，再利用所述对象的姿态信息和所述目标模型对所述对准进行校准。


6.根据权利要求1-5中任一项所述的方法，还包括：利用所述对象的姿态信息和目标模型、所述对象的关键点信息和目标模型、以及与所述对象对准的目标模型中的至少一项来执行以下任一功能：
操控所述对象；
预测所述对象的行为；
在所述对象表面绘制预定义内容；
更新和/或控制虚拟对象的姿态。


7.一种模型检索方法，包括：
获取图像，以及
根据所述图像进行模型检索，获得与所述图像中的对象匹配的目标模型。


8.根据权利要求7所述的方法，其中所述图像包括第一图像和至少一个第二图像，所述对象在所述第一图像中的第一姿态和在所述至少一个第二图像中的第二姿态各不相同。


9.根据权利要求8所述的方法，还包括：根据所述第一图像和所述至少一个第二图像，获取图像特征，根据各模型在所述第一姿态下的图像和第二姿态下的图像获取各模型的模型特征，计算所述图像特征和所述各模型的模型特征的相似度，根据相似度在所述各模型中确定目标模型。


10.根据权利要求7-9中任一项所述的方法，还包括如下中的一种：
利用所述对象的姿态信息将目标模型和所述对象进行对准，再利用所述对象的关键点信息和所述目标模型的关键点信息对所述对准进行校准；以及
利用所述对象的关键点信息将目标模型和所述对象进行对准，再利用所述对象的姿态信息和所述目标模型对所述对准进行校准。


11.根据权利要求7-10中任一项所述的方法，还包括利用神经网络对所述对象进行姿态和/或关键点估计，其中，所述神经网络包括姿态和/或关键点估计模块和领域自适应模块，所述神经网络的网络参数是采用合成图...

【专利技术属性】
技术研发人员：考月英，李炜明，刘洋，汪昊，王强，朴升仁，李炯旭，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11