实例对象模型构建方法及装置、可读介质和电子设备制造方法及图纸

本公开提供一种实例对象模型构建方法及装置、可读介质和电子设备，涉及增强现实技术领域。该方法包括：获取当前环境对应的全景图像帧；基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。本公开能够将现实环境中的实例对象构建成实例对象模型，以便于进一步的编辑处理，提升实例对象模型的构建效率，以及提高模型的准确性和真实性。

【技术实现步骤摘要】
实例对象模型构建方法及装置、可读介质和电子设备
本公开涉及增强现实
，具体涉及一种实例对象模型构建方法、实例对象模型构建装置、计算机可读介质和电子设备。
技术介绍
伴随着人们生活水平的不断提高，增强现实技术(AugmentedReality，AR)越来越得到人们的广泛关注。目前，通过虚拟现实技术还原真实环境例如AR看房、AR房屋装修等技术方案中，一般是由专业的建模人员，根据用户提供的真实环境的图片对真实环境进行建模，以构建真实环境的虚拟场景。但是，这种技术方案中，一方面，由建模人员依据真实环境的图片进行虚拟场景的构建，不仅构建效率低下，而且在一些特殊场景如AR看房的场景中，由于每套房间都有不同的设计，需要构建大量的虚拟场景，浪费大量人力物力；另一方面，由建模人员构建的虚拟场景，一般不能由用户进行自由编辑，复用效果较差，并且虚拟场景的真实性以及准确性较差，影响用户的使用体验。
技术实现思路
本公开的目的在于提供一种实例对象模型构建方法、实例对象模型构建装置、计算机可读介质和电子设备，进而至少在一定程度上克服相关技术中真实环境构建效率较低、准确性以及真实性较差、不能由用户自由编辑的问题。根据本公开的第一方面，提供一种实例对象模型构建方法，包括：获取当前环境对应的全景图像帧；基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。根据本公开的第二方面，提供一种实例对象模型构建装置，包括：环境图像帧获取模块，用于获取当前环境对应的全景图像帧；环境点云数据生成模型，用于基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；实例对象分割模块，用于对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；实例对象模型构建模型，用于通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。根据本公开的第四方面，提供一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。本公开的一种实施例所提供的实例对象模型构建方法，获取当前环境对应的全景图像帧；基于全景图像帧对当前环境进行三维重建处理，得到当前环境对应的环境点云数据；对全景图像帧进行语义分割处理，确定全景图像帧中的实例对象对应的图像区域；通过图像区域与环境点云数据之间的映射关系，构建实例对象对应的实例对象点云数据，以通过实例对象点云数据构建实例对象模型。一方面，对较容易获取的全景图像帧进行三维重建，然后基于构建的环境点云数据构建实例对象点云数据，进而根据实例对象点云数据生成实例对象模型，不需要专业的建模人员参与，自动实现当前环境的模型的构建，有效提升模型的构建效率；另一方面，在构建得到当前环境对应的实例对象模型之后，可以将实例对象模型进行导出，由用户进行自由编辑，在AR看房、AR房屋装修等场景中，有效提升构建的实例对象模型的复用率，避免资源的浪费；再一方面，根据从全景图像帧进行语义分割得到的实例对象对应的图像区域，以及当前环境对应全局的环境点云数据构建实例对象模型，提高实例对象模型的准确性以及真实性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；图2示出了可以应用本公开实施例的一种电子设备的示意图；图3示意性示出本公开示例性实施例中一种实例对象模型构建方法的流程图；图4示意性示出本公开示例性实施例中一种根据特征数据进行三维重建处理的流程图；图5示意性示出本公开示例性实施例中一种构建全景图像帧对应的词袋特征向量的流程图；图6示意性示出本公开示例性实施例中一种根据词袋特征向量进行三维重建处理的流程图；图7示意性示出本公开示例性实施例中一种构建实例对象点云数据的流程图；图8示意性示出本公开示例性实施例中另一种构建实例对象点云数据的流程图；图9示意性示出本公开示例性实施例中实例对象模型构建装置的组成示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。图1示出了可以应用本公开实施例的一种实例对象模型构建方法及装置的示例性应用环境的系统架构的示意图。如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于包含全景相机的建图设备、具有图像采集单元的台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。本公开实施例所提供的实例对象模型构建方法一般由终端设备101、102、103中执行，相应地，实例对象模型构建装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的实例对象模型构建方法也可以由服务器105执行，本文档来自技高网...

【技术保护点】
1.一种实例对象模型构建方法，其特征在于，包括：/n获取当前环境对应的全景图像帧；/n基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；/n对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；/n通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。/n

【技术特征摘要】
1.一种实例对象模型构建方法，其特征在于，包括：
获取当前环境对应的全景图像帧；
基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；
对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；
通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。


2.根据权利要求1所述的方法，其特征在于，所述基于所述全景图像帧对所述当前环境进行三维重建处理，还包括：
对所述全景图像帧进行降采样处理，生成分辨率较低的全景图像帧。


3.根据权利要求1或2所述的方法，其特征在于，所述基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据，包括：
提取所述全景图像帧对应的特征数据；所述特征数据包括特征点数据以及所述特征点数据对应的特征描述子；
根据所述特征点数据以及所述特征描述子对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。


4.根据权利要求3所述的方法，其特征在于，所述根据所述特征点数据以及所述特征描述子对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据，包括：
获取预构建的实例对象词典；所述实例对象词典包括多个实例对象名称词；
确定所述特征描述子与所述实例对象名称词之间的相似度数据，以根据所述相似度数据构建所述全景图像帧对应的词袋特征向量；
根据所述特征点数据以及词袋特征向量对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。


5.根据权利要求4所述的方法，其特征在于，所述根据所述特征点数据以及词袋特征向量对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据，包括：
根据所述词袋特征向量计算所述全景图像帧之间的共视关系；
将有所述共视关系的全景图像帧对应的所述特征描述子进行匹配，确定所述特征点数据在空间中的位置，以得到所述当前环境对应的环境点云数据。


6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：杨宇尘，李姬俊男，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44