增强现实处理方法及装置、系统、存储介质和电子设备制造方法及图纸

本公开提供了一种增强现实处理方法、增强现实处理装置、增强现实处理系统、计算机可读存储介质和电子设备，涉及增强现实技术领域。该增强现实处理方法包括：获取第一终端的摄像模组采集的当前帧图像，提取当前帧图像的图像参数，将图像参数发送至云端，以便云端利用预存储的建图结果确定出与图像参数对应的虚拟对象的信息；接收云端发送的虚拟对象的信息并展示虚拟对象；响应针对虚拟对象的编辑操作，对虚拟对象进行编辑。本公开在实现多人AR的过程中减少了用户的操作并可以增强多人AR体验的趣味性。

Augmented reality processing methods and devices, systems, storage media and electronic equipment

【技术实现步骤摘要】
增强现实处理方法及装置、系统、存储介质和电子设备
本公开涉及增强现实
，具体而言，涉及一种增强现实处理方法、增强现实处理装置、增强现实处理系统、计算机可读存储介质和电子设备。
技术介绍
增强现实(AugmentedReality，AR)是一种把虚拟世界和现实世界融合的技术，该技术已广泛应用到教育、游戏、医疗、物联网、智能制造等多个领域。在多人AR的方案中，多个终端之间可以实现虚拟物体信息的共享。然而，在此过程中，终端需要输入表征场景的房间ID号来获取虚拟物体信息，这就增加了用户的操作，并且在存在多个AR场景(也就是存在多个房间ID号)的情况下，会加重用户的记忆负担，不够智能。
技术实现思路
本公开提供一种增强现实处理方法、增强现实处理装置、增强现实处理系统、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于终端在获取虚拟物体信息时需要输入对应房间ID号而导致用户操作繁琐的问题。根据本公开的第一方面，提供了一种增强现实处理方法，应用于第一终端，包括：获取第一终端的摄像模组采集的当前帧图像，提取当前帧图像的图像参数，将图像参数发送至云端，以便云端利用预存储的建图结果确定出与图像参数对应的虚拟对象的信息；接收云端发送的虚拟对象的信息并展示该虚拟对象；响应针对虚拟对象的编辑操作，对虚拟对象进行编辑。根据本公开的第二方面，提供了一种增强现实处理方法，应用于云端，包括：获取第一终端发送的当前帧图像的图像参数；利用预存储的建图结果确定出与当前帧图像的图像参数对应的虚拟对象信息；将虚拟对象信息发送至第一终端，以便在第一终端上展示虚拟对象；获取第一终端对虚拟对象进行编辑的结果并存储。根据本公开的第三方面，提供了一种增强现实处理装置，应用于第一终端，包括：参数上传模块，用于获取第一终端的摄像模组采集的当前帧图像，提取当前帧图像的图像参数，将图像参数发送至云端，以便云端利用预存储的建图结果确定出与图像参数对应的虚拟对象的信息；虚拟对象获取模块，用于接收云端发送的虚拟对象的信息并展示该虚拟对象；虚拟对象编辑模块，用于响应针对虚拟对象的编辑操作，对虚拟对象进行编辑。根据本公开的第四方面，提供了一种增强现实处理装置，应用于云端，包括：参数获取模块，用于获取第一终端发送的当前帧图像的图像参数；虚拟对象确定模块，用于利用预存储的建图结果确定出与当前帧图像的图像参数对应的虚拟对象信息；虚拟对象发送模块，用于将虚拟对象信息发送至第一终端，以便在第一终端上展示虚拟对象；编辑结果获取模块，用于获取第一终端对虚拟对象进行编辑的结果并存储。根据本公开的第五方面，提供了一种增强现实处理系统，包括：第一终端，用于获取摄像模组采集的当前帧图像，提取当前帧图像的图像参数，将图像参数发送至云端；获取云端发送的虚拟对象信息并展示虚拟对象；响应针对虚拟对象的编辑操作，对虚拟对象进行编辑，并将编辑的结果反馈给云端；云端，用于获取图像参数；利用预存储的建图结果确定出与当前帧图像的图像参数对应的虚拟对象信息，并将虚拟对象信息发送至第一终端；获取第一终端对虚拟对象进行编辑的结果并存储。根据本公开的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一种的增强现实处理方法。根据本公开的第七方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述任一种的增强现实处理方法。在本公开的一些实施例所提供的技术方案中，第一终端将当前帧图像的图像参数发送至云端，云端利用预存的建图结果确定与该图像参数对应的虚拟对象信息，并将该虚拟对象信息发送至第一终端以便在第一终端上展示虚拟对象，接下来，第一终端响应针对虚拟对象的编辑操作，对该虚拟对象进行编辑，并将编辑结果反馈给云端，云端存储编辑结果。一方面，本公开方案在获取虚拟对象信息时，无需用户输入房间ID号，而是云端通过搜索与当前帧图像匹配的建图结果而确定出虚拟对象信息，在确定出当前帧图像后，无需用户进行操作，智能匹配出对应的虚拟对象信息，便利性得到了提高；另一方面，相比于需要输入房间ID号获取虚拟对象的方案，本公开方案中，用户无需记忆不同场景的房间ID号；再一方面，本公开方案可以对预先配置的虚拟对象进行再编辑，增强了多人AR体验的趣味性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了本公开实施例的实现多人AR的系统架构示意图；图2示出了适于用来实现本公开实施例的电子设备的结构示意图；图3示意性示出了根据本公开的一个示例性实施方式的增强现实处理方法的流程图；图4示出了第一终端响应用户操作执行增强现实过程的界面示意图；图5示出了本公开一个实施例的第一终端响应用户的选定操作在界面上展示虚拟对象的编辑子界面的示意图；图6示出了本公开另一个实施例的第一终端响应用户的选定操作在界面上展示虚拟对象的编辑子界面的示意图；图7示出了本公开一个实施例的第一终端响应用户的操作移动虚拟对象的示意图；图8示出了本公开一个实施例的第一终端响应用户的操作调整虚拟对象尺寸的示意图；图9示出了本公开一个实施例的第一终端响应用户的操作删除虚拟对象的示意图；图10示出了本公开一个实施例的第一终端响应用户的虚拟对象添加操作在场景中添加新的虚拟对象的示意图；图11示出了本公开一个实施例的第三终端上呈现编辑前和编辑后的虚拟对象的选择子界面的示意图；图12示意性示出了根据本公开的另一个示例性实施方式的增强现实处理方法的流程图；图13示意性示出了根据本公开的示例性实施方式的增强现实处理方案的交互图；图14示出了应用本公开的示例性实施方式的增强现实处理方案的一种效果示意图；图15示意性示出了根据本公开的第一示例性实施方式的增强现实处理装置的方框图；图16示意性示出了根据本公开的第二示例性实施方式的增强现实处理装置的方框图；图17示意性示出了根据本公开的第三示例性实施方式的增强现实处理装置的方框图；图18示意性示出了根据本公开的第四示例性实施方式的增强现实处理装置的方框图；图19示意性示出了根据本公开的第五示例性实施方式的增强现实处理装置的方框图；图20示意性示出了根据本公开的第六示例性实施方式的增强现实处理装置的方框图；图21示意性示出了根据本公开的第七示例性实施方式的增强现实处理装置的方框图；图22示意性示出了根据本公开的第八示例性实施方式的增强现实处理装置的方框图。具体实施方式现本文档来自技高网...

【技术保护点】
1.一种增强现实处理方法，应用于第一终端，其特征在于，包括：/n获取所述第一终端的摄像模组采集的当前帧图像，提取所述当前帧图像的图像参数，将所述图像参数发送至云端，以便所述云端利用预存储的建图结果确定出与所述图像参数对应的虚拟对象的信息；/n接收所述云端发送的所述虚拟对象的信息并展示所述虚拟对象；/n响应针对所述虚拟对象的编辑操作，对所述虚拟对象进行编辑。/n

【技术特征摘要】
1.一种增强现实处理方法，应用于第一终端，其特征在于，包括：
获取所述第一终端的摄像模组采集的当前帧图像，提取所述当前帧图像的图像参数，将所述图像参数发送至云端，以便所述云端利用预存储的建图结果确定出与所述图像参数对应的虚拟对象的信息；
接收所述云端发送的所述虚拟对象的信息并展示所述虚拟对象；
响应针对所述虚拟对象的编辑操作，对所述虚拟对象进行编辑。


2.根据权利要求1所述的增强现实处理方法，其特征在于，所述增强现实处理方法还包括：
获取所述第一终端所处场景的位置信息；
将所述位置信息发送至所述云端，以便所述云端确定出建图结果的搜索范围并利用所述搜索范围内的建图结果确定出与所述图像参数对应的虚拟对象信息。


3.根据权利要求1或2所述的增强现实处理方法，其特征在于，响应针对所述虚拟对象的编辑操作，对所述虚拟对象进行编辑，包括：
在所述第一终端的界面上，响应针对所述虚拟对象的选定操作，展示所述虚拟对象的编辑子界面；
响应在所述编辑子界面上的编辑操作，对所述虚拟对象进行编辑。


4.根据权利要求1所述的增强现实处理方法，其特征在于，所述虚拟对象进行编辑的类型包括：
删除所述虚拟对象、移动所述虚拟对象、旋转所述虚拟对象、修改所述虚拟对象的属性中至少一种。


5.根据权利要求1或2所述的增强现实处理方法，其特征在于，所述增强现实处理方法还包括：
响应虚拟对象添加操作，在所述第一终端所处场景中添加新的虚拟对象；以及
将所述新的虚拟对象的信息发送至所述云端。


6.根据权利要求1所述的增强现实处理方法，其特征在于，所述图像参数包括所述当前帧图像的二维特征点信息和三维特征点信息；其中，提取所述当前帧图像的图像参数包括：
对所述当前帧图像进行二维特征点提取，确定所述当前帧图像的二维特征点信息；
获取所述二维特征点信息对应的深度信息，根据所述二维特征点信息以及所述二维特征点信息对应的深度信息确定所述当前帧图像的三维特征点信息。


7.根据权利要求6所述的增强现实处理方法，其特征在于，获取所述二维特征点信息对应的深度信息，根据所述二维特征点信息以及所述二维特征点信息对应的深度信息确定所述当前帧图像的三维特征点信息，包括：
获取由所述第一终端的深度感测模组采集的与所述当前帧图像对应的深度信息；
将所述当前帧图像与所述当前帧图像对应的深度信息进行配准，确定所述当前帧图像上各像素点的深度信息；
从所述当前帧图像上各像素点的深度信息中确定出与所述二维特征点信息对应的深度信息；
利用所述二维特征点信息以及与所述二维特征点信息对应的深度信息，确定所述当前帧图像的三维特征点信息。


8.一种增强现实处理方法，应用于云端，其特征在于，包括：
获取第一终端发送的当前帧图像的图像参数；
利用预存储的建图结果确定出与所述当前帧图像的图像参数对应的虚拟对象信息；
将所述虚拟对象信息发送至所述第一终端，以便在所述第一终端上展示虚拟对象；
获取所述第一终端对所述虚拟对象进行编辑的结果并存储。


9.根据权利要求8所述的增强现实处理方法，其特征在于，利用预存储的建图结果确定出与所述当前帧图像的图像参数对应的虚拟对象信息包括：
获取所述第一终端所处场景的位置信息；
确定与所述位置信息对应的建图结果的搜索范围；
利用所述搜索范围内的建图结果确定出与当前帧图像的图像参数对应的虚拟对象信息。


10.根据权利要求8或9所述的增强现实处理方法，其特征在于，利用预存储的建图结果确定出与所述当前帧图像的图像参数对应的虚拟对象信息包括：
从所述预存储的建图结果中，筛选出与所述当前帧图像的图像参数匹配的参考图像，并确定拍摄所述参考图像的第二终端；
利用所述当前帧图像的图像参数与所述参考图像的图像参数，确定所述当前帧图像相对于所述第二终端的位姿；
根据所述当前帧图像相对于所述第二终端的位姿以及采集所述当前帧图像时所述第一终端的姿态信息，确定所述第一终端与所述第二终端的相对位姿关系；
利用所述第一终端与所述第二终端的相对位姿关系，并结合所述第二终端在建图时配置的虚拟对象信息，确定与所述当前帧图像的图像参数对应的虚拟对象信息。


11.根据权利要求10所述的增强现实处理方法，其特征在于，所述当前帧图像的图像参数包含所述当前帧图像的二维特征点信息和三维特征点信息，所述参考图像的图像参数包含所述参考图像的二维特征点信息和三维特征点信息；其中，利用所述当前帧图像的图像参数与所述参考图像的图像参数，确定所述当前帧图像相对于所述第二终端的位姿，包括：
如果所述当前帧图像的二维特征点信息与所述参考图像的二维特征点信息匹配，则利用迭代最近点方式确定所述当前帧图像的三维特征点信息与所述参考图像的三维特征点信息之间的相对位姿关系，以得到所述当前帧图像相对于所述第二终端的位姿。


12.根据权利要求11所述的增强现实处理方法，其特征在于，在确定所述当前帧图像的三维特征点信息与所述参考图像的三维特征点信息之间的相对位姿关系之前，所述增强现实处理方法还包括：
确定所述当前帧图像的二维特征点信息与所述参考图像的二维特征点信息中的误匹配特征点信息；
从所述当前帧图像的三维特征点信息中剔除所述误匹配特征点信息，以便确定所述当前帧图像的剔除所述误匹配特征点信息后的三维特征点信...

【专利技术属性】
技术研发人员：曾凡涛，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44