增强现实AR视频的异步交互方法及系统技术方案

本申请实施例提供一种增强现实AR视频的异步交互方法及系统，其中方法包括：第一设备根据AR视频录制指令进行AR视频录制，得到AR视频数据并发送至第二设备；其中，AR视频数据包括视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括AR场景参考平面的空间位置数据；第二设备接收AR视频数据，根据AR视频数据播放对应的AR视频；第二设备在接收到第一操作时，根据摄像头方位数据和参考平面的空间位置数据，在AR视频对应的AR场景中加载虚拟对象。通过本实施例，能够在录制完成的AR视频中加载虚拟对象，从而在AR视频录制完成后，实现用户与AR视频的异步交互。

Asynchronous interactive method and system for augmented reality AR video

The present application embodiment provides an asynchronous interactive method and system for augmented reality AR video, which includes: the first device performs AR video recording according to the AR video recording instruction, obtains the AR video data and sends to the second device, wherein the AR video data includes the video frame data, the audio frame data, and the camera azimuth data. And the light data also includes the spatial position data of the AR scene reference plane; the second device receives the AR video data and plays the corresponding AR video according to the AR video data; the second device is loaded in the AR scene corresponding to the AR video, according to the location data of the camera azimuth and the reference plane when the first operation is received. Virtual objects. By this embodiment, the virtual object can be loaded in the recorded AR video, and the asynchronous interaction between the user and the AR video can be realized after the AR video recording is completed.

【技术实现步骤摘要】
增强现实AR视频的异步交互方法及系统
本申请涉及AR视频领域，尤其涉及一种增强现实AR视频的异步交互方法及系统。
技术介绍
随着视频技术的发展，AR(AugmentedReality，增强现实)视频基于其真实的三维效果、可添加虚拟对象的直观体验，逐渐被开发人员以及用户所关注。基于AR视频可以添加虚拟对象并具有清晰的三维效果的优点，AR视频逐渐被应用在家装设计、服装搭配等方面。现有技术中在AR视频中添加虚拟对象时，主要为实时添加的方式，即在录制AR视频的过程中，根据用户操作在视频中添加虚拟对象并直接呈现添加效果。现有技术中，只能在AR视频录制过程中根据用户操作添加虚拟对象，但无法在录制完成的AR视频中添加虚拟对象，使AR视频的交互场景大大受限。
技术实现思路
本申请实施例的目的是提供一种增强现实AR视频的异步交互方法及系统，能够在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，达到扩大AR视频的交互场景的目的。为达到上述目的，本申请实施例是这样实现的：本申请实施例提供了一种增强现实AR视频的异步交互方法，应用于第一设备和第二设备之间，包括：所述第一设备获取AR视频录制指令；所述第一设备根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；所述第二设备接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；所述第二设备在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。本申请还实施例提供了一种增强现实AR视频的异步交互系统，包括第一设备和第二设备；所述第一设备，用于获取AR视频录制指令，根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；所述第二设备，用于接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；以及，用于在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。本申请实施例中，第一设备将录制的AR视频数据发送至第二设备，第二设备在接收到AR视频数据后，根据AR视频数据播放对应的AR视频，并在接收到关于既定的虚拟对象的第一操作时，根据上述的AR场景数据，在AR视频对应的AR场景中实时加载虚拟对象。可见，本实施例中，第二设备能够在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，达到扩大AR视频的交互场景的目的。并且本实施例中，由于通过第一设备录制AR视频，通过第二设备进行AR异步交互，因此本实施例中的方法不限制在录制视频的设备上进行AR异步交互，可以根据需求选择进行AR异步交互的设备，从而进一步扩大AR视频的交互场景，提高AR视频交互的灵活性，使得AR视频交互更满足用户需求。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请一实施例提供的AR视频的异步交互方法的流程示意图；图2为本申请另一实施例提供的AR视频的异步交互方法的流程示意图；图3为本申请一实施例提供的一种AR视频的异步交互系统的结构示意图；图4为本申请一实施例提供的电子设备的结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。名词解释AR：AugmentedReality，增强现实。为在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，本申请实施例提供了一种AR视频的异步交互方法及系统，其中AR视频的异步交互方法应用在多个设备之间。图1为本申请一实施例提供的AR视频的异步交互方法的流程示意图，该方法应用于第一设备和第二设备之间，如图1所示，包括以下步骤：步骤S102，第一设备获取AR视频录制指令；步骤S104，第一设备根据AR视频录制指令进行AR视频录制，得到AR视频数据，将AR视频数据发送至第二设备；其中，AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括AR视频数据对应的至少一个参考平面的空间位置数据；步骤S106，第二设备接收AR视频数据，根据接收到的AR视频数据播放对应的AR视频；步骤S108，第二设备在接收到关于既定的虚拟对象的第一操作时，根据上述摄像头方位数据和上述至少一个参考平面的空间位置数据，在AR视频对应的AR场景中实时加载上述虚拟对象。本实施例中，实时加载可以理解为随着AR视频的播放过程，在每帧视频帧中均加载虚拟对象。本申请实施例中，第一设备将录制的AR视频数据发送至第二设备，第二设备在接收到AR视频数据后，根据AR视频数据播放对应的AR视频，并在接收到关于既定的虚拟对象的第一操作时，根据上述的AR场景数据，在AR视频对应的AR场景中实时加载虚拟对象。可见，本实施例中，第二设备能够在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，达到扩大AR视频的交互场景的目的。并且本实施例中，由于通过第一设备录制AR视频，通过第二设备进行AR异步交互，因此本实施例中的方法不限制在录制视频的设备上进行AR异步交互，可以根据需求选择进行AR异步交互的设备，从而进一步扩大AR视频的交互场景，提高AR视频交互的灵活性，使得AR视频交互更满足用户需求。一个具体的实施例中，第二设备播放AR视频后，AR视频中不存在虚拟对象，第二设备提供预先建立好的多个虚拟对象的三维模型供用户选择，用户选择某个虚拟对象的三维模型并将其移动至某一帧AR视频后，第二设备在AR视频对应的AR场景中加载并显示该虚拟对象。其中，随着AR视频的播放，每帧视频帧对应的摄像头方位数据不同，通过图1中的方法在AR场景中加载虚拟对象后，在AR视频的播放过程中，虚拟对象能够随着摄像头方位数据的转换，实时更换显示视角，达到随着视频的播放实时显示对应视角的效果。并且，通过图1中的方法在加载并显示虚拟对象后，若用户通过拖动、转动等操作更改虚拟对象的显示视角，则AR视频中虚拟对象能够随着用户操作对应地更改显示视角并实时加载，达到根据用户操作实时调整显示视角的效果。本实施例中，第本文档来自技高网...

【技术保护点】
一种增强现实AR视频的异步交互方法，应用于第一设备和第二设备之间，其特征在于，包括：所述第一设备获取AR视频录制指令；所述第一设备根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；所述第二设备接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；所述第二设备在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。

【技术特征摘要】
1.一种增强现实AR视频的异步交互方法，应用于第一设备和第二设备之间，其特征在于，包括：所述第一设备获取AR视频录制指令；所述第一设备根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；所述第二设备接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；所述第二设备在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。2.根据权利要求1所述的方法，其特征在于，根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，包括：根据所述AR视频录制指令确定AR视频对应的AR场景，为所述AR场景建立三维坐标系，得到三维坐标系数据；在所述AR场景中选取至少一个参考平面，根据所述三维坐标系，确定所述至少一个参考平面在所述AR场景中的空间位置数据；根据所述AR视频录制指令在所述三维坐标系中进行视频录制，得到每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据；将所述三维坐标系数据、所述至少一个参考平面的空间位置数据、每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，共同作为所述AR视频数据并进行结构化存储。3.根据权利要求1所述的方法，其特征在于，将所述AR视频数据发送至第二设备，包括：按照预设的数据块大小，将所述AR视频数据中的摄像头方位数据分成多个第一数据块，以及，将所述AR视频数据中的和灯光数据分为多个第二数据块，其中，每个所述第一数据块对应一帧视频帧，每个所述第二数据块对应一帧视频帧；对每个所述第一数据块和每个所述第二数据块进行二进制编码，以及，对所述视频帧数据、音频帧数据、至少一个参考平面的空间位置数据进行编码，以对所述AR视频数据进行编码；将编码后的所述AR视频数据发送至所述第二设备。4.根据权利要求3所述的方法，其特征在于，根据接收到的所述AR视频数据播放对应的AR视频，包括：对编码后的所述至少一个参考平面的空间位置数据进行解码，根据解码得到的数据构建所述AR视频对应的AR场景；确定待播放视频帧，对所述待播放视频帧对应的所述视频帧数据和所述音频帧数据进行解码，以及，对所述待播放视频帧对应的所述第一数据块和所述第二数据块进行二进制解码；在所述AR场景中，对解码后的所述视频帧数据、解码后的所述音频帧数据、解码后的所述第一数据块和解码后的所述第二数据块进行播放，以从所述待播放视频帧起进行视频播放。5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象，包括：确定加载所述虚拟对象对应的目标视频帧，并确定所述虚拟对象在所述目标视频帧中的平面位置数据；根据预设的AR坐标转换矩阵，将所述平面位置数据转换至所述AR视频对应的AR场景中，得到所述虚拟对象在所述AR场景中的初始位置数据；根据所述初始位置数据、所述目标视频帧对应的摄像头方位数据和所述至少一个参考平面的空间位置数据，实时确定所述虚拟对象在所述AR场景中的空间位置数据；根据所述空间位置数据，在所述AR场景中实时加载所述虚拟对象。6.根据权利要求5所述的方法，其特征在于，根据所述初始位置数据、所述目标视频帧对应的摄像头方位数据和所述至少一个参考平面的空间位置数据，实时确定所述虚拟对象在所述AR场景中的空间位置数据，包括：在所述AR场景中，根据所述初始位置数据和所述目标视频帧对应的摄像头方位数据创建引导线；根据所述至少一个参考平面的空间位置数据，判断是否存在与所述引导线相交的参考平面；若存在，则根据所述相交的参考平面与所述引导线的交点的位置数据，确定所述虚拟对象在所述AR场景中的空间位置数据。7.根据权利要求1至4任一项所述的方法，其特征在于，还包括：所述第二...

【专利技术属性】
技术研发人员：李涛，陈云贵，
申请(专利权)人：北京麒麟合盛网络技术有限公司，
类型：发明
国别省市：北京,11