样本生成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种样本生成方法、装置、电子设备及存储介质，所述方法包括：获取真实场景视频，其中，所述真实场景视频包括针对真实场景采集的视频；将所述真实场景视频输入预设第一视频转换网络，得到对应语义分割视频；将所述语义分割视频输入预设第二视频转换网络，得到对应虚拟场景视频；将所述真实场景视频与所述虚拟场景视频进行关联，确定经过关联的所述真实场景视频与所述虚拟场景视频为样本。如此通过将真实场景视频翻译成对应场景的虚拟场景视频，进而相关联以组成成对的真实场景视频以及虚拟场景视频，从而可以丰富样本，利用丰富的样本建模可以提升AR/VR用户的用户体验。

【技术实现步骤摘要】
样本生成方法、装置、电子设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种样本生成方法、装置、电子设备及存储介质。
技术介绍
随着AR(AugmentedReality，增强现实)/VR(VirtualReality，灵境技术)的不断发展，未来游戏发展方向将不断朝着AR/VR发展。然而实现AR/VR需要大量的样本，其中，该样本可以包括成对的真实场景视频以及虚拟场景视频。目前，由于成对的真实场景视频以及虚拟场景视频获取难度较大，导致样本数量较少、比较匮乏，利用这些数量较少的样本建模进而导致AR/VR用户的用户体验较差。
技术实现思路
为了解决上述由于成对的真实场景视频以及虚拟场景视频获取难度较大，导致样本数量较少、比较匮乏，利用这些数量较少的样本建模进而导致AR/VR用户的用户体验较差的技术问题，本专利技术实施例提供了一种样本生成方法、装置、电子设备及存储介质。在本专利技术实施例的第一方面，首先提供了一种样本生成方法，所述方法包括：获取真实场景视频，其中，所述真实场景视频包括针对真实场景采集的视频；...

【技术保护点】
1.一种样本生成方法，其特征在于，所述方法包括：/n获取真实场景视频，其中，所述真实场景视频包括针对真实场景采集的视频；/n将所述真实场景视频输入预设第一视频转换网络，得到对应语义分割视频；/n将所述语义分割视频输入预设第二视频转换网络，得到对应虚拟场景视频；/n将所述真实场景视频与所述虚拟场景视频进行关联，确定经过关联的所述真实场景视频与所述虚拟场景视频为样本。/n

【技术特征摘要】
1.一种样本生成方法，其特征在于，所述方法包括：
获取真实场景视频，其中，所述真实场景视频包括针对真实场景采集的视频；
将所述真实场景视频输入预设第一视频转换网络，得到对应语义分割视频；
将所述语义分割视频输入预设第二视频转换网络，得到对应虚拟场景视频；
将所述真实场景视频与所述虚拟场景视频进行关联，确定经过关联的所述真实场景视频与所述虚拟场景视频为样本。


2.根据权利要求1所述的方法，其特征在于，所述预设第一视频转换网络包括预设卷积网络和预设第一光流网络；
所述将所述真实场景视频输入预设第一视频转换网络，得到对应语义分割视频，包括：
将所述真实场景视频输入所述预设卷积网络中，提取所述真实场景视频中每帧对应的视频特征；
将所述真实场景视频输入所述预设第一光流网络中，计算所述真实场景视频中相邻帧之间的第一光流信息；
基于所述视频特征以及所述第一光流信息，对所述真实场景视频进行视频转换处理，得到对应语义分割视频。


3.根据权利要求2所述的方法，其特征在于，所述预设第一视频转换网络还包括预设反卷积网络：
所述基于所述视频特征以及所述第一光流信息，对所述真实场景视频进行视频转换处理，得到对应语义分割视频，包括：
将所述真实场景视频中每帧的前一帧对应的所述视频特征，与所述前一帧与所述每帧之间的所述第一光流信息进行融合，得到对应视频帧特征；
将所述真实场景视频中每帧对应的所述视频帧特征输入所述预设反卷积网络，得到所述真实场景视频对应的语义分割视频。


4.根据权利要求3所述的方法，其特征在于，所述将所述真实场景视频中每帧的前一帧对应的所述视频特征，与所述前一帧与所述每帧之间的所述第一光流信息进行融合，得到对应视频帧特征，包括：
确定特征融合方法，其中，所述特征融合方法包括：双线性插值法、按点逐位相加法或拼接法；
利用所述特征融合方法将所述真实场景视频中每帧的前一帧对应的所述视频特征，与所述前一帧与所述每帧之间的所述第一光流信息进行融合，得到对应视频帧特征。


5.根据权利要求1所述的方法，其特征在于，所述预设第二视频转换网络包括预设条件生成对抗网络和预设第二光流网络；
所述将所述语义分割视频输入预设第二视频转换网络，得到对应虚拟场景视频，包括：
将所述语义分割视频输入所述预设第二光流网络中，...

【专利技术属性】
技术研发人员：周慧子，陈彦宇，马雅奇，谭龙田，张黎，
申请(专利权)人：珠海格力电器股份有限公司，珠海联云科技有限公司，
类型：发明
国别省市：广东;44