一种视频转换方法和装置制造方法及图纸

本发明专利技术实施例公开了一种视频转换方法和装置，该方法包括：通过第一视角模型将2D视频画面转换成第一视角画面；通过第二视角模型将所述2D视频帧画面转换成第二视角画面；拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。本发明专利技术实施例可以提高视频播放效果。

【技术实现步骤摘要】
一种视频转换方法和装置
本专利技术涉及视频处理
，尤其涉及一种视频转换方法和装置。
技术介绍
观看视频是目前人们生活之中一项重要的娱乐节目，且观看视频的重要场景之一是在家里使用电脑或者电视观看视频，例如：看电视剧、电影或者MV等，当然，也可以是通过电脑或者电视玩视频游戏等等。但电脑或者电视获取的视频资源往往是2D视频资源，这样人们使用电脑或者电视往往一般只能观看2D视频。而2D视频缺少深度信息，从而导致视频播放效果比较差。
技术实现思路
本专利技术实施例提供了一种视频转换方法和装置，可以提高视频播放效果。第一方面，本专利技术实施例提供一种视频转换方法，包括：通过第一视角模型将2D视频画面转换成第一视角画面；通过第二视角模型将所述2D视频帧画面转换成第二视角画面；拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。第二方面，本专利技术实施例提供一种视频转换装置，包括：第一转换模块，用于通过第一视角模型将2D视频画面转换成第一视角画面；第二转换模块，用于通过第二视角模型将所述2D视频帧画面转换成第二视角画面；拼接模块，用于拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。本专利技术实施例中，通过第一视角模型将2D视频画面转换成第一视角画面；通过第二视角模型将所述2D视频帧画面转换成第二视角画面；拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。这样可以实现将2D视频转换为3D视频，从而提高视频播放效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种视频转换方法的流程示意图；图2是本专利技术实施例提供的另一种视频转换方法的流程示意图；图3是本专利技术实施例提供的一种模型训练的示意图；图4是本专利技术实施例提供的一种视频转换装置的结构示意图；图5是本专利技术实施例提供的另一种视频转换装置的结构示意图；图6是本专利技术实施例提供的另一种视频转换装置的结构示意图；图7是本专利技术实施例提供的另一种视频转换装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1是本专利技术实施例提供的一种视频转换方法的流程示意图，如图1所示，包括以下步骤：101、通过第一视角模型将2D视频画面转换成第一视角画面。其中，上述2D视频画面可以是在线播放2D视频中的视频帧，或者可以是电脑、电视等智能设备播放的本地2D视频中的视频帧。上述第一视角模型可以是左眼视角模型或者右眼视角模型，即可以将上述2D视频画面转换左眼画面或者右眼画面。当然，生成的3D视频左眼画面和右眼画面的拼接方式可以是左右拼接或者上下拼接。本专利技术实施例中，上述第一视角模型可以是预先通过深度神经网络对大量3D视频进行学习训练得到的视角模型，从而通过步骤101可以将2D视频画面转换成3D视频的第一视角画面。优选的，步骤101可以是将2D视频画面当作为第一视角源画面输入到上述第一视角模型中，从而完成3D视频的第一视角画面的生成。102、通过第二视角模型将所述2D视频帧画面转换成第二视角画面。上述第二视角模型可以是右眼视角模型或者左眼视角模型，即可以将上述2D视频画面转换右眼画面或者左眼画面。本专利技术实施例中，上述第二视角模型可以是预先通过深度神经网络对大量3D视频进行学习训练得到的视角模型，从而通过步骤102可以将2D视频画面转换成3D视频的第二视角画面。优选的，步骤102可以是将2D视频画面当作为第一视角源画面输入到上述第二视角模型中，从而完成3D视频的第二视角画面的生成。另外，上述第一视角模型和所述第二视角模型均由自编码器(AutoEncoder，AE)和生成对抗网络(GenerativeAdversarialNets，GAN)组成。其中，自编码器AE可以充当GAN网络的生成器(Generator)，而GAN中的判别器(Discriminator)可以为单个卷积网络(Convolution)或使用效果更好的类似边界平衡生成对抗网络(BoundaryEquilibriumGenerativeAdversarialNetworks，BEGAN)的方式由一个自编码器构成的判别器。本专利技术实施例中，第一视角模型和第二视角模型采用GAN的方式而不直接使用自编码器的原因是自编码器倾向于生成模糊图像，而GAN能生成更多图像细节，从而可以提高3D视频质量。可选地，本专利技术实施例中，所述第一视角模型和所述第二视角模型可以单纯由自编码器构成。这样可以实现将2D视频画面生成较为模糊的第一视角画面和第二视角画面(例如：左眼图像和右眼图像)，这样就得到了较为匹配的模糊一些的3D视频，满足清晰度要求不高，而又需要景深信息的应用场合，且实现过程简单。另外，需要说明的是，本专利技术实施例中，对步骤101和步骤102的执行顺序不作限定。103、拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。本专利技术实施例中，可以通过步骤101和步骤102对2D视频的每个视频帧(即每个画面)均转换成第一视角画面和第二视角画面，从而步骤103可以以左右方式或者上下方式拼接第一视角画面和第二视角画面的生成完整的3D视频画面。本专利技术实施例中，上述步骤可以实现将2D视频转换为3D视频后，用3D电视或者虚拟现实(VirtualReality，VR)头盔观看，能提高临场感。且生成的3D视频隐含了深度信息，也可以用来为单目即时定位与地图构建(simultaneouslocalizationandmapping，SLAM)提供深度信息，或用来做其他需要深度信息的应用。另外，本专利技术实施例中，通过第一视角模型和第二视角模型(例如：左眼和右眼模型)两个相似的模型，依据普通视频画面分别来生成第一视角画面和第二视角画面(例如：左眼图像和右眼图像)，可以让第一视角画面和第二视角画面(例如：左眼图像和右眼图像)都是经过模型中的生成器生成的图像，取得一致性观感效果。需要说明的是，本专利技术实施例中，生成的3D视频可以是左右格式(采用左右拼接)的3D视频，或者也可以是上下格式(采用上下拼接)的3D视频。且上述第一视角画面为左眼画面，所述第二视角画面为右眼画面；或者，所述第一视角画面为右眼画面，所述第二视角画面为左眼画面。另外，本专利技术实施例中，上述方法可以通过播放器软件来实现，例如：本地播放器或者在线播放器，具体可以应用于计算机、手机、服务器等支持播放器的智能设备。本专利技术实施例中，通过第一视角模型将2D视频画面转换成第一视角画面；通过第二视角模型将所述2D视频帧画面转换成第二视角画面；拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。这样可以实现将2D视频转换为3D视频，从而提高视频播放效果。请参考图2，图2是本专利技术实施例提供的另一种视频转换方法的流程示意图，如图2所示本文档来自技高网...

【技术保护点】
一种视频转换方法，其特征在于，包括：通过第一视角模型将2D视频画面转换成第一视角画面；通过第二视角模型将所述2D视频帧画面转换成第二视角画面；拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。

【技术特征摘要】
1.一种视频转换方法，其特征在于，包括：通过第一视角模型将2D视频画面转换成第一视角画面；通过第二视角模型将所述2D视频帧画面转换成第二视角画面；拼接包括所述第一视角画面和所述第二视角画面生成3D视频画面。2.如权利要求1所述的方法，其特征在，所述第一视角模型和所述第二触摸模型均包括自编码器AE和生成对抗网络GAN；或者所述第一视角模型和所述第二触摸模型均包括AE。3.如权利要求1所述的方法，其特征在于，所述通过第一视角模型将2D视频画面转换成第一视角画面之前，所述方法还包括：通过深度神经网络对获取的大量3D视频对所述第一视角模型和所述第二视角模型进行训练，其中，所述大量3D视频为3D视频的数量超过预设数量阈值。4.如权利要求3所述的方法，其特征在于，所述通过深度神经网络对获取的大量3D视频进行学习训练，以得到所述第一视角模型和所述第二视角模型，包括：对所述大量3D视频进行解码，得到所述大量3D视频中的每一3D视频帧；对每一3D视频帧进行剪裁，得到每一3D视频帧的第一视角画面和第二视频画面；将所述第一视角画面经过所述第一视角模型包括的自编码器生成重构的第一视角假样本画面；通过第一视角真样本画面和所述第一视角假样本画面对所述第一视角模型包括的判别器和生成器进行训练，其中，所述第一视角真样本画面为3D视频帧的第一视角画面；将所述第一视角画面经过所述第二视角模型包括的自编码器生成重构的第二视角假样本画面；通过第二视角真样本画面和所述第二视角假样本画面对所述第二视角模型包括的判别器和生成器进行训练，其中，所述第二视角真样本画面为3D视频帧的第二视角画面。5.如权利要求1至4中任一项所述的方法，其特征在于，所述第一视角画面为左眼画面，所述第二视角画面为右眼画面；或者，所述第一视角画面为右眼画面，所述第二视角画面为左眼画面。6...

【专利技术属性】
技术研发人员：邓志明，
申请(专利权)人：深圳市迅雷网络技术有限公司，
类型：发明
国别省市：广东,44