基于虚拟现实技术的视频生成方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种基于虚拟现实技术的视频生成方法、装置及存储介质。该方法包括：用户通过输入装置输入信号，输入装置将输入信号通过网络传输至电子装置；电子装置对该输入信号进行识别得到输入对象的意图，根据预先设定的意图与特征值的映射关系确定所述输入对象的意图对应的特征值Ki，再根据预先设定的特征值与表情轨迹的映射关系从预设表情集合C1中获取所述特征值Ki对应的表情轨迹C1i。之后，电子装置根据所述表情轨迹C1i控制模型C2i上的特征点运动，生成虚拟视频并通过输出装置输出该虚拟视频。利用本发明专利技术，可以对用户的输入信号做出实时或延时响应，在终端输出装置输出虚拟视频。

Video generation method, device and storage medium based on Virtual Reality Technology

【技术实现步骤摘要】
基于虚拟现实技术的视频生成方法、装置及存储介质
本专利技术涉及虚拟现实
，尤其涉及一种基于虚拟现实技术的视频生成方法、装置及存储介质。
技术介绍
虚拟现实(VirtualReality，VR)技术是仿真技术的一个重要方向，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术主要包括模拟对象、感知、自然技能和传感设备等方面。模拟对象是由计算机生成的、实时动态的三维(3Dimensions，3D)立体逼真图像和音效。3D计算机图形、建模领域中的进步已经提供了在3D计算机图形环境中创建3D模型并且显现真实对象的能力。3D内容(诸如3D人或动物模型)正在被越来越多地用在动画电影、游戏和虚拟现实系统中以增强用户体验。3D模型是类似于特定对象的形状的静态3D网格。这样的3D模型在动画或各种虚拟现实系统或应用中可能以不同的方式使用。此外，在某些情况下，3D模型的脸部部分可以被认为是3D模型的最重要部分之一。目前，创建现实的3D面部模型已经是计算机图形和计算机视觉领域中的最困难的问题之一。随着3D虚拟人或虚拟动物技术在虚拟现实、3D游戏和虚拟仿真领域中的应用增多，开发中的基于真实的人或动物来生成的3D面部模型的技术已经变得越来越重要。近年来虚拟现实技术迎来井喷式增长，虚拟现实技术有助于各行各业的供应商将产品以个性化、智能化、易于接受的全新体验形式传达给消费者。虚拟现实技术将是计算机与人的下一代交互入口，在商业、金融、娱乐、教育、医疗、咨询服务等行业的人机交互场景中，例如，瑞士瑞讯银行(Swissquote)宣布将推出基于虚拟现实技术的交易应用程序。阿联酋第一海湾银推出了虚拟现实银行服务。此外，美国富国银行已开始尝试客户用OculusRift头戴显示器与银行员工开展虚拟互动，并通过谷歌眼镜扫描支票和信用卡完成交易。花旗银行探索客户通过佩戴HoloLens产品，实时创建、查看、处理、分享虚拟的三维全息金融数据，并在系统中完成在线交易。在中国，蚂蚁金服推出了VRPay，让用户在虚拟现实购物中用手势完成支付。然而，目前市场上的VR技术场景中的视频，例如虚拟人物的面部表情、动作，都是预先设定好的。
技术实现思路
本专利技术提供一种基于虚拟现实技术的视频生成方法、装置及存储介质，其主要目的在于对输入信号做出实时或延时响应，输出虚拟视频。为实现上述目的，本专利技术提供一种基于虚拟现实技术的视频生成方法，该方法包括：识别步骤：接收输入信号，对该输入信号进行识别，得到输入对象的意图；第一映射步骤：根据预先设定的意图与特征值的映射关系确定所述输入对象的意图对应的特征值Ki；第二映射步骤：根据预先设定的特征值与表情轨迹的映射关系从预设表情集合C1中获取所述特征值Ki对应的表情轨迹C1i；及生成步骤：根据所述表情轨迹C1i控制模型C2i上的特征点运动，生成虚拟视频。本专利技术还提供另一种基于虚拟现实技术的视频生成方法，该方法包括：识别步骤：接收输入信号，对该输入信号进行识别，得到输入对象的意图；第一映射步骤：根据预先设定的意图与特征值的映射关系确定所述输入对象的意图对应的特征值Ki；第二映射步骤：根据预先设定的特征值与表情轨迹的映射关系从预设表情集合C1中获取所述特征值Ki对应的表情轨迹C1i；第三映射步骤：根据预先设定的表情轨迹与模型的映射关系从预设模型集合C2中获取所述表情轨迹C1i对应的模型C2i；及生成步骤：根据所述表情轨迹C1i控制所述模型C2i上的特征点运动，生成虚拟视频。优选地，上述任意一种方法，还可以包括步骤：通过输出装置输出所述虚拟视频。优选地，所述输入信号包括文本、音频、图像、视频。优选地，当所述输入信号为文本时，根据文本语义确定所述输入对象的意图。优选地，当所述输入信号为音频时，先利用预设语音转换文字软件将该音频转换为文字，再根据文本语义确定所述输入对象的意图。优选地，当所述输入信号为图像或视频时，先利用预先训练的动作单元特征识别模型识别出该图像或视频中的动作单元特征，再根据该动作单元特征与输入对象的意图体现出的情绪之间的对应关系确定所述输入对象的意图。优选地，所述特征点为利用预设特征点提取算法从所述模型C2i上提取的用于描述所述表情轨迹C1i的点。此外，本专利技术还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括视频生成程序，该视频生成程序被所述处理器执行时实现如下步骤：识别步骤：接收输入信号，对该输入信号进行识别，得到输入对象的意图；第一映射步骤：根据预先设定的意图与特征值的映射关系确定所述输入对象的意图对应的特征值Ki；第二映射步骤：根据预先设定的特征值与表情轨迹的映射关系从预设表情集合C1中获取所述特征值Ki对应的表情轨迹C1i；及生成步骤：根据所述表情轨迹C1i控制模型C2i上的特征点运动，生成虚拟视频。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包括视频生成程序，该视频生成程序被处理器执行时实现如上所述的基于虚拟现实技术的视频生成方法中的任意步骤。本专利技术提出的基于虚拟现实技术的视频生成方法、电子装置及计算机可读存储介质，通过对输入信号(例如人或动物的音频、视频等)进行识别，得到输入对象的意图，然后根据预先设定的意图与特征值的映射关系、特征值与表情轨迹的映射关系、表情轨迹与模型的映射关系，依次确定所述输入对象的意图对应的特征值、该特征值对应的表情轨迹和该表情轨迹对应的模型，最后根据该表情轨迹控制该模型上的特征点运动，从而生成虚拟视频。利用本专利技术，可以根据输入对象的输入信号生成虚拟视频，从而提升人机交互的灵活性和趣味性。附图说明图1为本专利技术电子装置一实施例的运行环境示意图；图2为本专利技术电子装置一实施例的示意图；图3为图1、图2中视频生成程序一实施例的程序模块图；图4为本专利技术基于虚拟现实技术的视频生成方法第一实施例的流程图；图5为本专利技术基于虚拟现实技术的视频生成方法第二实施例的流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种电子装置。参照图1所示，为本专利技术电子装置1一实施例的运行环境示意图。在该实施例中，电子装置1是基于虚拟现实技术的视频生成方法的执行主体，该电子装置1与输入装置2、输出装置3通过网络4相连接。所述输入装置2将输入信号通过网络4传输至所述电子装置1，该电子装置1根据所述输入信号，控制对应模型上的特征点运动，从而生成虚拟视频。所述电子装置1可以本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实技术的视频生成方法，应用于电子装置，其特征在于，该方法包括：/n识别步骤：接收输入信号，对该输入信号进行识别，得到输入对象的意图；/n第一映射步骤：根据预先设定的意图与特征值的映射关系确定所述输入对象的意图对应的特征值Ki；/n第二映射步骤：根据预先设定的特征值与表情轨迹的映射关系从预设表情集合C1中获取所述特征值Ki对应的表情轨迹C1i；及/n生成步骤：根据所述表情轨迹C1i控制模型C2i上的特征点运动，生成虚拟视频。/n

【技术特征摘要】
1.一种基于虚拟现实技术的视频生成方法，应用于电子装置，其特征在于，该方法包括：
识别步骤：接收输入信号，对该输入信号进行识别，得到输入对象的意图；
第一映射步骤：根据预先设定的意图与特征值的映射关系确定所述输入对象的意图对应的特征值Ki；
第二映射步骤：根据预先设定的特征值与表情轨迹的映射关系从预设表情集合C1中获取所述特征值Ki对应的表情轨迹C1i；及
生成步骤：根据所述表情轨迹C1i控制模型C2i上的特征点运动，生成虚拟视频。


2.一种基于虚拟现实技术的视频生成方法，应用于电子装置，其特征在于，该方法包括：
识别步骤：接收输入信号，对该输入信号进行识别，得到输入对象的意图；
第一映射步骤：根据预先设定的意图与特征值的映射关系确定所述输入对象的意图对应的特征值Ki；
第二映射步骤：根据预先设定的特征值与表情轨迹的映射关系从预设表情集合C1中获取所述特征值Ki对应的表情轨迹C1i；
第三映射步骤：根据预先设定的表情轨迹与模型的映射关系从预设模型集合C2中获取所述表情轨迹C1i对应的模型C2i；及
生成步骤：根据所述表情轨迹C1i控制所述模型C2i上的特征点运动，生成虚拟视频。


3.如权利要求1或2所述的视频生成方法，其特征在于，该方法还包括：
输出步骤：通过输出装置输出所述虚拟视频。


4.如权利要求1或2所述的视频生成方法，其特征在于，所述输入信号包括文本、音频、图像、视频。


5.如权利要求4所述的视频生成方法，其特征在于，当所述...

【专利技术属性】
技术研发人员：王一涵，
申请(专利权)人：王一涵，
类型：发明
国别省市：云南;53