【技术实现步骤摘要】
一种用于行为识别的虚拟视频数据生成方法
本专利技术属于计算机图形学
，特别涉及一种用于行为识别的虚拟视频数据生成方法。
技术介绍
虚拟合成数据因其效率高、成本低，在物体检测、语义分割等很多计算机视觉任务中都有着很大的作用。在行为识别领域里，视频数据的收集和制作行为标签的成本都是相当昂贵的，因此生成用于行为识别的虚拟视频数据是一个非常迫切的需求。目前，虚拟视频数据的生成存在两方面的难点：(1)生成动态虚拟视频比生成静态图像更具有挑战性，虚拟视频的制作需要对人体骨架进行建模，而且需要每一帧骨架的姿态数据来驱动虚拟人体模型来运动。静态图像生成仅仅需要得到骨架关节点的位置信息即可。(2)需要解决虚拟数据与真实数据在特征域上的迁移问题，即领域变换问题，使得虚拟数据在特征域上尽可能地接近真实数据。将虚拟视频数据用于行为识别任务还处于如何制作虚拟数据的阶段，目前已有的虚拟视频数据生成方法都是利用代价昂贵的动作捕捉文件来对行为进行建模，需要特定的设备和环境；目前的虚拟视频数据生成方法生成的数据虚拟性较强，与真实数据中的...
【技术保护点】
1.一种用于行为识别的虚拟视频数据生成方法，其特征在于，包括：/n步骤1，使用建模软件构造虚拟人体的外观模型和骨架模型，进行蒙皮和着色处理，获得人体模型；/n步骤2，在3D建模软件虚拟场景下进行行为建模；所述行为建模包括：读取3D姿态数据，计算3D姿态数据中不同帧之间相同骨骼节点的欧拉角，通过欧拉角驱动人体模型执行3D姿态数据的相应行为，获得预设数量的关键帧，完成基于3D姿态数据的行为建模；/n步骤3，将步骤2获得的关键帧进行渲染，渲染时采用领域随机化策略，生成用于行为识别的虚拟视频数据。/n
【技术特征摘要】
1.一种用于行为识别的虚拟视频数据生成方法，其特征在于，包括：
步骤1，使用建模软件构造虚拟人体的外观模型和骨架模型，进行蒙皮和着色处理，获得人体模型；
步骤2，在3D建模软件虚拟场景下进行行为建模；所述行为建模包括：读取3D姿态数据，计算3D姿态数据中不同帧之间相同骨骼节点的欧拉角，通过欧拉角驱动人体模型执行3D姿态数据的相应行为，获得预设数量的关键帧，完成基于3D姿态数据的行为建模；
步骤3，将步骤2获得的关键帧进行渲染，渲染时采用领域随机化策略，生成用于行为识别的虚拟视频数据。
2.根据权利要求1所述的一种用于行为识别的虚拟视频数据生成方法，其特征在于，步骤1中人体模型的构建具体包括以下步骤：
基于人类属性对虚拟人体进行外观建模；对虚拟人体进行骨架建模；
利用烘焙贴图技术制作贴图为外观模型着色以及蒙皮处理，获得人体模型；
其中，人体模型的运动由骨架模型驱动。
3.根据权利要求2所述的一种用于行为识别的虚拟视频数据生成方法，其特征在于，步骤1中，人类属性包括：性别、种族、年龄、身高、体重和服饰；
根据Kinect深度相机的人体关节点信息来建立骨架模型。
4.根据权利要求1所述的一种用于行为识别的虚拟视频数据生成方法，其特征在于，步骤2具体包括：
1)读取3D姿态数据并进行解析；其中，3D姿态数据用3D深度相机Kinect采集；Kinect对人体定义了25个关节点的3D坐标信息，将25个关节点的3D坐标信息提取出来；
2)以hip为原点，右手方向为X轴正方向，头上方为Y轴正方向，人背对为Z轴正方向，构建惯性坐标系；计算出每个关节点在所述惯性坐标系下的位置；
3)构建父-子节点局部坐标系，以父节点作为原点、Y轴正向指向子节点的方向；将每个关节点在世界坐标系中的3D坐标位置Pglobal转化成局部坐标系中的位置Plocal；
4)从hip关节点开始，按照Kinect定义的节点结构迭代计算当前帧每个关节点的旋转欧拉角；其中，欧拉角的计算过程中，先根据罗德里格斯公式计算从初始帧到当前帧关节点的旋转矩阵R，然后根据旋转矩阵R求出ZXY顺序的欧拉角Rotz,Rotx,Roty；
5)重复步骤4)，计算出每一帧25个关节点基于第一帧的旋转欧拉角，在Blender虚拟环境中，将每一帧都作为关键帧插...
【专利技术属性】
技术研发人员：王乐，师皓玥，臧津樑，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。