虚拟内容生成方法、服务端和终端技术

本发明专利技术提供一种虚拟内容生成方法、服务端和终端，其中方法包括：接收终端发送的视频处理请求，基于视频处理请求所指示的视频，进行姿态识别，得到视频中各视频帧中人员的运动姿态；基于各视频帧，以及各视频帧中人员的运动姿态，对人员和所述各视频帧中的各个物件进行交互检测；基于交互检测所得的各视频帧的交互检测结果，对各视频帧中人员的运动姿态进行调整，生成人员的动作序列；将动作序列发送至终端，以使终端基于动作序列驱动角色模型和场景模型生成与视频对应的虚拟内容，通过姿态识别和交互检测，保证了动作检测的全面性，基于交互检测结果的姿态矫正，保证了动作序列的真实性和连贯性，最终实现了与视频内容一致的虚拟内容的生成。内容的生成。内容的生成。

【技术实现步骤摘要】
虚拟内容生成方法、服务端和终端


[0001]本专利技术涉及虚拟现实
，尤其涉及一种虚拟内容生成方法、服务端和终端。

技术介绍

[0002]随着互联网技术的发展，为打破地理空间对于不同设备之间的交互限制，虚拟现实应运而生，其使用数字化技术以更直观、更高效，以及更智能的方式将实际操作环境与运行环境进行结合，通过虚实结合以提升工作效率、降低产品开发成本。
[0003]目前，在产品的开发和测试上，利用虚拟现实技术可以构建仿真平台，从而分析得出产品的安全性能、用户使用体验等，而在这一过程中不可避免的会涉及到实际操作环境中的人物动作，并且由于给到的实际操作环境多是单一视角下的内容，因而，如何在有限视角下准确识别实际操作环境中的人物动作，并确保生成的虚拟内容与实际操作环境的一致性成为了当前亟待解决的问题。

技术实现思路

[0004]本专利技术提供一种虚拟内容生成方法、服务端和终端，用以解决现有技术中在有限视角下识别困难，准确率低下，以及生成的虚拟内容真实性和自然度不高的缺陷，实现与视频内容一致的虚拟内容的生成。
[0005]本专利技术提供一种虚拟内容生成方法，应用于服务端，包括：
[0006]接收终端发送的视频处理请求，基于所述视频处理请求所指示的视频，进行姿态识别，得到所述视频中各视频帧中人员的运动姿态；
[0007]基于所述各视频帧，以及所述各视频帧中人员的运动姿态，对所述人员和所述各视频帧中的各个物件进行交互检测；
[0008]基于交互检测所得的各视频帧的交互检测结果，对所述各视频帧中人员的运动姿态进行调整，生成所述人员的动作序列；
[0009]将所述动作序列发送至所述终端，以使所述终端基于所述动作序列驱动角色模型和场景模型生成与所述视频对应的虚拟内容。
[0010]根据本专利技术提供的一种虚拟内容生成方法，所述基于所述视频处理请求所指示的视频，进行姿态识别，得到所述视频中各视频帧中人员的运动姿态，包括：
[0011]基于所述视频处理请求所指示的视频中的俯角视频，进行人体检测，得到所述俯角视频的各视频帧中人员的人体区域；
[0012]基于所述俯角视频的各视频帧中的人体区域，进行骨骼点检测，得到所述各视频帧中人员的二维骨骼点；
[0013]将所述二维骨骼点映射为三维骨骼点，并基于所述各视频帧对应的三维骨骼点进行姿态变换，得到所述各视频帧中人员的运动姿态。
[0014]根据本专利技术提供的一种虚拟内容生成方法，所述基于所述俯角视频的各视频帧中的人体区域，进行骨骼点检测，得到所述各视频帧中人员的二维骨骼点，包括：
[0015]基于骨骼点检测模型，对所述俯角视频的各视频帧中的人体区域进行骨骼点检测，得到所述各视频帧中人员的二维骨骼点；
[0016]所述骨骼点检测模型基于样本人体图像中的各样本骨骼点，以及所述各样本骨骼点的骨骼点热图训练得到，所述骨骼点热图中任一点对应的分数表征对应样本骨骼点位于所述任一点所处位置的概率。
[0017]根据本专利技术提供的一种虚拟内容生成方法，所述基于所述各视频帧，以及所述各视频帧中人员的运动姿态，对所述人员和所述各视频帧中的各个物件进行交互检测，包括：
[0018]基于所述各视频帧，进行物件检测，得到所述各个物件在所述各视频帧中对应的物件区域；
[0019]基于所述各视频帧中人员的运动姿态，进行手部检测，得到所述人员的手部骨骼点在所述各视频帧中对应的手部区域；
[0020]基于所述各视频帧中的物件区域和手部区域，对所述人员和所述各视频帧中的各个物件进行交互检测。
[0021]根据本专利技术提供的一种虚拟内容生成方法，所述基于交互检测所得的各视频帧的交互检测结果，对所述各视频帧中人员的运动姿态进行调整，生成所述人员的动作序列，包括：
[0022]基于所述场景模型中各个物件的物件尺寸，确定所述人员的手部运动范围，并基于所述手部运动范围，对所述各视频帧中人员的运动姿态进行调整，得到所述各视频帧中人员的正常运动姿态；
[0023]基于所述各视频帧的交互检测结果，确定所述视频中的交互区间，基于所述各视频帧中的舱门区域和人体区域之间的位置关系，确定所述视频中的出舱进舱区间；
[0024]对所述交互区间内各交互视频帧中人员的正常运动姿态，或所述各交互视频帧和所述出舱进舱区间内各进出视频帧中人员的正常运动姿态进行平滑处理，生成所述人员的动作序列。
[0025]根据本专利技术提供的一种虚拟内容生成方法，所述接收终端发送的视频处理请求，之后还包括：
[0026]基于所述视频处理请求所指示的视频中的正视视频，进行表情识别，得到所述正视视频中各视频帧中人员的表情姿态；
[0027]基于所述各视频帧中人员的表情姿态，生成所述人员的表情序列；
[0028]所述将所述动作序列发送至所述终端，包括：
[0029]将所述动作序列和所述表情序列发送至所述终端，以使所述终端基于所述动作序列和所述表情序列，驱动所述角色模型和所述场景模型生成与所述视频对应的虚拟内容。
[0030]本专利技术还提供一种虚拟内容生成方法，应用于终端，包括：
[0031]向服务端发送视频处理请求，以使所述服务端基于所述视频处理请求所指示的视频，进行姿态识别，得到所述视频中各视频帧中人员的运动姿态，基于所述各视频帧，以及所述各视频帧中人员的运动姿态，对所述人员和所述各视频帧中的各个物件进行交互检测，并基于交互检测所得的各视频帧的交互检测结果，对所述各视频帧中人员的运动姿态进行调整，生成所述人员的动作序列，将所述动作序列发送至所述终端；
[0032]接收所述服务端发送的动作序列，并基于所述动作序列驱动角色模型和场景模型
生成与所述视频对应的虚拟内容。
[0033]根据本专利技术提供的一种虚拟内容生成方法，所述向服务端发送视频处理请求，之前还包括：
[0034]获取初始场景模型和初始角色模型，所述初始场景模型和所述初始角色模型基于所述视频所呈现场景以及场景中的人员构建得到；
[0035]基于所述各视频帧，对所述初始场景模型和所述初始角色模型进行纹理映射和骨骼绑定，得到所述场景模型和所述角色模型。
[0036]本专利技术还提供一种服务端，包括：
[0037]姿态识别单元，用于接收终端发送的视频处理请求，基于所述视频处理请求所指示的视频，进行姿态识别，得到所述视频中各视频帧中人员的运动姿态；
[0038]交互检测单元，用于基于所述各视频帧，以及所述各视频帧中人员的运动姿态，对所述人员和所述各视频帧中的各个物件进行交互检测；
[0039]姿态调整单元，用于基于交互检测所得的各视频帧的交互检测结果，对所述各视频帧中人员的运动姿态进行调整，生成所述人员的动作序列；
[0040]序列发送单元，用于将所述动作序列发送至所述终端，以使所述终端基于所述动作序列驱动角色模型和场景模型生成与所述视频对应的虚拟内容。
[0041]本专利技术还提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟内容生成方法，其特征在于，应用于服务端，包括：接收终端发送的视频处理请求，基于所述视频处理请求所指示的视频，进行姿态识别，得到所述视频中各视频帧中人员的运动姿态；基于所述各视频帧，以及所述各视频帧中人员的运动姿态，对所述人员和所述各视频帧中的各个物件进行交互检测；基于交互检测所得的各视频帧的交互检测结果，对所述各视频帧中人员的运动姿态进行调整，生成所述人员的动作序列；将所述动作序列发送至所述终端，以使所述终端基于所述动作序列驱动角色模型和场景模型生成与所述视频对应的虚拟内容。2.根据权利要求1所述的虚拟内容生成方法，其特征在于，所述基于所述视频处理请求所指示的视频，进行姿态识别，得到所述视频中各视频帧中人员的运动姿态，包括：基于所述视频处理请求所指示的视频中的俯角视频，进行人体检测，得到所述俯角视频的各视频帧中人员的人体区域；基于所述俯角视频的各视频帧中的人体区域，进行骨骼点检测，得到所述各视频帧中人员的二维骨骼点；将所述二维骨骼点映射为三维骨骼点，并基于所述各视频帧对应的三维骨骼点进行姿态变换，得到所述各视频帧中人员的运动姿态。3.根据权利要求2所述的虚拟内容生成方法，其特征在于，所述基于所述俯角视频的各视频帧中的人体区域，进行骨骼点检测，得到所述各视频帧中人员的二维骨骼点，包括：基于骨骼点检测模型，对所述俯角视频的各视频帧中的人体区域进行骨骼点检测，得到所述各视频帧中人员的二维骨骼点；所述骨骼点检测模型基于样本人体图像中的各样本骨骼点，以及所述各样本骨骼点的骨骼点热图训练得到，所述骨骼点热图中任一点对应的分数表征对应样本骨骼点位于所述任一点所处位置的概率。4.根据权利要求1至3中任一项所述的虚拟内容生成方法，其特征在于，所述基于所述各视频帧，以及所述各视频帧中人员的运动姿态，对所述人员和所述各视频帧中的各个物件进行交互检测，包括：基于所述各视频帧，进行物件检测，得到所述各个物件在所述各视频帧中对应的物件区域；基于所述各视频帧中人员的运动姿态，进行手部检测，得到所述人员的手部骨骼点在所述各视频帧中对应的手部区域；基于所述各视频帧中的物件区域和手部区域，对所述人员和所述各视频帧中的各个物件进行交互检测。5.根据权利要求1至3中任一项所述的虚拟内容生成方法，其特征在于，所述基于交互检测所得的各视频帧的交互检测结果，对所述各视频帧中人员的运动姿态进行调整，生成所述人员的动作序列，包括：基于所述场景模型中各个物件的物件尺寸，确定所述人员的手部运动范围，并基于所述手部运动范围，对所述各视频帧中人员的运动姿态进行调整，得到所述各视频帧中人员的正常运动姿态；
基于所述各视频帧的交互检测结果，确定所述视频中的交互区间，基于所述各视频帧中的舱门区域和人体区域之间的位置关系，确定所述视频中的出舱进舱区间；对所述交互区间内各交互视频帧中人员的正常运动姿态，或所述各交互视频帧和所述出舱进舱区间内各进出视频帧中...

【专利技术属性】
技术研发人员：纪红蕾，赵明元，赵雪军，刘俊，沈晓宇，
申请(专利权)人：中车工业研究院有限公司，
类型：发明
国别省市：