当前位置: 首页 > 专利查询>之江实验室专利>正文

一种长短时特征引导的人体康复运动视频数据生成方法技术

技术编号:40990167 阅读:13 留言:0更新日期:2024-04-18 21:32
本说明书公开了一种长短时特征引导的人体康复运动视频数据生成方法,可以通过视频生成模型中的图像参考网络,提取得到参考图像对应的图像参考特征,以及将第k‑1个分段视频样本输入到视频生成模型中的视频参考网络中,得到视频参考特征。通过生成的噪声,对第k个分段视频样本进行加噪,得到加噪后的分段视频样本,并将第k个分段姿态序列、加噪后的分段视频样本、视频参考特征以及图像参考特征,输入到视频生成模型中的稳定扩散网络中,通过稳定扩散网络预测对第k个分段视频样本加入的噪声,得到预测噪声;以最小化预测噪声与生成的噪声之间的差异为优化目标,对视频生成模型进行训练,从而提高了视频生成质量。

【技术实现步骤摘要】

本说明书涉及神经网络、视频生成,尤其涉及一种长短时特征引导的人体康复运动视频数据生成方法


技术介绍

1、当前,在康复视频生成领域中,传统的方法通常采用逐帧渲染的方式,导致视频缺乏时间上的一致性,例如出现康复动作不连贯等不良效果。为了解决这个问题,许多研究工作提出了加入时间注意力机制来直接生成整个康复运动视频。

2、但是,这种方式依然存在生成康复运动视频时会逐帧生成每个视频帧的问题,从而依然会存在视频缺乏时间上的一致性。

3、因此,如何提高视频生成的准确性,则是一个亟待解决的问题。


技术实现思路

1、本说明书提供一种长短时特征引导的人体康复运动视频数据生成方法,以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案:

3、本说明书提供了一种长短时特征引导的人体康复运动视频数据生成方法,包括:

4、获取参考图像、姿态序列以及视频样本;

5、将所述姿态序列与所述视频样本分别进行分段,得到各分段姿态序列和各分段视频样本,一个分段姿态本文档来自技高网...

【技术保护点】

1.一种长短时特征引导的人体康复运动视频数据生成方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述视频生成模型中还包括图像语义特征提取模型和视频语义特征提取模型;

3.如权利要求2所述的方法,其特征在于,所述图像参考网络中包括若干子模块,每个子模块中包括空间注意力模块和复合交叉注意力模块;

4.如权利要求2所述的方法,其特征在于,所述视频参考网络中包括若干子模块,每个子模块中包括:空间注意力模块、复合交叉注意力模块和时间注意力模块;

5.如权利要求2所述的方法,其特征在于,所述稳定扩散网络中包括若干子模块,每个子模块中包...

【技术特征摘要】

1.一种长短时特征引导的人体康复运动视频数据生成方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述视频生成模型中还包括图像语义特征提取模型和视频语义特征提取模型;

3.如权利要求2所述的方法,其特征在于,所述图像参考网络中包括若干子模块,每个子模块中包括空间注意力模块和复合交叉注意力模块;

4.如权利要求2所述的方法,其特征在于,所述视频参考网络中包括若干子模块,每个子模块中包括:空间注意力模块、复合交叉注意力模块和时间注意力模块;

5.如权利要求2所述的方法,其特征在于,所述稳定扩散网络中包括若干子模块,每个子模块中包括:空间注意力模块、复合交叉注意力模块、门控交叉注意力模块和时间注意力模块...

【专利技术属性】
技术研发人员:王宏升林峰
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1