本发明专利技术公开了一种虚拟试装方法、装置、系统与计算机可读存储介质，该方法包括：获取二维视频，计算出所述二维视频的当前帧的人物关键点坐标，并根据所述人物关键点坐标和预设衣物模型，计算出当前帧的人物旋转量、人物缩放量和人物位移量；根据所述人物旋转量、所述人物缩放量和所述人物位移量，计算出渲染参数，并根据所述渲染参数，将所述预设衣物模型渲染到当前帧的人物上；本发明专利技术只需对二维视频进行处理，大大减少计算量，提高虚拟试装的实时性，根据计算出的当前帧的人物旋转量、人物缩放量和人物位移量，计算出渲染参数，并根据渲染参数，将预设衣物模型渲染到当前帧的人物上，提高了虚拟试装真实性。高了虚拟试装真实性。高了虚拟试装真实性。
【技术实现步骤摘要】
虚拟试装方法、装置、系统与计算机可读存储介质
[0001]本专利技术涉及人工智能
，尤其涉及虚拟试装方法、装置、系统与计算机可读存储介质。
技术介绍
[0002]随着社会的发展，人们对于虚拟试装的需求越来越高，目前可以通过深度相机或视觉三维重建等技术得到人体3D模型，根据人体3D模型进行虚拟试装，但这会使得计算量增大导致实时性降低，还可以利用深度学习技术，对2D衣物图形根据人体图像分割结果做适配变形，最后渲染到人体画面上，但这会使得渲染的真实性较低；由于现有的方法普遍存在较低的实时性和真实性等缺点，导致用户体验较差，因此，如何提高虚拟试装的实时性和真实性，是急需解决的问题。
技术实现思路
[0003]本专利技术的主要目的在于提出一种虚拟试装方法、装置、系统与计算机可读存储介质，旨在解决如何提高虚拟试装的实时性和真实性的问题。
[0004]为实现上述目的，本专利技术提供一种虚拟试装方法，所述虚拟试装方法包括如下步骤：
[0005]获取二维视频，计算出所述二维视频的当前帧的人物关键点坐标，并根据所述人物关键点坐标和预设衣物模型，计算出当前帧的人物旋转量、人物缩放量和人物位移量；
[0006]根据所述人物旋转量、所述人物缩放量和所述人物位移量，计算出渲染参数，并根据所述渲染参数，将所述预设衣物模型渲染到当前帧的人物上。
[0007]优选地，获取二维视频，并计算出所述二维视频的当前帧的人物关键点坐标的步骤包括：
[0008]获取二维视频，并根据所述二维视频的录制顺序，提取所述二维视频的当前帧，并判断当前帧是否为所述二维视频的初始帧；
[0009]若当前帧为所述二维视频的初始帧，则根据当前帧中的人物位置，计算出当前帧的人物关键点坐标；
[0010]若当前帧不为所述二维视频的初始帧，则根据当前帧中的人物位置，计算出当前帧的人物关键点预坐标，并根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标。
[0011]优选地，根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标的步骤包括：
[0012]根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出位置偏差，并将所述位置偏差与预设偏差阈值进行对比，得到对比结果；
[0013]若所述对比结果为所述位置偏差小于所述预设偏差阈值，则根据当前帧的人物关键点预坐标确定当前帧的人物关键点坐标；
[0014]若所述对比结果为所述位置偏差不小于所述预设偏差阈值，则根据预设权重系数、当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标。
[0015]优选地，根据所述人物关键点坐标和预设衣物模型，计算出当前帧的人物旋转量、人物缩放量和人物位移量的步骤包括：
[0016]获取所述人物关键点坐标中的人物双肩坐标，根据所述人物双肩坐标和自适应增益策略，计算出当前帧的人物旋转量；
[0017]获取所述人物关键点坐标中的人物肩部坐标和人物腿部坐标，根据所述人物肩部坐标、所述人物腿部坐标、预设衣物模型和所述人物旋转量，计算出当前帧的人物缩放量；
[0018]获取所述人物关键点坐标中的人物颈部坐标，根据所述人物颈部坐标、预设衣物模型、所述人物旋转量和所述人物缩放量，计算出当前帧的人物位移量。
[0019]优选地，根据所述人物双肩坐标和自适应增益策略，计算出当前帧的人物旋转量的步骤包括：
[0020]根据所述人物双肩坐标，计算出所述人物旋转角度，并根据所述人物旋转角度和自适应增益策略，计算出校准系数；
[0021]根据所述校准系数，对所述人物旋转角度进行校准，以计算出当前帧的人物旋转量。
[0022]优选地，根据所述人物肩部坐标、所述人物腿部坐标、预设衣物模型和所述人物旋转量，计算出当前帧的人物缩放量的步骤包括：
[0023]获取相机矩阵和投影矩阵，并提取预设衣物模型的模型肩部坐标以及模型腿部坐标，根据所述相机矩阵、所述投影矩阵、所述人物肩部坐标、所述人物腿部坐标、所述模型肩部坐标以及所述模型腿部坐标，计算出第一人物模型矩阵；
[0024]获取默认人物位移量，根据所述默认人物位移量、所述人物第一模型矩阵和所述人物旋转量，计算出当前帧的人物缩放量。
[0025]优选地，根据所述人物颈部坐标、预设衣物模型、所述人物旋转量和所述人物缩放量，计算出当前帧的人物位移量的步骤包括：
[0026]获取相机矩阵和投影矩阵，并提取预设衣物模型的模型颈部坐标，根据所述相机矩阵、所述投影矩阵、所述人物颈部坐标、所述模型颈部坐标，计算出第二人物模型矩阵；
[0027]根据所述人物旋转量、所述人物缩放量和所述第二人物模型模型矩阵，计算出当前帧的人物位移量。
[0028]此外，为实现上述目的，本专利技术还提供一种虚拟试装装置，所述虚拟试装装置包括：
[0029]计算模块，用于获取二维视频，计算出所述二维视频的当前帧的人物关键点坐标，并根据所述人物关键点坐标和预设衣物模型，计算出当前帧的人物旋转量、人物缩放量和人物位移量；
[0030]渲染模块，用于根据所述人物旋转量、所述人物缩放量和所述人物位移量，计算出渲染参数，并根据所述渲染参数，将所述预设衣物模型渲染到当前帧的人物上。
[0031]进一步地，所述计算模块还用于：
[0032]获取二维视频，并根据所述二维视频的录制顺序，提取所述二维视频的当前帧，并
判断当前帧是否为所述二维视频的初始帧；
[0033]若当前帧为所述二维视频的初始帧，则根据当前帧中的人物位置，计算出当前帧的人物关键点坐标；
[0034]若当前帧不为所述二维视频的初始帧，则根据当前帧中的人物位置，计算出当前帧的人物关键点预坐标，并根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标。
[0035]进一步地，所述计算模块还用于：
[0036]根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出位置偏差，并将所述位置偏差与预设偏差阈值进行对比，得到对比结果；
[0037]若所述对比结果为所述位置偏差小于所述预设偏差阈值，则根据当前帧的人物关键点预坐标确定当前帧的人物关键点坐标；
[0038]若所述对比结果为所述位置偏差不小于所述预设偏差阈值，则根据预设权重系数、当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标。
[0039]进一步地，所述计算模块还用于：
[0040]获取所述人物关键点坐标中的人物双肩坐标，根据所述人物双肩坐标和自适应增益策略，计算出当前帧的人物旋转量；
[0041]获取所述人物关键点坐标中的人物肩部坐标和人物腿部坐标，根据所述人物肩部坐标、所述人物腿部坐标、预设衣物模型和所述人物旋转量，计算出当前帧的人物缩放量；
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟试装方法，其特征在于，所述虚拟试装方法包括如下步骤：获取二维视频，计算出所述二维视频的当前帧的人物关键点坐标，并根据所述人物关键点坐标和预设衣物模型，计算出当前帧的人物旋转量、人物缩放量和人物位移量；根据所述人物旋转量、所述人物缩放量和所述人物位移量，计算出渲染参数，并根据所述渲染参数，将所述预设衣物模型渲染到当前帧的人物上。2.如权利要求1所述的虚拟试装方法，其特征在于，所述获取二维视频，并计算出所述二维视频的当前帧的人物关键点坐标的步骤包括：获取二维视频，并根据所述二维视频的录制顺序，提取所述二维视频的当前帧，并判断当前帧是否为所述二维视频的初始帧；若当前帧为所述二维视频的初始帧，则根据当前帧中的人物位置，计算出当前帧的人物关键点坐标；若当前帧不为所述二维视频的初始帧，则根据当前帧中的人物位置，计算出当前帧的人物关键点预坐标，并根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标。3.如权利要求2所述的虚拟试装方法，其特征在于，所述根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标的步骤包括：根据当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出位置偏差，并将所述位置偏差与预设偏差阈值进行对比，得到对比结果；若所述对比结果为所述位置偏差小于所述预设偏差阈值，则根据当前帧的人物关键点预坐标确定当前帧的人物关键点坐标；若所述对比结果为所述位置偏差不小于所述预设偏差阈值，则根据预设权重系数、当前帧的人物关键点预坐标和当前帧的上一帧的人物关键点坐标，计算出当前帧的人物关键点坐标。4.如权利要求1所述的虚拟试装方法，其特征在于，所述根据所述人物关键点坐标和预设衣物模型，计算出当前帧的人物旋转量、人物缩放量和人物位移量的步骤包括：获取所述人物关键点坐标中的人物双肩坐标，根据所述人物双肩坐标和自适应增益策略，计算出当前帧的人物旋转量；获取所述人物关键点坐标中的人物肩部坐标和人物腿部坐标，根据所述人物肩部坐标、所述人物腿部坐标、预设衣物模型和所述人物旋转量，计算出当前帧的人物缩放量；获取所述人物关键点坐标中的人物颈部坐标，根据所述人物颈部坐标、预设衣物模型、所述人物旋转量和所述人物缩放量，计算出当前帧的人物位移量。5...
【专利技术属性】
技术研发人员：尹柏成，廖智勇，王乐，许江毅，李振宇，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。