本申请涉及一种虚拟服装穿戴方法、装置、直播系统、电子设备以及计算机可读存储介质；所述方法包括：根据输入的2D人体图像重建相应的3D人体模型；计算3D服装模型的相似变换矩阵，并根据所述相似变换矩阵将所述3D服装模型与所述3D人体模型进行对齐；将对齐后的3D服装模型渲染成2D服装图像并获取服装区域的图像掩膜；根据所述图像掩膜将所述2D服装图像与所述2D人体图像进行融合得到虚拟试穿图像；该技术方案，可以实现比2D技术方案更真实、贴合的穿戴效果，适用于各种网络平台的虚拟试衣、直播业务中的礼物特效等多种应用场景。
1、随着网络直播技术的发展，各种图像处理技术被广泛应用于网络直播当中，从而可以提高网络直播中分享的优质内容的传播效果。虚拟服装穿戴技术，是可以帮助用户快速体验到新衣服的虚拟图像处理技术，无需到现场先脱掉原来的衣服再换上新衣服等繁琐操作，这种虚拟服装穿戴技术不仅仅在视频直播中有应用，在各种电商平台也使用广泛
2、传统的虚拟服装穿戴技术，主要是采用2d技术方案，一般借助人体关键点算法和语义分割算法将2d的服装图片贴到2d的人体图片上，然而由于2d技术无法完整描述完整的3d信息，在遮挡、侧身等复杂姿态下的穿戴效果不够真实、贴合，应用场景受限，从而难以满足网络直播业务使用需求，影响了网络直播效果。
>7、在一个实施例中，根据输入的2d人体图像重建相应的3d人体模型，包括：8、对输入的2d人体图像提取图像特征，利用回归网络预测smpl人体基模型的重建系数；
9、根据重建系数并结合smpl人体基模型获取相应的3d人体模型。
10、在一个实施例中，计算3d服装模型的相似变换矩阵，并根据所述相似变换矩阵将所述3d服装模型与所述3d人体模型进行对齐，包括：
11、在平均人体模型上选择n个第一顶点；
12、在3d服装模型上选出与所述第一顶点相同位置的n个第二顶点，并获取所述第二顶点的第一3d坐标；
13、获取所述n个第一顶点在3d人体模型上的第二3d坐标；
14、根据所述第一3d坐标和第二3d坐标计算出相似变换矩阵；
15、根据所述相似变换矩阵将3d服装模型的位置、大小以及角度与3d人体模型对齐。
16、在一个实施例中，在平均人体模型的左肩膀、右肩膀、左腰以及右腰上选择四个第一顶点；
17、在所述3d服装模型上选出第一顶点位置的四个第二顶点，并获取四个第二顶点对应的第一3d坐标；
18、获取四个第一顶点在3d人体模型上对应的第二3d坐标；
19、所述相似变换矩阵包括旋转矩阵r和平移矩阵t，其中，旋转矩阵r是3×3矩阵，平移矩阵t是1×3的矩阵。
20、在一个实施例中，根据所述相似变换矩阵将3d服装模型的位置、大小以及角度与3d人体模型对齐，包括：
21、获取所述3d服装模型上各个顶点对应的第三3d坐标；
22、根据所述第三3d坐标、旋转矩阵r以及平移矩阵t计算3d服装模型上各个顶点对应的第四3d坐标，计算式如下：
23、cn＝co×r+t
24、式中，co表示第三3d坐标，cn表示第四3d坐标，r表示旋转矩阵，t表示平移矩阵，“×”表示相乘；
25、根据所述第四3d坐标将3d服装模型的位置、大小以及角度分别与3d人体模型进行对齐。
26、在一个实施例中，将对齐后的3d服装模型渲染成2d服装图像并获取服装区域的图像掩膜，包括：
27、将对齐后的3d服装模型渲染成2d服装图像；其中，所述2d服装图像的服装区域的像素值为非0值，其他区域的像素值为0值；
28、根据所述2d服装图像的像素值确定服装区域的图像掩膜。
29、在一个实施例中，根据所述图像掩膜将所述2d服装图像与所述2d人体图像进行融合得到虚拟试穿图像，包括：
30、根据所述图像掩膜对所述2d服装图像进行截取得到服装区域图像；
31、将所述服装区域图像叠加到所述2d人体图像上融合得到虚拟试穿图像。
32、第二方面，本申请提供一种虚拟服装穿戴装置，包括：
33、重建模块，用于根据输入的2d人体图像重建相应的3d人体模型；
34、对齐模块，用于计算3d服装模型的相似变换矩阵，并根据所述相似变换矩阵将所述3d服装模型与所述3d人体模型进行对齐；
35、渲染模块，用于将对齐后的3d服装模型渲染成2d服装图像，并根据所述2d服装图像得到服装区域所在的图像掩膜；
36、融合模块，用于根据所述图像掩膜将所述2d服装图像与所述2d人体图像进行融合得到虚拟试穿图像。
37、第三方面，本申请提供一种直播系统，包括：主播端、观众端以及直播服务器；其中，所述主播端和观众端分别通过通信网络连接至所述直播服务器；
38、所述主播端，用于接入直播间的主播以及采集主播直播视频流上传至直播服务器；
39、所述直播服务器，用于将主播直播视频转发至观众端，以及利用所述的虚拟服装穿戴方法在主播直播视频上穿戴3d服装模型得到虚拟试穿图像；
40、所述观众端，用于接入直播间的观众用户以及接收所述主播直播视频及所述虚拟试穿图像进行播放。
41、第四方面，本申请提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的虚拟服装穿戴方法的步骤。
42、第五方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的虚拟服装穿戴方法的步骤。
43、上述各实施例提供的技术方案，基于3d人体重建算法重建出的3d人体模型，将3d服装模型穿戴到重建出的3d人体模型上，然后进行图像融合得到虚拟试穿图像；该技术方案，利用3d信息渲染2d图像，可以实现比2d技术方案更真实、贴合的穿戴效果，适用于各种网络平台的虚拟试衣、直播业务中的礼物特效等多种应用场景。
本文档来自技高网...
【技术保护点】
1.一种虚拟服装穿戴方法，其特征在于，包括：
2.根据权利要求1所述的虚拟服装穿戴方法，其特征在于，根据输入的2D人体图像重建相应的3D人体模型，包括：
3.根据权利要求2所述的虚拟服装穿戴方法，其特征在于，计算3D服装模型的相似变换矩阵，并根据所述相似变换矩阵将所述3D服装模型与所述3D人体模型进行对齐，包括：
4.根据权利要求3所述的虚拟服装穿戴方法，其特征在于，在平均人体模型的左肩膀、右肩膀、左腰以及右腰上选择四个第一顶点；
5.根据权利要求4所述的虚拟服装穿戴方法，其特征在于，根据所述相似变换矩阵将3D服装模型的位置、大小以及角度与3D人体模型对齐，包括：
6.根据权利要求1所述的虚拟服装穿戴方法，其特征在于，将对齐后的3D服装模型渲染成2D服装图像并获取服装区域的图像掩膜，包括：
7.根据权利要求6所述的虚拟服装穿戴方法，其特征在于，根据所述图像掩膜将所述2D服装图像与所述2D人体图像进行融合得到虚拟试穿图像，包括：
8.一种虚拟服装穿戴装置，其特征在于，包括：
9.一种直播系统，其特征在于，包括：主播端、观众端以及直播服务器；其中，所述主播端和观众端分别通过通信网络连接至所述直播服务器；
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的虚拟服装穿戴方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的虚拟服装穿戴方法的步骤。
...
【技术特征摘要】
1.一种虚拟服装穿戴方法，其特征在于，包括：
2.根据权利要求1所述的虚拟服装穿戴方法，其特征在于，根据输入的2d人体图像重建相应的3d人体模型，包括：
3.根据权利要求2所述的虚拟服装穿戴方法，其特征在于，计算3d服装模型的相似变换矩阵，并根据所述相似变换矩阵将所述3d服装模型与所述3d人体模型进行对齐，包括：
4.根据权利要求3所述的虚拟服装穿戴方法，其特征在于，在平均人体模型的左肩膀、右肩膀、左腰以及右腰上选择四个第一顶点；
5.根据权利要求4所述的虚拟服装穿戴方法，其特征在于，根据所述相似变换矩阵将3d服装模型的位置、大小以及角度与3d人体模型对齐，包括：
6.根据权利要求1所述的虚拟服装穿戴方法，其特征在于，将对齐后的3d服装模型渲染成2d服装图像...
【专利技术属性】
技术研发人员：宫凯程，姚粤汉，陈增海，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。