【技术实现步骤摘要】
手部运动模糊自动抠图及在人体软分割和背景更换的应用
本专利技术属于图像识别、分割、抠图、虚拟数据生成领域，具体涉及了手部运动模糊自动抠图及在人体软分割和背景更换的应用。
技术介绍
现如今，越来越多人喜欢使用视频来进行交流，比如：视频聊天、视频会议、在线课堂等等。人体分割技术可以帮助人们对视频中的背景进行更换，从而使视频交流更加生动有趣，也使用户具有更好的沉浸式体验。另外，精确的人体分割对于进一步进行人体行为分析也具有重要意义。然而，现有分割方法主要针对清晰图像，而人们在使用视频进行交流时，经常会使用手势语言，此时，手部运动迅速，进而造成运动模糊。精确的手部分割对于人体分割至关重要，因为人的手势语言是人体最频繁使用的肢体语言。不良的手部分割会大大降低人们在使用背景更换时的真实感，也会严重影响进一步的人体行为分析。然而，经典的分割方法无法处理运动模糊的前景。若想将图像中运动模糊的前景分离出来，需要使用抠图方法。但是，现有绝大多数针对运动模糊的抠图方法需要与用户交互，并且需要用户具有一定专业操作知识，耗费大量人力处理数据。而基于深度学习的抠图算法中，目前没有针对运动模糊...
【技术保护点】
1.一种手部运动模糊自动抠图方法，其特征在于，包括：步骤S10，获取运动模糊的手部图像作为输入图像；步骤S20，基于所述输入图像，通过手部运动模糊自动抠图网络，获取手部抠图alpha结果图；所述手部运动模糊自动抠图网络为基于卷积神经网络构建并训练的用于对运动模糊图像自动进行手部抠图的网络；步骤S30，将获取的手部抠图alpha结果图输出；其中，所述手部运动模糊自动抠图网络，其训练方法为：步骤B10，获取手部运动模糊图像集及其对应的真值标注图像集作为训练图像集；步骤B20，随机选取所述手部运动模糊图像集中一个图像，通过手部运动模糊自动抠图网络，获取的运动模糊的手部抠图alph...
【技术特征摘要】
1.一种手部运动模糊自动抠图方法，其特征在于，包括：步骤S10，获取运动模糊的手部图像作为输入图像；步骤S20，基于所述输入图像，通过手部运动模糊自动抠图网络，获取手部抠图alpha结果图；所述手部运动模糊自动抠图网络为基于卷积神经网络构建并训练的用于对运动模糊图像自动进行手部抠图的网络；步骤S30，将获取的手部抠图alpha结果图输出；其中，所述手部运动模糊自动抠图网络，其训练方法为：步骤B10，获取手部运动模糊图像集及其对应的真值标注图像集作为训练图像集；步骤B20，随机选取所述手部运动模糊图像集中一个图像，通过手部运动模糊自动抠图网络，获取的运动模糊的手部抠图alpha结果图；步骤B30，将所述手部抠图alpha结果图与其对应的真值标注图进行对比计算总损失函数值，并采用误差反传的方法更新所述手部运动模糊自动抠图网络的权重；步骤B40，重复执行步骤B20-步骤B30，直至达到预设的训练结束条件，获得训练好的手部运动模糊自动抠图网络。2.根据权利要求1所述的手部运动模糊自动抠图方法，其特征在于，步骤B10中“手部运动模糊图像集及其对应的真值标注图像集”采用虚拟图像生成的方法获得，该方法为：步骤B101，获取包含手和手臂的图像，生成对应的二值掩膜图；步骤B102，基于所述二值掩膜图，通过与手部运动旋转关节边缘相切的圆圈标注所述手部运动旋转关节；步骤B103，以标注手部运动旋转关节的圆圈为中心，将手和手臂相应部位旋转预设的角度N次，获得N幅虚拟手部图像以及N幅虚拟手部图像对应的掩膜图；步骤B104，将所述N幅虚拟手部图像叠加，记做图像SumI；将所述N幅虚拟手部图像对应的掩膜图叠加，记做图像SumM；步骤B105，基于所述图像SumI、图像SumM，计算虚拟运动模糊手部前景图像F：以及对应的抠图真值标注图α：步骤B106，将所述虚拟运动手部前景图像F与输入的虚拟背景B叠加，获得手部运动模糊图像。3.根据权利要求1所述的手部运动模糊自动抠图方法，其特征在于，所述总损失函数为：其中，为损失函数值；为alpha损失函数；为合成损失函数；ωα、ωI为超参数，代表alpha损失、合成损失在总损失中的权重。4.根据权利要求3所述的手部运动模糊自动抠图方法，其特征在于，所述alpha损失函数为：其中，分别表示第i个像素位置抠图alpha结果图、抠图真值标注图的像素值，M代表图像中像素的总个数。5.根据权利要求3所述的手部运动模糊自动抠图方法，其特征在于，所述合成损失函数为：其中，分别表示第i个像素位置依据抠图alpha结果图得到的合成图像、依据抠图真值标注图得到的合成图像的像素值...
【专利技术属性】
技术研发人员：赵晓梅，吴毅红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。