基于视觉感知的自适应服装动画建模方法技术

本发明专利技术公开了一种基于视觉感知的自适应服装动画建模方法，其包括：步骤1：构建符合人眼特性的服装视觉显著模型，应用深度卷积神经网络学习并提取出服装动画每帧图像的不同层次抽象特征，并从这些特征和真实的眼动数据中深度学习出视觉显著模型；步骤2：服装分区域建模，基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。

Adaptive modeling method of garment animation based on visual perception

The invention discloses an adaptive garment animation modeling method based on visual perception, which comprises: Step 1: Construction of the garment visual model significantly with human characteristics, the depth of application of convolutional neural network learning and extract garment animation of each image features of different levels of abstraction, and from these features and the real eye data in depth a visual saliency model; step 2: clothing division Yu Jianmo, visual saliency model step 1 has been constructed based on the prediction of visual saliency map garment animation image, extract the clothing area attention, filtering the garment deformation, and combined with the camera motion information and physical deformation information, by setting the detail simulation factor subregional modeling of clothing; step 3: to construct an adaptive model of garment visual perception and driving simulation, adaptive Yu Jianmo clothing partition multi precision grid technology, details of the high precision modeling simulation factor of the regional high, the details are low precision modeling simulation with low area, on the basis of dynamic calculation and collision detection, construct the system of visual lifelike animation clothing.

【技术实现步骤摘要】
基于视觉感知的自适应服装动画建模方法
本专利技术属于虚拟现实和计算机图形学
，具体涉及一种基于视觉感知的自适应服装动画建模方法。
技术介绍
服装动画模拟效果的视觉逼真性，一直是研究者们致力工作的目标。为了得到细腻的服装效果，通常需要对服装模型进行高精度的建模，以表现其丰富的变形细节。但高精度模型有近万个图元，这就需要进行大量的碰撞检测和大规模动力学方程求解，从而花费高昂的计算代价，降低系统性能。为了解决上述问题，一种有效的解决方案是对服装进行自适应多精度建模，现有方法主要包括：基于变形状态驱动的建模法，即根据动画过程中布料状态估算服装可能出现的高变形区和低变形区，不同变形程度区采用不同精度的模型；基于视点位置驱动的建模法，即根据摄像机的视点信息，对位于摄像机镜头内和距离摄像机镜头较近的点或面片进行精化，而位于镜头外或背对镜头的点或面片进行粗化。这些方法可以在一定程度上降低计算代价，并保持变形细节。但已有方法存在的共性问题是：在动画建模时，只考虑服装运动的客观真实性，而完全忽略了人眼主观作用对感知逼真性的影响。事实上，人类视觉系统通过从外界获取图像信息传送入大脑，通过大脑对图像信息进行分析和理解，然后获得对外界信息的感知。视觉感知的敏感度不仅受到光强度、波长的影响，还与记忆与经验等更高层次的心理因素有关。因此，人类视觉系统对于服装不同区域变形的感知将会受到诸多因素的影响；如果单纯考虑构建物理真实的动画模型或者提高服装模型的精度，而完全忽略视觉敏感度对感知真实性的影响，则难以保证最终生成的服装动画的视觉逼真性。
技术实现思路
本专利技术的目的是为了实现视觉效果逼真服装动画，同时提高动画计算效率。为了保证服装动画视觉效果逼真，同时提高动画计算效率，本专利技术公开了一种基于视觉感知的自适应多精度服装动画方法，该方法基于服装动画视频提取出在不同抽象层次的特征表示，构建符合人眼视觉感知特性的服装关注度模型，再结合服装不同区域的物理变形程度以及摄像机的视点运动信息，对服装进行分区域建模，构建视觉效果逼真的服装动画系统。本专利技术方法包含3个步骤：步骤1：构建符合人眼特性的服装视觉显著模型人类视觉机制和视觉心理学的研究发现，当人类在观察图像时，并不能够获得图像中的所有信息，而是会选择性地将注意力集中在场景中的某部分而忽略掉其他的部分。传统的显著模型是基于底层图像特征表示的数学模型，而这些特征的选取往往是由人的先验知识来确定的，存在很多不确定性，由此得到的视觉显著模型往往不能够准确反映人类真实的视觉感受。为此，本专利技术中应用深度卷积神经网络学习并提取出服装动画每帧图像的不同层次抽象特征，并从这些特征和真实的眼动数据中深度学习出视觉显著模型。步骤2：服装分区域建模基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；在此基础上，结合摄像机视点位置和方向对服装区域进行分割，通过设置细节模拟因子控制不同区域的模拟细节程度，保证离视点较远的低关注遮挡区域尽可能平滑，而离视点近的未遮挡区域尽可能保持原有变形。步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。由于各区域精度不同，因此区域边界容易产生视觉不平滑和伪影。为此，通过设置连续精度改变因子进行变形修正。本专利技术的有益效果(1)构建的服装显著模型能够准确的预测服装动画图像的视觉显著图，从而分析出服装各区域的关注度。(2)通过对服装的分区域建模，能够保证服装模型视觉效果逼真，同时提高模拟效率。(3)通过构建视觉感知驱动的自适应服装模型并实现模拟，能够模拟出视觉感知逼真的服装动画。附图说明图1为眼动数据处理示意图。图2为图像视觉显著性模型示意图。图3为服装分割示意图。具体实施方式下面结合附图，对本专利技术进一步详细说明。一种基于视觉感知的自适应服装动画建模方法，包含以下步骤：1.构建符合人眼特性的服装视觉显著模型1.1眼动数据采集和预处理本专利技术采用遥测式眼动仪收集真实眼动数据，人位于屏幕前观看服装动画视频，眼动仪通过捕捉眼球的运动情况分析出人眼视线的运动轨迹和关注点，并由此产生每帧视频的焦点图和热度图。对多位试验者叠加的焦点图进行高斯卷积，得到连续平滑的“groundtruth”显著图(如图1所示)。图中自左至右，分别是原始图像，焦点图，热度图和groundtruth显著图。1.2运用深度学习方法构建视觉显著性模型本专利技术中运用卷积神经网络提取每帧图像的不同层次抽象特征，并从这些特征中训练出视觉显著模型，从而预测动画每帧图像的显著图。模型主要由三个部分组成(如图2所示)。将一帧图像作为输入，运用卷积神经网络(CNN)提取出底层、中层和高层特征；然后，通过特征权重网络训练出各个特征在视觉显著性预测中的影响权重，并产生临时的视觉显著图；最终，再与一个学习得到的先验显著图通SVM或softmax分类器得到最终的视觉显著性模型。(1)特征提取网络该网络架构是一个完全卷积神经网络，共有13层，其获取输入图像并产生特征图。通过VGG-16架构，能够得到每帧图像在不同的神经网络层中的特征表示图。这些特征图在不同的抽象层次映射着图像信息，特征图在神经网络中的层次越高所代表的图像信息越抽象。(2)特征权重网络本专利技术从特征提取网络中选取三层，得到三种不同特征空间的特征图。它们共享相同的空间大小并且连接形成一个多通道张量，随后将其输入到特征权重网络，其保留概率为0.5，以提高泛化能力。然后，卷积层使用3×3的卷积核学习64个显著的指定特征图。最后一个1×1的卷积层学习衡量每个特征图的重要性，从而产生临时的显著性预测图。最终，再与一个学习得到的先验显著图通过SVM或softmax分类器训练得到最终的视觉显著性预测图。(3)构建视觉显著性模型提取到图像特征后，作为输入输送到最后的特征权重神经网络用于计算，得到每块图像区域的显著度分数。在每幅图所对应的“groundtruth”显著图中，按照显著性从最引人注意的前30％的显著位置中选若干个正样本，标记为1；同样从最不引人注意的后30％的区域里选若干个负样本，标记为-1。以视频的每帧图像和其“groundtruth”显著图中的正负样本构成训练样本，通过最小化均方预测误差训练得到最后的结果。1.3通过交叉验证评价模型的准确性将特征数据集以及显著图集分割为两个子集，其中一个子集作为训练样本集，另外一个子集作为验证样本集。根据训练样本集学习深度神经网络；然后用测试集进行测试，比较预测值与真实样本值之间的误差，用以评价显著模型学习算法的准确性。2.服装分区域建模为了能够模拟出视觉感知逼真的服装动画，本专利技术将服装变形、服装视觉显著模型、摄像机视点运动轨迹相结合，对服装进行分区域建模。2.1根据变形分布对服装模型进行区域分割首先选取人体运动和服装模型，生成服装动画，并根据变形程度对服装进行分割(如图3所示)，颜色越深表示该区域变形越剧烈。2.2基于显著图对已划分区域本文档来自技高网...

【技术保护点】
一种基于视觉感知的自适应服装动画建模方法，其特征在于，所述方法包括以下步骤：步骤1：构建符合人眼特性的服装视觉显著模型，应用深度卷积神经网络学习并提取出服装动画每帧图像的不同层次抽象特征，并从这些特征和真实的眼动数据中深度学习出视觉显著模型；步骤2：服装分区域建模，基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；利用其对服装变形进行滤波，使得高关注服装区域保持原有物理逼真的变形，而低关注服装区域变得更为平滑；在此基础上，结合摄像机视点位置和方向对服装区域进行分割，通过设置细节模拟因子控制不同区域的模拟细节程度，保证离视点较远的低关注遮挡区域尽可能平滑，而离视点近的未遮挡区域尽可能保持原有变形；步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。

【技术特征摘要】
1.一种基于视觉感知的自适应服装动画建模方法，其特征在于，所述方法包括以下步骤：步骤1：构建符合人眼特性的服装视觉显著模型，应用深度卷积神经网络学习并提取出服装动画每帧图像的不同层次抽象特征，并从这些特征和真实的眼动数据中深度学习出视觉显著模型；步骤2：服装分区域建模，基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；利用其对服装变形进行滤波，使得高关注服装区域保持原有物理逼真的变形，而低关注服装区域变得更为平滑；在此基础上，结合摄像机视点位置和方向对服装区域进行分割，通过设置细节模拟因子控制不同区域的模拟细节程度，保证离视点较远的低关注遮挡区域尽可能平滑，而离视点近的未遮挡区域尽可能保持原有变形；步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。2.根据权利要求1所述方法，其特征在于，步骤1包括以下步骤：1.1眼动数据采集和预处理，采用遥测式眼动仪收集真实眼动数据；1.2运用深度学习方法构建视觉显著性模型；1.3通过交叉验证评价模型的准确性，将特征数据集以及显著图集分割为两个子集，其中一个子集作为训练样本集，另外一个子集作为验证样本集，根据训练样本集学习深度神经网络；然后用测试集进行测试，比较预测值与真实样本值之间的误差，用以评价显著模型学习算法的准确性。3.根据权利要求2所述方法，其特征在于，步骤1.2包括以下步骤：将一帧图像作为输入，运用卷积神经网络提取出底层、中层和高层特征；然后，通过特征权重网络训练出各个特征在视觉显著性预测中的影响...

【专利技术属性】
技术研发人员：石敏，刘亚宁，李昊，毛天露，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：北京,11