本发明专利技术涉及电子档案，具体涉及一种基于VR技术的儿童成长档案构建方法，采集儿童各年龄段的个人信息，以及相应的面部图像、视频图像；采集不同的人像数据，并对人像数据进行预处理，将预处理后的人像数据输入特征点识别模型进行模型训练；利用训练好的特征点识别模型对面部图像进行人像特征点、动态特征点的识别；基于识别出的人像特征点构建三维面部模型，并对三维面部模型与面部图像中的动态特征点进行位置同步匹配；获取视频图像中关于人体骨骼的二维图像关键点，并将二维图像关键点转换为三维图像关键点；本发明专利技术提供的技术方案能够有效克服现有技术所存在的虚拟人无法真实有效还原儿童的表情及动作的缺陷。还原儿童的表情及动作的缺陷。还原儿童的表情及动作的缺陷。
【技术实现步骤摘要】
一种基于VR技术的儿童成长档案构建方法
[0001]本专利技术涉及电子档案，具体涉及一种基于VR技术的儿童成长档案构建方法。
技术介绍
[0002]图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。数字图像处理技术源于20世纪20年代，当时通过海底电缆从英国伦敦向美国纽约传输了一幅照片，采用了数字压缩技术。数字图像处理技术可以帮助人们更客观、准确地认识世界，人的视觉系统可以帮助人类从外界获取3/4以上的信息，而图像又是所有视觉信息的载体。
[0003]随着时代的进步，人们对于自己孩子的成长尤为关注，尤其是对儿童成长过程进行全面记录往往具有很大的纪念价值，而由于照片本身的性质，一方面不能长久保存，另一方面其不能记录连续动作信息，因此无法很好地记录儿童成长历程。
[0004]近年来，随着计算机视觉、计算机图形学以及人工智能技术的不断发展，虚拟人开始应用于各行各业。利用虚拟人来全方位记录儿童成长历程，不仅能够还原儿童的外形及微表情，同时还能够重现儿童的连续动作信息，从而记录儿童在不同年龄段的成长信息。但是，由于相关技术发展的还不是非常成熟，如何使得虚拟人真实还原儿童的表情及动作，是当前需要深入研究的问题。
技术实现思路
[0005](一)解决的技术问题
[0006]针对现有技术所存在的上述缺点，本专利技术提供了一种基于VR技术的儿童成长档案构建方法，能够有效克服现有技术所存在的虚拟人无法真实有效还原儿童的表情及动作的缺陷。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种基于VR技术的儿童成长档案构建方法，包括以下步骤：
[0010]S1、采集儿童各年龄段的个人信息，以及相应的面部图像、视频图像；
[0011]S2、采集不同的人像数据，并对人像数据进行预处理，将预处理后的人像数据输入特征点识别模型进行模型训练；
[0012]S3、利用训练好的特征点识别模型对面部图像进行人像特征点、动态特征点的识别；
[0013]S4、基于识别出的人像特征点构建三维面部模型，并对三维面部模型与面部图像中的动态特征点进行位置同步匹配；
[0014]S5、获取视频图像中关于人体骨骼的二维图像关键点，并将二维图像关键点转换为三维图像关键点；
[0015]S6、确定视频图像中的深度数据，基于深度数据和三维图像关键点生成动作视频；
[0016]S7、结合儿童各年龄段的个人信息、三维面部模型和动作视频，生成基于VR视频的儿童成长电子档案。
[0017]优选地，S2中采集不同的人像数据，并对人像数据进行预处理，包括：
[0018]利用相机采集不同的人像数据，并对人像数据进行归一化处理，得到预处理后的人像数据。
[0019]优选地，S2中将预处理后的人像数据输入特征点识别模型进行模型训练，包括：
[0020]构建卷积神经网络，通过人工标记的方式在预处理后的人像数据中标注人像特征点、动态特征点，得到标签表情图像；
[0021]将预处理后的人像数据与对应标签表情图像输入卷积神经网络，分别以原始人像数据与标签表情图像中人像特征点、动态特征点的匹配度计算损失值，以损失值最小为目标训练特征点识别模型。
[0022]优选地，所述以损失值最小为目标训练特征点识别模型，包括：
[0023]采用亚当算法对卷积神经网络的网络参数进行优化，当人像特征点、动态特征点对应的损失值均小于0.3时，得到网络参数确定的特征点识别模型。
[0024]优选地，S4中对三维面部模型与面部图像中的动态特征点进行位置同步匹配，包括：
[0025]判断三维面部模型与面部图像中人像特征点的匹配度是否大于匹配度阈值；
[0026]若大于匹配度阈值，则基于三维面部模型与面部图像中人像特征点所在位置，对三维面部模型与面部图像中的动态特征点进行识别；
[0027]基于识别结果，改变三维面部模型中动态特征点所在位置，完成三维面部模型与面部图像中的动态特征点的位置同步匹配。
[0028]优选地，所述人像数据包括不含任何表情的标准人像数据，以及包含丰富表情的非标准人像数据，所述标准人像数据、非标准人像数据中分别标记有人像特征点、动态特征点；
[0029]所述面部图像包括不含任何表情的标准面部图像，以及包含丰富表情的非标准面部图像，所述特征点识别模型分别从标准面部图像、非标准面部图像中识别出人像特征点、动态特征点。
[0030]优选地，S5中获取视频图像中关于人体骨骼的二维图像关键点，包括：
[0031]构建用于识别人体骨骼二维图像关键点的关键点识别模型，并进行模型训练；
[0032]将获取的连续帧视频图像输入训练好的关键点识别模型，得到关于人体骨骼的二维图像关键点。
[0033]优选地，S5中将二维图像关键点转换为三维图像关键点，包括：
[0034]构建用于将二维图像关键点转换为三维图像关键点的关键点转换模型，并进行模型训练；
[0035]将获取的二维图像关键点输入训练好的关键点转换模型，关键点转换模型通过保留/舍去对应关节，以及对关节进行平滑处理后，得到关于人体骨骼的三维图像关键点。
[0036]优选地，S6中确定视频图像中的深度数据，包括：
[0037]构建用于识别单目图像景深的景深识别模型，并进行模型训练；
[0038]将获取的连续帧视频图像输入训练好的景深识别模型，得到各帧视频图像中以腹
部为中心的深度数据。
[0039]优选地，S6中基于深度数据和三维图像关键点生成动作视频，包括：
[0040]将各帧视频图像中的深度数据与对应人体骨骼的三维图像关键点进行整合，基于连续帧视频图像的深度数据及对应的三维图像关键点生成可视化动作视频。
[0041](三)有益效果
[0042]与现有技术相比，本专利技术所提供的一种基于VR技术的儿童成长档案构建方法，具有以下有益效果：
[0043]1)通过采集不同的人像数据，利用人像数据对特征点识别模型进行模型训练，再利用训练好的特征点识别模型对儿童面部图像进行人像特征点、动态特征点的识别，基于识别出的人像特征点构建三维面部模型，并对三维面部模型与面部图像中的动态特征点进行位置同步匹配，实现儿童与虚拟人之间的表情同步，确保虚拟人能够真实有效还原儿童的表情；
[0044]2)通过采集儿童各年龄段的视频图像，获取视频图像中关于人体骨骼的二维图像关键点，并将二维图像关键点转换为三维图像关键点，确定视频图像中的深度数据，基于深度数据和三维图像关键点生成动作视频，实现儿童与虚拟人之间的动作同步，确保虚拟人能够真实有效还原儿童的动作。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于VR技术的儿童成长档案构建方法，其特征在于：包括以下步骤：S1、采集儿童各年龄段的个人信息，以及相应的面部图像、视频图像；S2、采集不同的人像数据，并对人像数据进行预处理，将预处理后的人像数据输入特征点识别模型进行模型训练；S3、利用训练好的特征点识别模型对面部图像进行人像特征点、动态特征点的识别；S4、基于识别出的人像特征点构建三维面部模型，并对三维面部模型与面部图像中的动态特征点进行位置同步匹配；S5、获取视频图像中关于人体骨骼的二维图像关键点，并将二维图像关键点转换为三维图像关键点；S6、确定视频图像中的深度数据，基于深度数据和三维图像关键点生成动作视频；S7、结合儿童各年龄段的个人信息、三维面部模型和动作视频，生成基于VR视频的儿童成长电子档案。2.根据权利要求1所述的基于VR技术的儿童成长档案构建方法，其特征在于：S2中采集不同的人像数据，并对人像数据进行预处理，包括：利用相机采集不同的人像数据，并对人像数据进行归一化处理，得到预处理后的人像数据。3.根据权利要求1所述的基于VR技术的儿童成长档案构建方法，其特征在于：S2中将预处理后的人像数据输入特征点识别模型进行模型训练，包括：构建卷积神经网络，通过人工标记的方式在预处理后的人像数据中标注人像特征点、动态特征点，得到标签表情图像；将预处理后的人像数据与对应标签表情图像输入卷积神经网络，分别以原始人像数据与标签表情图像中人像特征点、动态特征点的匹配度计算损失值，以损失值最小为目标训练特征点识别模型。4.根据权利要求3所述的基于VR技术的儿童成长档案构建方法，其特征在于：所述以损失值最小为目标训练特征点识别模型，包括：采用亚当算法对卷积神经网络的网络参数进行优化，当人像特征点、动态特征点对应的损失值均小于0.3时，得到网络参数确定的特征点识别模型。5.根据权利要求1所述的基于VR技术的儿童成长档案构建方法，其特征在于：S4中对三维面部模型与面部图像中的动态特征点进行位置同步匹配，包括：判断三维面部模型与面部图像中人像特征点的匹配度是否大于匹配度阈值；若大于匹配度阈值，则基于三维面部模型...
【专利技术属性】
技术研发人员：张云龙，
申请(专利权)人：安徽兰臣信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。