基于场景分割的人物装扮方法及装置、计算设备制造方法及图纸

本发明专利技术公开了一种基于场景分割的人物装扮方法及装置、计算设备，其方法包括：实时获取包含特定对象的当前帧图像；将当前帧图像输入至第二神经网络中进行场景分割，得到特定对象的面部待装扮区域图像；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；将帧处理图像覆盖当前帧图像得到处理后的视频数据；显示处理后的视频数据。本发明专利技术利用训练后层数较少的神经网络实现快速准确的场景分割，对得到的面部待装扮区域图像添加美化效果，并及时显示处理后的效果。

【技术实现步骤摘要】
基于场景分割的人物装扮方法及装置、计算设备
本专利技术涉及深度学习领域，具体涉及一种基于场景分割的人物装扮方法及装置、计算设备。
技术介绍
随着科技的发展，图像采集设备的技术也日益提高。采集到的图像更加清晰、分辨率、显示效果也大幅提高。但现有录制的视频仅是单调的录制素材本身，可能无法满足用户的需求，用户希望对视频进行个性化处理，例如，用户想要对视频中的人物的面部区域添加美化效果。在现有技术中，大多是采用自适应模糊的方式对视频的帧图像进行处理，从而使其中的人物具有美化效果，然而采用这种方式处理后所得到的视频的显示效果不佳，视频不够清晰，背景虚化，缺乏真实性。为改善美化效果，可以分割出人物的面部区域，在对其进行处理。现有技术中，分割面部区域所使用的神经网络往往具有多层中间层，这样可以得到更精准的识别结果。但多层中间层的计算速度会较慢，不能快速的进行分割，无法快速的对图像采集设备实时采集到的图像进行场景分割。而使用中间层较少的神经网络时，由于中间层层数较少，其计算速度较快，但受其层数限制，有可能造成计算能力有限、拟合能力较差、得到分割结果不准确等问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于场景分割的人物装扮方法及装置、计算设备。根据本专利技术的一个方面，提供了一种基于场景分割的人物装扮方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；将当前帧图像输入至第二神经网络中进行场景分割，得到特定对象的面部待装扮区域图像；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；将帧处理图像覆盖当前帧图像得到处理后的视频数据；显示处理后的视频数据。可选地，对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：从特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息；根据关键信息，计算面部待装扮区域的各比例信息；根据各比例信息，调整面部待装扮区域中的五官和/或脸型，并与当前帧图像进行融合处理，得到处理后的帧图像。可选地，对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：根据特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图；将美妆效果贴图与当前帧图像进行融合处理，得到处理后的帧图像。可选地，根据特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图进一步包括：从特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息，根据关键信息绘制对应的美妆效果贴图。可选地，关键信息为关键点信息；根据关键信息绘制对应的美妆效果贴图进一步包括：查找与关键点信息对应的基础美妆效果贴图；或者，获取用户指定的基础美妆效果贴图；根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；依据位置信息，对基础美妆效果贴图进行处理，得到美妆效果贴图。可选地，依据位置信息，对基础美妆效果贴图进行处理，得到美妆效果贴图进一步包括：依据位置信息中的距离信息，对基础美妆效果贴图进行缩放处理。可选地，依据位置信息，对基础美妆效果贴图进行处理，得到美妆效果贴图进一步包括：依据位置信息中的旋转角度信息，对基础美妆效果贴图进行旋转处理。可选地，在得到处理后的帧图像之后，方法还包括：根据美化效果，对帧图像进行色调处理、光照处理和/或亮度处理。可选地，显示处理后的视频数据进一步包括：将处理后的视频数据实时显示；方法还包括：将处理后的视频数据上传至云服务器。可选地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。可选地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。可选地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。可选地，第二神经网络的训练过程包括：将场景分割的训练样本数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；将场景分割的训练样本数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，至少一层第二中间层与至少一层第一中间层具有对应关系；利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，至少一层第一中间层包含第一神经网络的瓶颈层；至少一层第二中间层包含第二神经网络的瓶颈层。可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：根据至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失更新第二神经网络的权重参数，根据最终输出数据与预标注的输出数据之间的损失更新第二神经网络的权重参数，对第二神经网络进行训练。可选地，在将训练样本的输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据之前，方法还包括：将场景分割的训练样本数据进行下采样处理，将处理后的数据作为第二神经网络的场景分割的训练样本数据。可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与对下采样处理后场景分割的训练样本数据的预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，方法还包括：收集当前帧图像作为场景分割的训练样本输入数据，以及，对当前帧图像进行人工标注，将标注后的图像作为预标注的输出数据。根据本专利技术的另一方面，还提供了一种基于场景分割的人物装扮装置，其包括：获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；分割模块，适于将当前帧图像输入至第二神经网络中进行场景分割，得到特定对象的面部待装扮区域图像；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；美化模块，适于对特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；覆盖模块，适于将帧处理图像覆盖当前帧图像得到处理后的视频数据；显示模块，适于显示处理后的视频数据。可选地，美化模块进一步适于：从特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息；根据关键信息，计算面部待装扮区域的各比例信息；根据各本文档来自技高网...

【技术保护点】
一种基于场景分割的人物装扮方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；将所述当前帧图像输入至第二神经网络中进行场景分割，得到所述特定对象的面部待装扮区域图像；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；将帧处理图像覆盖所述当前帧图像得到处理后的视频数据；显示处理后的视频数据。

【技术特征摘要】
1.一种基于场景分割的人物装扮方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；将所述当前帧图像输入至第二神经网络中进行场景分割，得到所述特定对象的面部待装扮区域图像；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；将帧处理图像覆盖所述当前帧图像得到处理后的视频数据；显示处理后的视频数据。2.根据权利要求1所述的方法，其中，所述对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：从所述特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息；根据所述关键信息，计算面部待装扮区域的各比例信息；根据各比例信息，调整所述面部待装扮区域中的五官和/或脸型，并与当前帧图像进行融合处理，得到处理后的帧图像。3.根据权利要求1所述的方法，其中，所述对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：根据所述特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图；将所述美妆效果贴图与当前帧图像进行融合处理，得到处理后的帧图像。4.根据权利要求3所述的方法，其中，所述根据所述特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图进一步包括：从所述特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息，根据所述关键信息绘制对应的美妆效果贴图。5.根据权利要求4所述的方法，其中，所述关键信息为关键点信息；所述根据所述关键信息绘制对应的美妆效果贴图进一步包括：查找与所述关键点信息对应的基础美妆效果贴图；或者，获取用...

【专利技术属性】
技术研发人员：董健，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11