【技术实现步骤摘要】
本申请涉及图像预处理，尤其涉及一种服务器、显示设备及图像处理方法。
技术介绍
1、在虚拟数字人形象定制项目中，人像视频由用户使用终端录制上传，视频内容及人物形象具有不确定性，人像背景不固定，图像质量存在差异，需要进行数据预处理将人像视频转换为定制化语音驱动图像生成所需要的标准数据，才能获得更好的数字人语音驱动效果，并且更好的在电视语音助手场景下应用。其中标准数据包括在标准背景下的高质量人像图像数据，用于表示人像精确位置的人像mask(掩膜)数据以及高精确度的人脸关键点位置信息坐标数据。
2、图像预处理包括人像抠图，抠图算法主要是基于深度学习，通过多种多样的基于卷积神经网络实现抠图。但是深度学习方法需要依赖一定量的人工辅助信息，例如三分图(trimap)，涂抹(scribble)，背景图像，粗糙的初始分割等。考虑到对于图像、视频流的驱动效果与稳定性，基于深度学习的抠图算法得到的人像抠图模型精度不能达到要求。
技术实现思路
1、本申请一些实施例提供了一种服务器、显示设备及图像处理方法，先通过分割解码器得到分割掩膜，分割掩膜为抠图解码器提供分割得到的语义信息，从而使得经过抠图解码器得到的抠图结果精度更高，人像边缘分割更为干净，有助于提升标准数据的质量和精度，且无需人工辅助信息。
2、第一方面，本申请一些实施例中提供一种服务器，被配置为：
3、接收人脸图像数据；
4、将所述人脸图像数据输入共享编码器，以获取第一深度编码特征；
5、
6、将所述分割掩膜与所述第一深度编码特征输入引导流结构模块，以获取细化特征；
7、将所述第一深度编码特征与所述细化特征输入抠图解码器，以获取抠图后的人脸图像；
8、对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像；
9、确定所述人脸增强图像中人脸关键点数据；
10、生成标准数据，所述标准数据包括人脸增强图像及人脸关键点数据。
11、在一些实施例中，所述人脸图像数据包括人脸视频数据，所述服务器执行将所述人脸图像数据输入共享编码器，以获取第一深度编码特征，被进一步配置为：
12、从人脸视频数据中选取目标图像帧，所述目标图像帧的人像头部位置在图像中间，所述目标图像帧中人像眼睛为睁开状态，所述目标图像帧面部轮廓与五官完整；
13、将所述目标图像帧输入共享编码器，以获取第一深度编码特征。
14、在一些实施例中，所述服务器执行对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像，被进一步配置为：
15、对抠图后的人脸图像进行背景替换，以获取背景替换后的人脸图像；
16、对所述背景替换后的人脸图像进行画质增强处理，以获取人脸增强图像。
17、在一些实施例中，所述服务器执行对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像，被进一步配置为：
18、将所述抠图后的人脸图像输入卷积神经网络编码器，以获取第二深度编码特征；
19、将所述第二深度编码特征输入训练好的生成对抗网络先验模型中，以获取人脸增强图像。
20、在一些实施例中，所述服务器执行将所述第二深度编码特征输入训练好的生成对抗网络先验模型中，以获取人脸增强图像，被进一步配置为：
21、获取所述第二深度编码特征在潜在空间的第一隐藏特征；
22、将第一隐藏特征经过非线性映射将其转化到目标空间，得到第二隐藏特征；
23、将所述第二隐藏特征、噪声及上一层生成对抗网络块的输出结果输入本层生成对抗网络块中，得到本层生成对抗网络块的输出结果；
24、确定最后一层生成对抗网络块输出的图像为人脸增强图像。
25、在一些实施例中，所述服务器执行将所述分割掩膜与所述深度编码特征输入引导流结构模块，以获取细化特征，被进一步配置为：
26、将所述分割掩膜与所述深度编码特征拼接后，经过两个带有激活函数的卷积层和一个通道注意力层，得到细化特征。
27、在一些实施例中，在生成标准数据之后，所述服务器，被配置为：
28、接收显示设备发送用户输入的语音数据；
29、根据所述语音数据生成播报文本；
30、基于所述播报文本及所述标准数据生成数字人数据：
31、将所述数字人数据发送至所述显示设备，以使所述显示设备根据所述数字人数据播放数字人图像及语音。
32、在一些实施例中，所述数字人数据包括数字人图像数据和播报语音，所述服务器执行基于所述播报文本及所述标准数据生成数字人数据，被进一步配置为：
33、根据所述播报文本合成播报语音；
34、根据所述播报语音及所述人脸关键点数据确定关键点序列；
35、根据所述关键点序列和所述人脸增强图像合成数字人图像数据。
36、第二方面，本申请一些实施例中提供一种显示设备，包括：
37、显示器，被配置为显示用户界面；
38、通信器，被配置为与服务器进行数据通信；
39、控制器，被配置为：
40、接收用户输入的语音数据；
41、将所述语音数据通过所述通信器发送至服务器；
42、接收所述服务器基于所述语音数据下发的数字人数据；
43、基于所述数字人数据，播放数字人的图像和语音。
44、第三方面，本申请一些实施例中提供一种图像处理方法，应用于服务器，包括：
45、接收人脸图像数据；
46、将所述人脸图像数据输入共享编码器，以获取第一深度编码特征；
47、将所述深度编码特征输入分割解码器，以获取分割掩膜；
48、将所述分割掩膜与所述深度编码特征输入引导流结构模块，以获取细化特征；
49、将所述深度编码特征与所述细化特征输入抠图解码器，以获取抠图后的人脸图像；
50、对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像；
51、确定所述人脸增强图像中人脸关键点数据；
52、生成标准数据，所述标准数据包括人脸增强图像及人脸关键点数据。
53、本申请的一些实施例提供一种服务器、显示设备及图像处理方法。所述方法包括：接收人脸图像数据；将人脸图像数据输入共享编码器，以获取第一深度编码特征；将第一深度编码特征输入分割解码器，以获取分割掩膜；将分割掩膜与所述深度编码特征输入引导流结构模块，以获取细化特征；将深度编码特征与所述细化特征输入抠图解码器，以获取抠图后的人脸图像；对抠图后的人脸图像进行画质增强处理，以获取人脸增强图像；确定人脸增强图像中人脸关键点数据；生成标准数据，所述标准数据包括人脸增强图像及人脸关键点数据。本申请实施例先通过分割解码器得到分割掩膜，分割掩膜为抠图解码本文档来自技高网...
【技术保护点】
1.一种服务器，其特征在于，被配置为：
2.根据权利要求1所述的服务器，其特征在于，所述人脸图像数据包括人脸视频数据，所述服务器执行将所述人脸图像数据输入共享编码器，以获取第一深度编码特征，被进一步配置为：
3.根据权利要求1所述的服务器，其特征在于，所述服务器执行对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像，被进一步配置为：
4.根据权利要求1所述的服务器，其特征在于，所述服务器执行对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像，被进一步配置为：
5.根据权利要求4所述的服务器，其特征在于，所述服务器执行将所述第二深度编码特征输入生成对抗网络先验模型中，以获取人脸增强图像，被进一步配置为：
6.根据权利要求1所述的服务器，其特征在于，所述服务器执行将所述分割掩膜与所述深度编码特征输入引导流结构模块，以获取细化特征，被进一步配置为：
7.根据权利要求1所述的服务器，其特征在于，在生成标准数据之后，所述服务器，被配置为：
8.根据权利要求7所述的服务器，其特征在于，所述数字
9.一种显示设备，其特征在于，包括：
10.一种图像处理方法，应用于服务器，其特征在于，包括：
...【技术特征摘要】
1.一种服务器，其特征在于，被配置为：
2.根据权利要求1所述的服务器，其特征在于，所述人脸图像数据包括人脸视频数据，所述服务器执行将所述人脸图像数据输入共享编码器，以获取第一深度编码特征，被进一步配置为：
3.根据权利要求1所述的服务器，其特征在于，所述服务器执行对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像，被进一步配置为：
4.根据权利要求1所述的服务器，其特征在于，所述服务器执行对所述抠图后的人脸图像进行画质增强处理，以获取人脸增强图像，被进一步配置为：
5.根据权利要求4所述的服务器，其特征在于，所述服务器执行将所述第二深度编码特征输入生...
【专利技术属性】
技术研发人员：于子亿，付爱国，李绪送，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。