一种图像处理方法、装置和终端设备制造方法及图纸

本发明专利技术公开了一种图像处理方法、装置和终端设备。该方法包括：从摄像头采集的视频流中获取指定目标的实际图像；从实际图像中识别出指定目标脸部的未被虚拟现实头戴设备遮挡区域和被虚拟现实头戴设备遮挡区域，获取与未被遮挡区域对应的第一脸部图像数据；根据第一脸部图像数据和预设的脸部表情模型，得到与第一脸部图像数据匹配的第二脸部图像数据，第二脸部图像数据与被遮挡区域相对应；将第一脸部图像数据和第二脸部图像数据相融合，生成合成图像。该图像处理装置包括第一获取单元、识别单元、第二获取单元和生成单元，用于执行上述的方法步骤。本方案有利于社交双方及时获得对方的表情信息，保证社交的顺利进行，提升用户体验。

【技术实现步骤摘要】
一种图像处理方法、装置和终端设备
本专利技术涉及计算机
，特别涉及一种图像处理方法、装置和终端设备。
技术介绍
虚拟现实技术(VirtualReality,简称VR)的一个重要应用领域是社交领域。例如，VR视频直播的应用中，主持人侧配置360度摄像头，采集直播地点的全视角场景视频，经由网络共享给接入端的VR头戴显示设备(HeadMountedDevice，简称HMD)，访客通过佩戴VRHMD体验主持人侧的场景视频，并可以通过转动头部来观看不同视角的场景。该应用的特点是VR视频数据流为单向传输。随着VR社交需求的不断提升，VR社交需要两点之间实现VR视频数据流的双向流动，即社交双方都需要同时配置360度摄像头和VRHMD，同时采集本地全视角视频并发送给对方，由对方从VRHMD中观看。但是，因为社交双方均佩戴VRHMD，这将导致本地摄像头拍摄到的人脸都会被VRHMD遮挡住眼睛及周围部分。因为眼部周围图像带有非常丰富的表情信息，表情信息的缺失严重影响VR技术在社交领域的应用。所以，急需一种图像处理方案，对被VRHMD遮挡住的眼睛及周围部分进行重建，以保证社交过程中表情信息的完整。
技术实现思路
鉴于上述问题，提出了本专利技术的一种图像处理方法、装置和终端设备，以便解决或至少部分地解决上述问题。根据本专利技术的一个方面，提供了一种图像处理方法，该方法包括：从摄像头采集的视频流中获取指定目标的实际图像，其中，指定目标佩戴有虚拟现实头戴设备；从实际图像中识别出指定目标脸部的未被虚拟现实头戴显示设备遮挡区域和被虚拟现实头戴显示设备遮挡区域，获取与未被虚拟现实头戴显示设备遮挡区域对应的第一脸部图像数据；根据第一脸部图像数据和预设的脸部表情模型，得到与第一脸部图像数据匹配的第二脸部图像数据，第二脸部图像数据与被虚拟现实头戴显示设备遮挡区域相对应；将第一脸部图像数据和第二脸部图像数据相融合，生成合成图像。根据本专利技术的另一个方面，提供了一种图像处理装置，该装置包括：第一获取单元，用于从摄像头采集的视频流中获取指定目标的实际图像，其中，指定目标佩戴有虚拟现实头戴设备；识别单元，用于从实际图像中识别出指定目标脸部的未被虚拟现实头戴显示设备遮挡区域和被虚拟现实头戴显示设备遮挡区域，获取与未被虚拟现实头戴显示设备遮挡区域对应的第一脸部图像数据；第二获取单元，用于根据第一脸部图像数据和预设的脸部表情模型，得到与第一脸部图像数据匹配的第二脸部图像数据，第二脸部图像数据与被虚拟现实头戴显示设备遮挡区域相对应；生成单元，用于将第一脸部图像数据和第二脸部图像数据相融合，生成合成图像。根据本专利技术的又一个方面，提供了一种终端设备，该终端设备包括：如前所述的图像处理装置。综上所述，本专利技术技术方案的有益效果是：当获取到戴有虚拟现实头戴设备的指定目标的实际图像后，先从实际图像中识别出指定目标脸部的未被虚拟现实头戴显示设备遮挡区域和被虚拟现实头戴显示设备遮挡区域，将未被虚拟现实头戴显示设备遮挡区域对应的第一脸部图像数据输入到预设的脸部表情模型中，就可以得到与第一脸部图像数据匹配的第二脸部图像数据；然后将第一脸部图像数据和第二脸部图像数据相融合，生成合成图像。因为第二脸部图像数据与被虚拟现实头戴显示设备遮挡区域相对应，且带有表情信息，所以合成图像则是完整的带有表情信息的图像，相比较使用静态图片来说，合成图像更加逼真、准确，有利于社交双方及时获得对方的表情信息，提高社交质量，保证社交的顺利进行，提升用户体验。附图说明图1为本专利技术一个实施例提供的一种图像处理方法的流程示意图；图2为本专利技术一个实施例提供的一种图像处理装置的功能结构示意图；图3为本专利技术另一个实施例提供的一种图像处理装置的功能结构示意图；图4为本专利技术一个实施例提供的一种终端设备的功能结构示意图。具体实施方式本专利技术的设计思路是：鉴于使用眼部的静态图片覆盖被VRHMD遮挡的部分仍然会导致表情信息的缺失，且静态图片与脸部其余部分不能很好的融合，会很不自然。又考虑到，人脸被虚拟现实头戴显示设备遮挡的眼部及周边部分的图像，与未被虚拟现实头戴显示设备遮挡的脸部图像信息之间有着强相关的关系。本技术方案引入脸部表情模型，通过脸部表情模型得到与未被虚拟现实头戴显示设备遮挡的脸部图像信息匹配的遮挡区域的脸部图像，进而获得具有完整表情信息的合成图像。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。图1为本专利技术一个实施例提供的一种图像处理方法的流程示意图。如图1所示，该方法包括：步骤S110，从摄像头采集的视频流中获取指定目标的实际图像，其中，指定目标佩戴有虚拟现实头戴设备(VRHMD)。在社交应用中，摄像头通过采集指定目标的视频流传输给社交对方。在本实施例中，该指定目标为可以是佩戴VRHMD进行社交的用户，指定目标佩戴着VRHMD，所以实际图像中，指定目标的人脸的眼睛以及眼睛周围部分是被VRHMD遮挡的，无法获取到完整的表情信息，影响社交过程。为了对摄像头采集的图像进行处理，需要从摄像头采集的视频流中获取一指定目标的实际图像。步骤S120，从实际图像中识别出指定目标脸部的未被虚拟现实头戴显示设备遮挡区域和被虚拟现实头戴显示设备遮挡区域，获取与未被虚拟现实头戴显示设备遮挡区域对应的第一脸部图像数据。本实施例中，通过图像识别方法识别出实际图像中指定目标的脸部，并识别出脸部未被VRHMD遮挡的区域和被VRHMD遮挡的区域，因为需要通过未被VRHMD备遮挡区域，得到与被VRHMD遮挡区域对应的图像数据，所以需要获取与未被虚拟现实头戴显示设备遮挡区域对应的第一脸部图像数据。步骤S130，根据第一脸部图像数据和预设的脸部表情模型，得到与第一脸部图像数据匹配的第二脸部图像数据，第二脸部图像数据与被虚拟现实头戴显示设备遮挡区域相对应。本实施例中，预设的脸部表情模型是通过指定目标样本训练得到的(例如，使用神经网络进行机器学习)，在样本训练中可以获得未被VRHMD遮挡的图像数据与被VRHMD遮挡区域的图像数据之间的关系，因此，根据从实际图像中获取的第一脸部图像数据和预设的脸部表情模型，就可以得到与第一脸部图像数据匹配的第二脸部图像数据，即得到与被VRHMD遮挡区域对应的图像数据。针对一个用户来说，只需要进行一次样本训练就可以，但是当用户更换VRHMD时，因为会存在更换前和更换后的VRHMD的大小不一致的情况，需要进行重新训练，防止根据原预设的脸部表情模型生成的第二脸部图像与第一脸部图像数据不能进行完美的融合。步骤S140，将第一脸部图像数据和第二脸部图像数据相融合，生成合成图像。通过图像融合方法，将第一脸部图像数据和和第二脸部图像数据相融合，生成合成图像。因为，第二脸部图像数据是与被VRHMD遮挡区域对应的带有表情信息的图像，因此，合成图像中带有指定目标的完整表情，获得合成图像后，就可以将该合成图像发送社交的对方。因为第二脸部图像数据与被虚拟现实头戴显示设备遮挡区域相对应，且带有表情信息，所以合成图像则是完整的带有表情信息的图像，相比较静态图片来说，合成图像更加逼真、准确，有利于社交双方及时获得对方的表情信息，提高社交质量，保证社交的顺利进行，提升用户体验。在本专利技术的一个实施例中，步骤S13本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，所述方法包括：从摄像头采集的视频流中获取指定目标的实际图像，其中，所述指定目标佩戴有虚拟现实头戴设备；从所述实际图像中识别出所述指定目标脸部的未被虚拟现实头戴显示设备遮挡区域和被虚拟现实头戴显示设备遮挡区域，获取与所述未被虚拟现实头戴显示设备遮挡区域对应的第一脸部图像数据；根据所述第一脸部图像数据和预设的脸部表情模型，得到与所述第一脸部图像数据匹配的第二脸部图像数据，所述第二脸部图像数据与所述被虚拟现实头戴显示设备遮挡区域相对应；将所述第一脸部图像数据和所述第二脸部图像数据相融合，生成合成图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：从摄像头采集的视频流中获取指定目标的实际图像，其中，所述指定目标佩戴有虚拟现实头戴设备；从所述实际图像中识别出所述指定目标脸部的未被虚拟现实头戴显示设备遮挡区域和被虚拟现实头戴显示设备遮挡区域，获取与所述未被虚拟现实头戴显示设备遮挡区域对应的第一脸部图像数据；根据所述第一脸部图像数据和预设的脸部表情模型，得到与所述第一脸部图像数据匹配的第二脸部图像数据，所述第二脸部图像数据与所述被虚拟现实头戴显示设备遮挡区域相对应；将所述第一脸部图像数据和所述第二脸部图像数据相融合，生成合成图像。2.如权利要求1所述的图像处理方法，其特征在于，所述根据所述第一脸部图像数据和预设的脸部表情模型，得到与所述第一脸部图像数据匹配的第二脸部图像数据包括：将所述第一脸部图像数据输入到所述预设的脸部表情模型中，以使所述脸部表情模型识别所述第一脸部图像数据，输出与所述第一脸部图像数据相匹配的第二脸部图像数据。3.如权利要求2所述的图像处理方法，其特征在于，所述预设的脸部表情模型是通过深度神经网络实现得到的，所述通过深度神经网络实现得到预设的脸部表情模型包括：获取摄像头在第一场景下采集的所述指定目标的多个第一样本图像，以及在第二场景下采集的所述指定目标的多个第二样本图像；其中，在所述第一场景下，所述指定目标佩戴有所述虚拟现实头戴设备；在所述第二场景下，所述指定目标未佩戴所述虚拟现实头戴显示设备，且各第二样本图像中包含所述指定用户的脸部状态；从所述第一样本图像中识别出第一被遮挡区域，获取所述第一被遮挡区域信息；根据所述第一被遮挡区域信息，对所述第二样本图像的所述指定目标脸部的与所述第一被遮挡区域对应的区域进行标记；将所述第二样本图像中标记区域的图像放入第一指定集合中，将该第一指定集合作为深度神经网络训练时的输出集合；将所述第二样本图像中的所述指定目标脸部的未被标记区域的图像放入第二指定集合中，将该第二指定集合作为深度神经网络训练时的输入集合；所述第二指定集合与所述第一指定集合中的图像元素有一一对应的严格的输入输出对应关系；将所述输入集合和所述输出集合中的每一对具有输入输出对应关系的图像元素输入到预设的深度神经网络中进行训练，确定未遮挡区域图像和生成的与其匹配的遮挡区域图像之间的函数关系，以使在所述第一脸部图像数据输入到所述预设的脸部表情模型时，所述预设的脸部表情模型根据输入的所述第一脸部图像数据和所述函数关系输出与其匹配的第二脸部图像数据。4.如权利要求3所述的图像处理方法，其特征在于，在所述预设的深度神经网络训练过程中，所述预设的深度神经网络训练的损失函数是所述输出集合中的图像和生成的与所述输入集合中的图像相匹配的图像之间的均方差。5.如权利要求1所述的图像处理方法，其特征在于，所述方法还包括：从所述实际图像中识别出被所述虚拟现实头戴设备遮挡的非脸部区域；从所述视频流中获取所述实际图像之前的多个第三图像，从所述第三图像中提取背景图像，使用所述背景图像中与被所述虚拟现实头戴设备遮挡的非脸部区域对应的图像数据，对所述被所述虚拟现实头戴设备遮挡的非脸部区域进行去遮挡处理。6.如权利要求1所述的图像处理方法，其特征在于，所述方法还包括：从所述实际图像中识别出被所述虚拟现实头戴设备遮挡的非脸部图像数据，将所述非脸部图像数...

【专利技术属性】
技术研发人员：戴天荣，朱育革，赵大川，陈翔，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：山东,37