一种天空分割视频及图像数据构建方法及装置制造方法及图纸

本发明专利技术公开了一种天空分割视频及图像数据构建方法，包括通过移动设备摄像头获取视频帧图像和惯性传感器数据，利用深度学习对每帧图像进行二值语义分割以得到粗略实景天空区域掩码图，并采用细化操作获得对应的实景天空分割图像集合；基于拍摄的实景天空视频或/和自定义主题创建虚拟场景，设置相机位置及运动方式以获取视频帧图像和惯性传感器数据，修改虚拟场景中物体及天空盒的材质信息以获得虚拟天空区域掩码图，将虚拟天空区域掩码图加入实景天空分割图像集合获得精准且大量的天空分割图像数据集。本发明专利技术还提供一种天空分割视频及图像数据构建装置。本发明专利技术提供的方法能够较为快速、准确生成大量带有惯性传感器数据的天空分割图像数据集。天空分割图像数据集。天空分割图像数据集。

【技术实现步骤摘要】
一种天空分割视频及图像数据构建方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种天空分割视频及图像数据构建方法及装置。

技术介绍

[0002]对于天空区域的处理和替换在图像编辑、电影制作、增强现实(AR)应用软件、特效道具中十分常见。近年来，针对天空的各种视频和照片处理方式越来越多，因此天空置换问题也逐渐成为了重要的研究领域。在天空置换处理的过程中，对于图片或视频帧中天空区域与非天空区域的区分十分重要，天空分割图像的准确性极大影响到天空替换后的视觉效果。对此可以使用抠图方法来进行天空区域的提取，但目前存在的抠图方法往往需要大量人工操作，效率极低，因此如何快速且高效地完成天空分割视频和图像成为了研究热门，大量且准确的天空分割视频及图像数据对于后续实验分析或网络模型的训练都起到至关重要的作用。
[0003]学术文献Scene parsing through ADE20K dataset[C]//2017IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2017.中提出的天空分割图像数据中包括室内和室外的图像数据，但是缺少了不同的天气条件，导致最终数据集的体量较小。
[0004]学术文献SkyFinder:attribute
‑
based sky image search[C]//Acm Siggraph.ACM,2009.中提出的数据集中包含了各种天气下的天空图，但其中天空分割的掩码图存在分割不准确的情况。
[0005]此外，在包含天空视频的天空置换处理中，为了解决摄像机的校准与后续的约束消融问题，往往需要捕获拍摄时设备的惯性传感器数据，而在包含以上两个天空数据集(ADE20K和SkyFinder)在内的所有公开数据集中均不包括惯性传感器数据，这导致了天空分割基本只能完全依赖神经网络分割的结果，但在有些情况下，网络模型所获得的结果只能大致区分天空区域和非天空区域，并不能做到准确的分割操作，而这种不准确的分割结果应用在视频连贯起来时会出现明显的闪烁问题。因此，拍摄设备的惯性传感器数据对于天空分割视频数据的处理非常重要，当有对应准确的惯性传感器数据时，可以使得视频或连贯图像在后期处理过程中保持天空分割的时间一致性、位置一致性，从而解决天空分割视频中的闪烁问题。
[0006]在构建天空分割视频及图像数据集中，需要实景拍摄包含天空区域的视频或图片，并将拍摄结果进行处理以得到天空区域掩码图，但面对大量数据需求的条件下，拍摄大量实景天空区域视频或图片会消耗大量人力和物力，同时在图像进行处理过程中人工精力有限，使得如何快速且大量地构建天空分割视频及图像数据集成为亟待解决的问题。
[0007]同时，天空随着天气的变化而呈现不同的样子，也是天空视频及图像中比较关键的特征，但是目前并没有针对天气特征一步成型的生成天空分割图像的方法。

技术实现思路

[0008]为了解决上述问题，本专利技术提供了一种天空分割视频及图像数据构建方法，该方法可以快速、准确地构建大体量的包含天空视频图像、天空掩码图及对应的惯性传感器数据的图像数据集，为后续研究分析与模型训练提供高质量的天空分割图像数据。
[0009]一种天空分割视频及图像数据构建方法，包括：
[0010]步骤1、在Unity3D环境下，利用相机录制实景天空视频，以实际帧数对录制获得的天空实际视频进行标签标注；
[0011]步骤2、获取步骤1中相机拍摄时的相机惯性传感器数据，将带有标签的天空实景视频与对应的相机惯性传感器数据进行校准对齐，并与抽取的每一帧实景天空视频截图组成实景天空图像集合；
[0012]步骤3、基于深度学习对步骤2获得的实景天空图像集合进行二值化语义分割，获得粗略实景天空区域掩码图；
[0013]步骤4、采用细化操作对粗略实景天空区域掩码图中的假阳性区域和假阴性区域进行处理，获得对应的精细实景天空区域掩码图，并与步骤2中的实景天空图像集合组成实景天空分割图像集合；
[0014]步骤5、搭建基于步骤1录制的实景天空视频或/和自定义主题天空视频的虚拟场景，并根据所述虚拟场景中相机的初始位置与运动轨迹，获得所述虚拟场景的虚拟天空视频与对应的每一帧虚拟天空视频截图和相机惯性传感器数据；
[0015]步骤6、修改步骤5中构建的虚拟场景视频中物体材质信息和天空盒材质信息，并逐帧截取获得对应的虚拟天空区域掩码图像集合；
[0016]步骤7、将步骤5获得的虚拟天空视频，虚拟天空视频截图和相机惯性传感器数据，以及步骤6获取的虚拟天空区域掩码图像集合加入步骤4中的实景天空分割图像集合中，获得数据强化后的天空分割图像数据集。
[0017]本专利技术通过虚实结合的方式对天空分割图像数据集进行构建，同时引入了惯性传感器数据，使得最终天空图像的分割处理过程更加准确。
[0018]本专利技术中所提及的天空分割图像数据集包含天空视频，相机传感器数据，天空视频逐帧截取的天空图像以及天空图像对应的天空区域掩码图像。
[0019]本专利技术中所提及的假阳性区域指属于非天空区域的像素被错误分类为天空结果，假阴性区域指属于天空区域的像素被错误分类为非天空结果，两种区域均会影响天空视频及图像数据的分割处理，导致最终分割结果不佳。
[0020]具体的，在步骤1中，利用AR Foundation配置应用场景中的相机，并使用ReplayKit框架接口选择录屏功能执行实景天空视频的录制。
[0021]优选的，在步骤1中，所述标签标注采用二十进制的方式对实景天空视频帧对应帧数进行处理，为每一帧图像赋予一个标签，具体过程如下：
[0022]步骤1
‑
1、将实景天空视频帧的帧数转换为三位数的二十进制字符串；
[0023]步骤1
‑
2、根据三位数的位数顺序分别对位数对应的数字除以20，得到三个范围为0～1内的数值；
[0024]步骤1
‑
3、将步骤1
‑
2获得的三个范围为0～1内的数值分别赋予RGB三个通道的值，并将对应的RGB颜色赋值在视频帧左下角5
×
5的方块中，作为对应实景天空视频帧图像的
标签。
[0025]具体的，所述校准对齐的具体过程如下：
[0026]步骤2
‑
1、获取相机的投影矩阵与每一帧视频的帧数与相机的旋转信息，作为相机传感器数据进行保存；
[0027]步骤2
‑
2、将相机传感器数据与步骤1标注的标签信息进行校准：
[0028]读取每一帧视频帧图像标签中的像素RGB值，并从二十进制还原为十进制的帧数，依据当前帧与前一帧的帧数大小情况，逐帧修正获得对应的准确帧数，并将所述准确帧数对应的传感器数据作为最终的相机传感器数据输出。
[0029]优选的，所述逐帧修正包括梯度减法操作和替换操作；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种天空分割视频及图像数据构建方法，其特征在于，包括：步骤1、在Unity3D环境下，利用相机录制实景天空视频，以实际帧数对录制获得的天空实景视频进行标签标注；步骤2、获取步骤1中相机拍摄时的相机惯性传感器数据，将带有标签的天空实景视频与对应的相机惯性传感器数据进行校准对齐，并与抽取的每一帧实景天空视频截图组成实景天空图像集合；步骤3、基于深度学习对步骤2获得的实景天空图像集合进行二值化语义分割，获得粗略实景天空区域掩码图；步骤4、采用细化操作对粗略实景天空区域掩码图中的假阳性区域和假阴性区域进行处理，获得对应的精细实景天空区域掩码图，并与步骤2中的实景天空图像集合组成实景天空分割图像集合；步骤5、搭建基于步骤1录制的实景天空视频或/和自定义主题天空视频的虚拟场景，并根据所述虚拟场景中相机的初始位置与运动轨迹，获得所述虚拟场景的虚拟天空视频与对应的每一帧虚拟天空视频截图和相机惯性传感器数据；步骤6、修改步骤5中构建的虚拟场景视频中物体材质信息和天空盒材质信息，并逐帧截取获得对应的虚拟天空区域掩码图像集合；步骤7、将步骤5获得的虚拟天空视频，虚拟天空视频截图和相机惯性传感器数据，以及步骤6获取的虚拟天空区域掩码图像集合加入步骤4中的实景天空分割图像集合中，获得数据强化后的天空分割图像数据集。2.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤1中，利用AR Foundation配置应用场景中的相机，并使用ReplayKit框架接口选择录屏功能执行实景天空视频的录制。3.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤1中，所述标签标注采用二十进制的方式对实景天空视频帧对应帧数进行处理，为每一帧图像赋予一个标签，具体过程如下：步骤1
‑
1、将实景天空视频帧的帧数转换为三位数的二十进制字符串；步骤1
‑
2、根据三位数的位数顺序分别对位数对应的数字除以20，得到三个范围为0～1内的数值；步骤1
‑
3、将步骤1
‑
2获得的三个范围为0～1内的数值分别赋予RGB三个通道的值，并将对应的RGB颜色赋值在视频帧左下角5
×
5的方块中，作为对应实景天空视频帧图像的标签。4.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤2中，所述校准对齐的具体过程如下：步骤2
‑
1、获取相机的投影矩阵与每一帧视频的帧数与相机的旋转信息，作为相机传感器数据进行保存；步骤2
‑
2...

【专利技术属性】
技术研发人员：张婧，陈果，王欣捷，金小刚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：