一种色彩校正方法技术

本发明专利技术实施例提出了一种色彩校正方法，包括：禁用UE4引擎的色调映射ToneMapping；禁用UE4引擎的自动曝光，以避免自动曝光干颜色校正；确定摄像机的白平衡和曝光度，并禁止在实拍时修改摄像机的白平衡和曝光度参数；UE4场景去掉灯光，让屏幕显示自发光，以使LED驱动的颜色就是色卡上的纯粹的标准色；LED大屏现场，关闭灯光；以防止现场的环境光影响LED屏幕的颜色；用支持向量机SVM来计算颜色还原网络；计算每个颜色的视角光强曲线：提取返回色的光强；通过SVM进行颜色还原。通过SVM进行颜色还原。通过SVM进行颜色还原。

【技术实现步骤摘要】
一种色彩校正方法


[0001]本专利技术提出了一种虚拟现实领域的数据处理方法，特别是指一种色彩校正方法。

技术介绍

[0002]XR(Extension Reality，扩展现实)是继AR(Argument Reality，增强现实)和MR(Mixer Reality，混合现实)这两项技术之后出现的一种技术。早期的XR虚拟现实技术，是通过绿幕抠像的方式来实现的，优点是设备廉价，缺点是绿幕对演员的表演而言是不友好的，表演面对并不是真正的场景，而是各种绿色的幕墙，非常考验其想象力，一般人要表现出各种丰富的情感是巨大的挑战。后期制作时，大面积绿色还会给人物和道具染上一层淡淡的绿色光晕，给后期处理带来困难。作为改进，今天流行的虚拟现实技术是MR沉浸式LED大屏显示技术；其采用几块LED大屏组成几面幕墙，利用CAVE空间投影技术，把三维场景渲染到大屏上，主持人或演员站在LED大屏里，从摄像头的角度看，画面里的人物就像站在虚拟场景里。对主持人(或演员)而言，所见即所得，导演可以直接构图，拍摄完后期不需要对画面进一步处理。
[0003]可是相比绿幕技术，这种沉浸式LED大屏显示技术不是XR的，XR要求摄像机的视野超出幕墙后，整个画面仍旧是虚拟场景，透视一致，颜色一致。理想非常美好，但是现实很骨感。目前能完美实现这项技术的公司全球也寥寥无几。主要是几个难点：
[0004]1)摄像机的定位设备，对这种无限蓝箱XR而言，需要是毫米级的精度，所以更加昂贵。而且定位装置一般不会直接提供虚拟空间的摄像头位置，需要开发。
>[0005]2)摄像机的内参和畸变，影响虚拟图像和真实图像的匹配。
[0006]首先虚拟相机视场角(FOV)要匹配真实相机的焦距，对变焦摄像机而言，在拍摄人员变焦时能够平滑的进行图像匹配，需要时间同步的黑场设备，更加需要的是一种高精度的标定方法，让焦距和视场角映射误差低于0.1度。
[0007]其次真实相机都会有径向畸变，所以还要对虚拟摄像机渲染的图像人为的加入畸变。对变焦摄像机而言，每个焦距下的畸变系数都是不一样的，所以要求一定精度的畸变标定，和上面的FOV标定一样，每个摄像头都要在整个焦距范围内标定。
[0008]3)最困难的是颜色一致。
[0009]现有技术中缺少一种能够有效的对虚拟现实领域的色彩校正方法。

技术实现思路

[0010]针对现有的XR技术中缺少能够有效的对虚拟现实领域的色彩校正方法的问题，本专利技术实施例的目的是虚拟现实领域的数据处理方法，特别是指一种色彩校正方法，能够有效的对虚拟现实领域的色彩校正方法。
[0011]为了达到上述目的，本专利技术实施例提出了一种色彩校正方法，应用于UE4引擎，以对拍摄到的数据进行处理；该方法包括：
[0012]步骤1、禁用UE4引擎的色调映射ToneMapping；
[0013]如果是要获取SceneColor参数，则可以通过UE4引擎的Post Process Material来获取；
[0014]如果是要获取SceneColorBeforeTonemap参数,则可以把UE4引擎的参数Post Process Material的Phase改成Before Toonmapping。
[0015]步骤2、禁用UE4引擎的自动曝光，以避免自动曝光干颜色校正；
[0016]步骤3、确定摄像机的白平衡和曝光度，并禁止在实拍时修改摄像机的白平衡和曝光度参数；
[0017]步骤4、UE4场景去掉灯光，让屏幕显示自发光，以使LED驱动的颜色就是色卡上的纯粹的标准色；
[0018]步骤5、LED大屏现场，关闭灯光；以防止现场的环境光影响LED屏幕的颜色；
[0019]步骤6、确定与LED大屏空间一致的场景，并将UE4的集群配置的CAVE屏幕配置为与真实LED大屏尺寸一致；以使摄像机在任何位置时都能够使每个LED大屏显示的图像就是对应面片的材质；将每个面片设置一个自发光材质以构造一个单色LED虚拟环境；由摄像头拍摄这个单色面片以获取单色图片，该单色图片包含色卡原色和变色的信息以及LED像素不同视角下的亮度变化；
[0020]步骤7、用支持向量机SVM来计算颜色还原网络，其中该支持向量机SVM中用于训练的网络包括输入层、中间层、输出层；其中该输入层包括R拍摄、G拍摄、B拍摄，对应于拍摄到的红、绿、蓝三原色数据；通过中间层的n个核可以得到输出层R原始、G原始、B原始，对应于原始的红、绿、蓝三原色数据；每个颜色，取0度视角像素的原色和返回色，将所有颜色的0度视角数据集合在一起，形成样本库，训练得到颜色还原的人工智能网络；其中该返回色为LED大屏投影及摄像机采集获得；
[0021]其中，对每个采集卡图像的点，计算出它对应的UE4引擎渲染图像的颜色RGB,而输入是采集卡的RGB,核的数量为预先设定；如果未来在迭代到相当大的训练次数后，训练结果仍旧不满意，则可以增大核的数量，也就是增加高维空间的维度，直到它真实的满足输出层线性映射的需求；其中，核函数为如下的高斯核函数；
[0022][0023]其中x代表低维空间坐标；x
’
代表该高维空间核在低维空间的核心坐标；σ代表该高维空间核的核半径；
[0024]步骤8、计算每个颜色的视角光强曲线：提取返回色的光强，其中该返回色为LED大屏投影及摄像机采集获得；将返回色的光强与与0度视角的光强比较，提取出对比曲线；其中，利用CAVE大屏的位置，提前确定多个三维点，再转化成屏幕点；
[0025]将样本做成一个光强百分比的表格，在运行时，采用相邻数据插值的方式就可以了；这个表格可以通过Texture参数传入GPUShader中，而GUPShader中有高效的插值算法。
[0026]步骤9、通过SVM颜色还原网络，将采集卡图像还原成UE4引擎渲染图像；将颜色校正矩阵和LED光强曲线融入到UE4的显卡渲染中，把合成阶段的虚实结合，以利用显卡计算的高性能获得沉浸式XR颜色校正需要的实时性能。
[0027]其中，所述步骤7中还包括：
[0028]从原始三维场景渲染的图像，到实际拍摄的采集卡图像，经历了从三维场景投向
LED大屏，到摄相机拍摄LED大屏到采集卡，而摄像机又受到人为的设置，所以颜色变换是一种非线性变换；利用得到的样本进行训练以得到高维空间，将非线性问题转化成线性问题。
[0029]上述技术方案具有以下有益效果：本专利技术实施例提出了一种色彩校正方法；突破了LED大屏亮度和视角的非线性关系。在标定中，将校色矩阵和视角光强两种计算需要的样本同时采样。采用人工智能SVM算法来学习颜色还原的网络，将非线性映射变成GPU可以高速处理的线性映射。此外，该技术融合了应用数学，3D引擎，色彩学，图像图形处理等诸多学科的最新成果，也成了该专利技术的技术壁垒。保护点是兼顾色彩校正的实时性，以及畸变一致的实时性，能在GPU编程中全部无缝结合在一起。
附图说明
[0030]图1为本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种色彩校正方法，其特征在于，应用于UE4引擎，以对拍摄到的数据进行处理；该方法包括：步骤1、禁用UE4引擎的色调映射ToneMapping；如果是要获取SceneColor参数，则可以通过UE4引擎的Post Process Material来获取；如果是要获取SceneColorBeforeTonemap参数,则可以把UE4引擎的参数Post Process Material的Phase改成Before Toonmapping。步骤2、禁用UE4引擎的自动曝光，以避免自动曝光干颜色校正；步骤3、确定摄像机的白平衡和曝光度，并禁止在实拍时修改摄像机的白平衡和曝光度参数；步骤4、UE4场景去掉灯光，让屏幕显示自发光，以使LED驱动的颜色就是色卡上的纯粹的标准色；步骤5、LED大屏现场，关闭灯光；以防止现场的环境光影响LED屏幕的颜色；步骤6、确定与LED大屏空间一致的场景，并将UE4的集群配置的CAVE屏幕配置为与真实LED大屏尺寸一致；以使摄像机在任何位置时都能够使每个LED大屏显示的图像就是对应面片的材质；将每个面片设置一个自发光材质以构造一个单色LED虚拟环境；由摄像头拍摄这个单色面片以获取单色图片，该单色图片包含色卡原色和变色的信息以及LED像素不同视角下的亮度变化；步骤7、用支持向量机SVM来计算颜色还原网络，其中该支持向量机SVM中用于训练的网络包括输入层、中间层、输出层；其中该输入层包括R拍摄、G拍摄、B拍摄，对应于拍摄到的红、绿、蓝三原色数据；通过中间层的n个核可以得到输出层R原始、G原始、B原始，对应于原始的红、绿、蓝三原色数据；每个颜色，取0度视角像素的原色和返回色，将所有颜色的0度视角数据...

【专利技术属性】
技术研发人员：胥海，李岩，何海全，崔景鑫，刘福菊，刘星辰，
申请(专利权)人：北京德火科技有限责任公司，
类型：发明
国别省市：