本申请涉及一种基于虚实结合技术显示虚拟图像的方法、系统及存储介质，通过采集包含目标对象的二维目标图像，将二维目标图像输入预设的预测模型得到目标对象的人体三维预测信息、颜色预测信息、材质预测信息和对应的光照预测信息，根据三维预测信息、颜色预测信息和材质预测信息生成去光照下的三维重建图像，根据该光照预测信息对三位重建图像进行渲染处理得到并显示三位重光照图像，通过多种不同光照下的人体图像进行模型训练，使预测模型的预测结果更加准确，另外，在训练预测模型的过程中基于对人体图像的颜色预测信息和人体图像的材质预测信息对人体图像的光照预测信息进行补偿，进一步提升了预测结果的准确性，从而可以还原得到更加逼真的三维重光照图像。而可以还原得到更加逼真的三维重光照图像。而可以还原得到更加逼真的三维重光照图像。
【技术实现步骤摘要】
基于虚实结合技术显示虚拟图像的方法、系统及存储介质
[0001]本申请涉及图像处理
，特别是涉及一种基于虚实结合技术显示虚拟图像的方法、系统及存储介质。
技术介绍
[0002]人类行为感知和理解是大量智能场景应用的基础，比如人机交互，人体动作分析和识别，沉浸式游戏和其他虚拟现实应用。其中一个非常重要的问题是如何重建出逼真的人体三维模型，还原真实世界中的人体信息。
技术实现思路
[0003]为解决上述技术问题，本申请提供一种基于虚实结合技术显示虚拟图像的方法、系统及计算机可读存储介质。
[0004]一方面，提供一种基于虚实结合技术显示虚拟图像的方法，包括：
[0005]针对目标对象进行图像采集得到包含所述目标对象的二维目标图像；
[0006]将所述二维目标图像输入预设的预测模型得到所述目标对象的人体三维预测信息、颜色预测信息、材质预测信息和对应的光照预测信息；所述预测模型为基于训练样本人体图像集进行训练得到的模型，所述训练样本人体图像集包含多种不同光照下的人体图像；在训练所述预测模型的过程中基于对所述人体图像的颜色预测信息和所述人体图像的材质预测信息对所述人体图像的光照预测信息进行补偿；
[0007]根据所述人体三维预测信息、所述颜色预测信息和所述材质预测信息生成去光照下的三维重建图像；
[0008]根据所述光照预测信息对所述三维重建图像进行渲染处理得到并显示三维重光照图像。
[0009]在其中一个实施例中，所述训练样本人体图像集包含对不同光照下的所述人体图像之间进行插值处理生成的插值图像。
[0010]在其中一个实施例中，所述针对目标对象进行图像采集得到包含所述目标对象的二维目标图像，包括：
[0011]针对目标对象进行视频图像采集，得到在时间上连续的多帧二维目标图像，所述二维目标图像包含所述目标对象；
[0012]所述根据所述人体三维预测信息、所述颜色预测信息和所述材质预测信息生成去光照下的三维重建图像，包括：
[0013]根据各所述人体三维预测信息、以及对应的各所述颜色预测信息和各所述材质预测信息生成多帧去光照下的三维重建图像；
[0014]所述根据所述光照预测信息对所述三维重建图像进行渲染处理得到三维重光照图像，包括：
[0015]利用第n
‑
1帧的所述三维重建图像对应的光照预测信息和第n+1帧的所述三维重
建图像对应的光照预测信息中的至少一个，对第n帧的所述三维重建图像进行渲染处理，得到第n帧的所述三维重建图像的三维重光照图像。
[0016]在其中一个实施例中，所述针对目标对象进行图像采集得到包含所述目标对象的二维目标图像，包括：
[0017]通过预设的相机阵列对所述目标对象进行图像采集，得到同一时刻不同视点下的包含所述目标对象的二维目标图像；所述相机阵列包括设置在不同位置上的多个相机模块；
[0018]在所述根据所述光照预测信息对所述三维重建图像进行渲染处理得到三维重光照图像之后，包括：
[0019]将各不同视点下的所述二维目标图像对应的三维重光照图像进行合成处理得到合成处理后的图像。
[0020]在其中一个实施例中，所述通过预设的相机阵列对所述目标对象进行图像采集，得到同一时刻不同视点下的包含所述目标对象的二维目标图像，包括：
[0021]通过预设的相机阵列对所述目标对象进行视频图像采集，得到在时间上连续的多个二维目标图像组，每一所述二维目标图像组中包括多个不同视点下的包含所述目标对象的二维目标图像；
[0022]所述将各不同视点下的所述二维目标图像对应的三维重光照图像进行合成处理得到合成处理后的图像，包括：
[0023]将同一所述二维目标图像组中的各所述二维目标图像对应的三维重光照图像进行合成处理得到合成处理图像，并将各所述二维目标图像组对应的所述合成处理图像在时间上进行拼接合成，得到合成视频图像。
[0024]在其中一个实施例中，所述方法还包括：
[0025]采集所述目标对象所处环境的声音；
[0026]对所述声音进行处理得到处理后的目标音效；
[0027]根据所述合成视频图像确定待展示的虚拟视频图像；
[0028]展示所述目标音效与所述虚拟视频图像。
[0029]在其中一个实施例中，所述根据所述合成视频图像确定待展示的虚拟视频图像，包括：
[0030]确定所述目标对象在预设虚拟场景下的位置信息；
[0031]根据所述位置信息对所述合成视频图像和所述预设虚拟场景进行融合处理得到待展示的虚拟视频图像。
[0032]在其中一个实施例中，所述训练样本人体图像集中的人体图像为通过预设的图像采集装置进行图像采集得到的图像；所述图像采集装置包括穹顶式支架、设置在所述穹顶式支架节点上的相机模块和光源模块，所述相机模块的拍摄角度和所述光源模块的照射角度朝向所述穹顶式支架的球心设置。
[0033]另一方面，提供了一种图像生成系统，包括：
[0034]图像采集单元，用于针对目标对象进行图像采集得到包含所述目标对象的二维目标图像；
[0035]预测单元，用于将所述二维目标图像输入预设的预测模型得到所述目标对象的人
体三维预测信息、颜色预测信息、材质预测信息和对应的光照预测信息；所述预测模型为基于训练样本人体图像集进行训练得到的模型，所述训练样本人体图像集包含多种不同光照下的人体图像；在训练所述预测模型的过程中基于对所述人体图像的颜色预测信息和所述人体图像的材质预测信息对所述人体图像的光照预测信息进行补偿；
[0036]去光照单元，用于根据所述人体三维预测信息、所述颜色预测信息和所述材质预测信息生成去光照下的三维重建图像；
[0037]渲染单元，用于根据所述光照预测信息对所述三维重建图像进行渲染处理得到三维重光照图像。
[0038]另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，以实现上述任一所述的方法。
[0039]本申请提供的基于虚实结合技术显示虚拟图像的方法、系统及计算机可读存储介质，通过采集包含目标对象的二维目标图像，然后将二维目标图像输入预设的预测模型得到目标对象的人体三维预测信息、颜色预测信息、材质预测信息和对应的光照预测信息，然后根据三维预测信息、颜色预测信息和材质预测信息生成去光照下的三维重建图像，根据该光照预测信息对三位重建图像进行渲染处理得到三位重光照图像，由于用于训练预测模型的训练样本人体图像集中包含多种不同光照下的人体图像，丰富了训练数据集，使预测模型的预测结果更加准确，另外，在训练预测模型的过程中基于对人体图像的颜色预测信息和人体图像的材质预测信息对人体图像的光照预测信息进行补偿，充分考虑了分解二维目标图像得到颜色预测信息和材质预测信息中可能产生的误差，进一步提升了预测结果的准确性，从而可以还原得到更加逼真的三维重光照图像。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于虚实结合技术显示虚拟图像的方法，其特征在于，包括：针对目标对象进行图像采集得到包含所述目标对象的二维目标图像；将所述二维目标图像输入预设的预测模型得到所述目标对象的人体三维预测信息、颜色预测信息、材质预测信息和对应的光照预测信息；所述预测模型为基于训练样本人体图像集进行训练得到的模型，所述训练样本人体图像集包含多种不同光照下的人体图像；在训练所述预测模型的过程中基于对所述人体图像的颜色预测信息和所述人体图像的材质预测信息对所述人体图像的光照预测信息进行补偿；根据所述人体三维预测信息、所述颜色预测信息和所述材质预测信息生成去光照下的三维重建图像；根据所述光照预测信息对所述三维重建图像进行渲染处理得到并显示三维重光照图像。2.如权利要求1所述的基于虚实结合技术显示虚拟图像的方法，其特征在于，所述训练样本人体图像集包含对不同光照下的所述人体图像之间进行插值处理生成的插值图像。3.如权利要求1所述的基于虚实结合技术显示虚拟图像的方法，其特征在于，所述针对目标对象进行图像采集得到包含所述目标对象的二维目标图像，包括：针对目标对象进行视频图像采集，得到在时间上连续的多帧二维目标图像，所述二维目标图像包含所述目标对象；所述根据所述人体三维预测信息、所述颜色预测信息和所述材质预测信息生成去光照下的三维重建图像，包括：根据各所述人体三维预测信息、以及对应的各所述颜色预测信息和各所述材质预测信息生成多帧去光照下的三维重建图像；所述根据所述光照预测信息对所述三维重建图像进行渲染处理得到并显示三维重光照图像，包括：利用第n
‑
1帧的所述三维重建图像对应的光照预测信息和第n+1帧的所述三维重建图像对应的光照预测信息中的至少一个，对第n帧的所述三维重建图像进行渲染处理，得到第n帧的所述三维重建图像的三维重光照图像。4.如权利要求1所述的基于虚实结合技术显示虚拟图像的方法，其特征在于，所述针对目标对象进行图像采集得到包含所述目标对象的二维目标图像，包括：通过预设的相机阵列对所述目标对象进行图像采集，得到同一时刻不同视点下的包含所述目标对象的二维目标图像；所述相机阵列包括设置在不同位置上的多个相机模块；在所述根据所述光照预测信息对所述三维重建图像进行渲染处理得到三维重光照图像之后，包括：将各不同视点下的所述二维目标图像对应的三维重光照图像进行合成处理得到合成处理后的图像。5.如权利要求4所述的基于虚实结合技术显示虚拟图像的方法，其特征在于，所述通过预设的相机阵列对所述目标对象进行图像采集，得到同一时刻不同视点下的包含所述目标对象的二维目标图像，包括：通过预...
【专利技术属性】
技术研发人员：杨景飞，
申请(专利权)人：北京齐乐无穷文化科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。