虚拟模型处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种虚拟模型处理方法、装置、电子设备及存储介质，所述方法包括：获取当前拍摄的真实环境图像，根据所述真实环境图像获取用于确定光照信息的目标图像；对比所述目标图像中像素点的像素信息的差异，根据对比结果确定所述真实环境图像中的光照信息；根据所述光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理。本实施例可以使虚拟模型的光照处理效果与真实场景中的光照情况相匹配，虚拟模型可以真实地与实际场景相融合。

【技术实现步骤摘要】
虚拟模型处理方法、装置、电子设备及存储介质
本公开涉及增强现实(AR，AugmentedReality)
，尤其涉及虚拟模型处理方法、装置、电子设备及存储介质。
技术介绍
随着摄影及图像处理技术的不断发展，AR技术也逐渐成熟。AR技术通常利用摄像头、传感器、实时计算和图像处理技术，将计算机生成的虚拟模型、场景或系统提示信息等融合至真实场景中，从而实现对现实的增强。其中，为了使得虚拟模型更加真实地与真实场景融合，AR系统可以对虚拟模型进行光照处理，例如获取虚拟模型在光照下产生的阴影图像等等。基于此，需要提供较好的虚拟模型光照处理技术，使得虚拟模型可以真实地与真实场景融合。
技术实现思路
为克服相关技术中存在的问题，本公开提供了虚拟模型处理方法、装置、电子设备及存储介质。根据本公开实施例的第一方面，提供一种虚拟模型处理方法，所述方法包括：获取当前拍摄的真实环境图像，根据所述真实环境图像获取用于确定光照信息的目标图像；对比所述目标图像中像素点的像素信息的差异，根据对比结果确定所述真实环境图像中的光照信息；根据所述光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理。在一个可选的实现方式中，所述根据所述真实环境图像获取用于确定光照信息的目标图像，包括：获取所述虚拟模型在所述真实环境图像中的渲染位置，根据所述渲染位置从所述真实环境图像中截取出所述目标图像。在一个可选的实现方式中，所述根据所述真实环境图像获取用于确定光照信息的目标图像，包括：识别所述真实环境图像中的物体，从所述真实环境图像中截取包含所述物体的图像作为所述目标图像。在一个可选的实现方式中，所述对比所述目标图像中像素点的像素信息的差异，包括：获取所述目标图像中若干个像素点的亮度值，对比所述若干个像素点的亮度值的差异。在一个可选的实现方式中，所述根据对比结果确定所述真实环境图像中的光照信息，包括：获取所述像素点中亮度值最大的第一类像素点和亮度值最小的第二类像素点，确定从第一类像素点指向第二类像素点的方向为所述真实环境图像中的光照方向。在一个可选的实现方式中，所述若干个像素点均匀分布于所述目标图像中。在一个可选的实现方式中，所述根据所述光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理，包括如下一种或多种：根据光照方向生成所述虚拟模型的阴影数据，其中，所述光照信息包括光照方向；根据光照亮度值处理所述虚拟模型的亮度数据，其中，所述光照信息包括光照亮度值。根据本公开实施例的第二方面，提供一种虚拟模型处理装置，所述装置包括：图像获取模块，被配置为：获取当前拍摄的真实环境图像，根据所述真实环境图像获取用于确定光照信息的目标图像；对比模块，被配置为：对比所述目标图像中像素点的像素信息的差异，根据对比结果确定所述真实环境图像中的光照信息；光照处理模块，被配置为：根据所述光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理。在一个可选的实现方式中，所述图像获取模块，包括：第一图像获取子模块，被配置为：获取所述虚拟模型在所述真实环境图像中的渲染位置，根据所述渲染位置从所述真实环境图像中截取出所述目标图像。在一个可选的实现方式中，所述图像获取模块，包括：第二图像获取子模块，被配置为：识别所述真实环境图像中的物体，从所述真实环境图像中截取包含所述物体的图像作为所述目标图像。在一个可选的实现方式中，所述对比模块，被配置为：亮度对比子模块，被配置为：获取所述目标图像中若干个像素点的亮度值，对比所述若干个像素点的亮度值的差异。在一个可选的实现方式中，所述亮度对比子模块，包括：方向确定子模块，被配置为：获取所述像素点中亮度值最大的第一类像素点和亮度值最小的第二类像素点，确定从第一类像素点指向第二类像素点的方向为所述真实环境图像中的光照方向。在一个可选的实现方式中，所述若干个像素点均匀分布于所述目标图像中。在一个可选的实现方式中，所述光照处理模块，包括如下一个或多个子模块：第一光照处理子模块，被配置为：根据光照方向生成所述虚拟模型的阴影数据，其中，所述光照信息包括光照方向；第二光照处理子模块，被配置为：根据光照亮度值处理所述虚拟模型的亮度数据，其中，所述光照信息包括光照亮度值。根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：获取当前拍摄的真实环境图像，根据所述真实环境图像获取用于确定光照信息的目标图像；对比所述目标图像中像素点的像素信息的差异，根据对比结果确定所述真实环境图像中的光照信息；根据所述光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理。根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述虚拟模型处理方法的步骤。本公开的实施例提供的技术方案可以包括以下有益效果：本公开中，通过对比所述目标图像中像素点的像素信息的差异，可以根据对比结果确定真实环境图像中的光照信息，因此根据所述光照信息可以对待渲染至所述真实环境图像中的虚拟模型进行光照处理，使虚拟模型的光照处理效果与真实场景中的光照情况相匹配，虚拟模型可以真实地与实际场景相融合。本公开中，由于用于确定光照信息的目标图像是根据虚拟模型的渲染位置而确定，因此可以获得准确的光照信息对虚拟模型进行光照处理。本公开中，采用包含单一物体的目标图像进行光照信息的分析，为了减少其他物体的像素信息的干扰，可以提高所确定的光照信息的准确度。本公开中，可以获取所述目标图像中若干个像素点的亮度值，对比所述若干个像素点的亮度值的差异，从而可以提高虚拟模型的处理速度。本公开中，从目标图像中所选取的均匀分布的若干个像素点，利用所选取的像素点可以进行光照信息的分析，从而可以提高虚拟模型的处理速度。本公开中，获取所述像素点中亮度值最大的第一类像素点和亮度值最小的第二类像素点，确定从第一类像素点指向第二类像素点的方向为所述真实环境图像中的光照方向，该方式易于实现，且准确度较高，处理速度较快。本公开中，可以根据光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理，例如根据光照方向，可以获得与真实环境匹配的虚拟模型阴影图像，或者，还可以获取目标图像中像素点的亮度值，根据该亮度值确定对所述虚拟模型的光照亮度值，并根据光照亮度值处理所述虚拟模型的亮度数据，从而使得虚拟模型可以与真实环境较好地融合。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1A是本公开根据一示例性实施例示出的一种AR场景示意图。图1B是本公开根据一示例性实施例示出的一种虚拟模型处理方法的流程图。图1C是本公开根据一示例性实施例示出的一种目标图像示意图。图1D是本公开根据一示例性实施例示出的另一种目标图像示意图。图1E是本公开根据一示例性实施例示出虚拟模型处理示意图。图2是本公开根据一示例性实施例示出的一种虚拟模型处理装置的框图。图3是本公开根据一示例性实施例示出的另一种虚拟模型处理装置的框图。图4是本公开根据一示例性实施例示出的另一种虚拟模型处理装置的框图。图5是本公开根据一本文档来自技高网...

【技术保护点】
1.一种虚拟模型处理方法，其特征在于，所述方法包括：获取当前拍摄的真实环境图像，根据所述真实环境图像获取用于确定光照信息的目标图像；对比所述目标图像中像素点的像素信息的差异，根据对比结果确定所述真实环境图像中的光照信息；根据所述光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理。

【技术特征摘要】
1.一种虚拟模型处理方法，其特征在于，所述方法包括：获取当前拍摄的真实环境图像，根据所述真实环境图像获取用于确定光照信息的目标图像；对比所述目标图像中像素点的像素信息的差异，根据对比结果确定所述真实环境图像中的光照信息；根据所述光照信息对待渲染至所述真实环境图像中的虚拟模型进行光照处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述真实环境图像获取用于确定光照信息的目标图像，包括如下一种或多种方式：获取所述虚拟模型在所述真实环境图像中的渲染位置，根据所述渲染位置从所述真实环境图像中截取出所述目标图像；和/或，识别所述真实环境图像中的物体，从所述真实环境图像中截取包含所述物体的图像作为所述目标图像。3.根据权利要求1所述的方法，其特征在于，所述对比所述目标图像中像素点的像素信息的差异，包括：获取所述目标图像中若干个像素点的亮度值，对比所述若干个像素点的亮度值的差异。4.根据权利要求1或3所述的方法，其特征在于，所述根据对比结果确定所述真实环境图像中的光照信息，包括：获取所述像素点中亮度值最大的第一类像素点和亮度值最小的第二类像素点，确定从第一类像素点指向第二类像素点的方向为所述真实环境图像中的光照方向。5.一种虚拟模型处理装置，其特征在于，所述装置包括：图像获取模块，被配置为：获取当前拍摄的真实环境图像，根据所述真实环境图像获取用于确定光照信息的目标图像；对比模块，被配置为：对比所述目标图像中像素点的像素信息的差异，根据对比结果确定所述真实环境图像中的光照信息；光照处理模块，被...

【专利技术属性】
技术研发人员：季佳松，林形省，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11