一种虚拟现实图像增强方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种虚拟现实图像增强方法，包括获取虚拟现实设备中用于显示的第一图像；将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像；将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像；通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据；将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像。通过GAN网络增强模型可以对从虚拟现实设备中获取的图像进行增强修复，从而极大改善虚拟现实设备显示图像的质量。本发明专利技术还提供了具有同样效果的装置、强设备以及存储介质。

【技术实现步骤摘要】
一种虚拟现实图像增强方法、装置、设备及存储介质
本专利技术涉及虚拟现实
，特别是涉及一种虚拟现实图像增强方法、一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一种计算机可读存储介质。
技术介绍
随着技术和产业生态的快速发展，虚拟现实产业规模也不断增长，世界各国纷纷出台政策鼓励和推动虚拟现实产业的发展，因此越来越多的企业开始涉足虚拟现实行业，加大对虚拟现实产业的投资，虚拟现实已经逐渐应用到医疗、工程管理、建筑设计、娱乐教育等多个领域，比如辅助医疗，工业检测、户型体验、游戏体验等，发展潜力巨大。但是现在很多虚拟现实设备的显示效果并不理想，比如图像视频不够清晰，用户需要花费一番精力才能看清和体验，舒适度较差。所以如何生成高质量的虚拟现实设备所显示的图像是本领域技术人员急需解决的问题。
技术实现思路
本专利技术的目的是提供一种虚拟现实图像增强方法，可以极大改善虚拟现实设备显示图像的质量；本专利技术的另一目的在于提供一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一种计算机可读存储介质，可以极大改善虚拟现实设备显示图像的质量。为解决上述技术问题，本专利技术提供一种虚拟现实图像增强方法，包括：获取虚拟现实设备中用于显示的第一图像；将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；将所述第四图像返回所述虚拟现实设备进行显示。可选的，所述复原模型为反卷积生成模型。可选的，在所述将所述相似度数据与所述第三图像输入所述GAN网络增强模型之后，还包括：通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强。可选的，在所述通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强之后，还包括：通过预设时间内连续生成的多个所述第四图像以及对应的第一图像建立正负样本集；其中所述正负样本集包括多个正负样本，任一所述正负样本中的正样本为一所述第四图像，负样本为对应的所述第一图像；将所述正负样本集输入所述GAN网络增强模型中的判别器，以得到所述GAN网络增强模型的训练样本集。可选的，在所述得到所述GAN网络增强模型的训练样本集之后，还包括：将所述训练样本集输入所述GAN网络增强模型中的生成器，以得到由多张图像所形成的虚拟环境图像；所述将所述第四图像返回所述虚拟现实设备进行显示包括：将所述虚拟环境图像返回所述虚拟现实设备进行显示。可选的，所述获取虚拟现实设备中用于显示的第一图像包括：通过边缘服务器获取虚拟现实设备中用于显示的第一图像；所述将所述第四图像返回所述虚拟现实设备进行显示包括：通过所述边缘服务器将所述第四图像返回所述虚拟现实设备进行显示。可选的，所述获取虚拟现实设备中用于显示的第一图像包括：通过5G网络获取虚拟现实设备中用于显示的第一图像；所述将所述第四图像返回所述虚拟现实设备进行显示包括：通过所述5G网络将所述第四图像返回所述虚拟现实设备进行显示。本专利技术还提供了一种虚拟现实图像增强装置，包括：获取模块：用于获取虚拟现实设备中用于显示的第一图像；第二图像生成模块：用于将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；第三图像生成模块：用于将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；相似度数据生成模块：用于通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；第四图像生成模块：用于将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；传输模块：用于将所述第四图像返回所述虚拟现实设备进行显示。本专利技术还提供了一种虚拟现实图像增强设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一项所述虚拟现实图像增强方法的步骤。本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述虚拟现实图像增强方法的步骤。本专利技术所提供的一种虚拟现实图像增强方法，包括获取虚拟现实设备中用于显示的第一图像；将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像；将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像；通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据；将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像；将第四图像返回虚拟现实设备进行显示。通过GAN网络增强模型可以对从虚拟现实设备中获取的图像进行增强修复，而通过复原模型以及图像语义识别模型对GAN网络增强模型进行辅助，可以使得GAN网络增强模型生成质量更高的的图像返回到虚拟现实设备进行显示，从而极大改善虚拟现实设备显示图像的质量。本专利技术还提供了一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例所提供的一种虚拟现实图像增强方法的流程图；图2为本专利技术实施例所提供的一种具体的虚拟现实图像增强方法的流程图；图3为本专利技术实施例所提供的一种虚拟现实图像增强装置的结构框图；图4为本专利技术实施例所提供的一种虚拟现实图像增强设备的结构框图。具体实施方式本专利技术的核心是提供一种虚拟现实图像增强方法。在现有技术中，虚拟现实的很多技术还不够成熟，除了三维图形生成技术相对成熟，其他比如动态环境建模技术、智能语音虚拟现实建模等技术还处于快速发展阶段，体验效果不佳。而虚拟现实技术的研发成本一般较高，产品在软件和硬件方面都不够成熟，企业往往会选择低成本的方式进行尝试，因此虚拟现实的整体发展比较缓慢。目前，虚拟现实产品主要是以头盔和智能眼镜两类为主，多为感官体验，也就是视觉和听觉驱动，对图像视频技术的要求比较高。但是现在很多虚拟现实设备的显示效果并不理想，比如图像视频不够清晰，用户需要花费一番精力才能看清和体本文档来自技高网...

【技术保护点】
1.一种虚拟现实图像增强方法，其特征在于，包括：/n获取虚拟现实设备中用于显示的第一图像；/n将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；/n将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；/n通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；/n将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；/n将所述第四图像返回所述虚拟现实设备进行显示。/n

【技术特征摘要】
1.一种虚拟现实图像增强方法，其特征在于，包括：
获取虚拟现实设备中用于显示的第一图像；
将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；
将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；
通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；
将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；
将所述第四图像返回所述虚拟现实设备进行显示。


2.根据权利要求1所述的方法，其特征在于，所述复原模型为反卷积生成模型。


3.根据权利要求2所述的方法，其特征在于，在所述将所述相似度数据与所述第三图像输入所述GAN网络增强模型之后，还包括：
通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强。


4.根据权利要求3所述的方法，其特征在于，在所述通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强之后，还包括：
通过预设时间内连续生成的多个所述第四图像以及对应的第一图像建立正负样本集；其中所述正负样本集包括多个正负样本，任一所述正负样本中的正样本为一所述第四图像，负样本为对应的所述第一图像；
将所述正负样本集输入所述GAN网络增强模型中的判别器，以得到所述GAN网络增强模型的训练样本集。


5.根据权利要求4所述的方法，其特征在于，在所述得到所述GAN网络增强模型的训练样本集之后，还包括：
将所述训练样本集输入所述GAN网络增强模型中的生成器，以得到由多张图像所形成的虚拟环境图像；
所述将所述第四图像返回所述虚拟现实设备进行显示包括：
将所述虚拟环境图像返回所述虚拟现实设备进行显示。


...

【专利技术属性】
技术研发人员：李锐，金长新，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37