基于循环神经网络的虚拟现实场景下人机交互方法及系统技术方案

本发明专利技术涉及一种基于循环神经网络的虚拟现实场景下人机交互方法及系统，应用于虚拟家居设计中，所述方法包括以下步骤：1)获取用户输入的草图图像；2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；3)根据所述家居类别调用相关交互对象并显示。与现有技术相比，本发明专利技术可以将用户输入的对象转化为可能需要交互的对象，并具有很强的智能性、可靠性等优点。

Human-Computer Interaction Method and System in Virtual Reality Scene Based on Cyclic Neural Network

【技术实现步骤摘要】
基于循环神经网络的虚拟现实场景下人机交互方法及系统
本专利技术涉及虚拟实现
，尤其是涉及一种基于循环神经网络的虚拟现实场景下人机交互方法及系统。
技术介绍
随着虚拟实现技术的发展，构建面向互联网的虚拟化、拟人化的室内大规模家具场景越来越迫切。但是大规模室内家具仍旧面临着很多问题，主要表现在：场景内家具模型的交互方式单一，缺乏智能化特点等，这些都严重制约了虚拟的效果和用户体验，导致了虚拟家具场景的模型整体结构简单、场景复杂度低、场景内交互手段单一。而现实中室内家具模型的结构复杂、交互手段多样。这些不足都严重制约了虚拟现实技术在大规模室内家具设计、交互的应用。随着深度学习方法在多个领域取得了巨大的成功，基于深度学习的方法往往能够取得理想的结果，同时，深度学习与虚拟现实技术联系日益紧密，通过深度学习方法为虚拟现实的应用提供新一个交互方式，既可以提高虚拟现实应用的智能化效果，又可以满足用户新的交互方式的追求。目前在虚拟家居场景的交互中，主要是通过用户从大量的模型中手工寻找的方式获得相应的模型，这种方法实现简单、设计单一，能够满足规模不大的虚拟现实应用。然而这种方法存在以下不足：(1)交互效率低：对于大规模的室内家具应用来说，这种方法迫使用户需要从大量的模型中寻找自己需要的模型，用户通过寻找相应的模型，用户的交互手段单一，交互效率低下。(2)智能性差：由于缺乏智能性交互方式，获取用户交互行为完全依赖于用户的选择，这种方式对于简单的、少量的交互对象往往能够得到很好的结果，但是当交互对象复杂、繁多的时候，由于用户的交互意愿下降、交互难度提高，往往无法得到可靠的交互对象。对于用户来说，非常需要一种可以提供更加智能化的手段来完成虚拟现实场景中人机交互。(3)管理混乱：对于大量交互对象的虚拟实现应用来说，对于交互对象管理往往特别混乱，用户交互通过单击对象来完成。但是对于大规模模型数据的人机交互的虚拟现实应用来说，比如虚拟家居设计应用场景，大量的家居类三维模型将会严重制约人机交互效率。同时，复杂多样的家居类三维模型将对应用来模型管理也带来很多困难。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于循环神经网络的虚拟现实场景下人机交互方法及系统。本专利技术的目的可以通过以下技术方案来实现：一种基于循环神经网络的虚拟现实场景下人机交互方法，应用于虚拟家居设计中，该方法包括以下步骤：1)获取用户输入的草图图像；2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；3)根据所述家居类别调用相关交互对象并显示。进一步地，所述步骤2)中，对所述草图图像进行识别时，将单个草图图像按照行进行分割，每个图像分成由N个元素组成的集合，且相邻的元素是紧密相关的，在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合。进一步地，所述步骤2)中，获得所述草图图像对应的家居类别采用的预测公式为：其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。进一步地，所述步骤3)具体为：根据家居类别调用相关交互对象并加载，显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。进一步地，所述步骤3)中，相关交互对象包括家居应用场景。本专利技术还提供一种基于循环神经网络的虚拟现实场景下人机交互系统，应用于虚拟家居设计中，该系统包括：草图图像获取模块，用于获取用户输入的草图图像；图像识别模块，用于采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；加载设计模块，用于根据所述家居类别调用相关交互对象并显示。进一步地，所述图像识别模块包括：图像分割单元，用于单个草图图像按照行进行分割，每个图像分成由N个元素组成的集合，且相邻的元素是紧密相关的；神经网络识别单元，用于对所述集合进行类别识别，且在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合。进一步地，所述图像识别模块中，获得所述草图图像对应的家居类别采用的预测公式为：其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。进一步地，所述加载设计模块包括：交互对象加载单元，用于根据家居类别调用相关交互对象并加载；显示交互单元，用于显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。进一步地，所述相关交互对象包括家居应用场景。与现有技术相比，本专利技术具有以如下有益效果：①智能化，对用户绘制的图像进行智能识别，从而确定用户需要交互的对象的类别或者属性；②可靠性，提高用户交互的可靠性，传统的方法用户交互存在极大的随机性和不确定性，通过用户绘制对象，大大的提高的可靠性；③高体验，提高用户体验是虚拟实现一个非常重要的指标，通过智能会识别，可以让用户获取更多的虚拟现实的体验。本专利技术适合于虚拟家居设计应用中，交互三维模型数据数量庞大的情况，可以将用户输入的对象转化为可能需要交互的对象，并具有很强的智能性、可靠性。附图说明图1为本专利技术的流程原理示意图；图2为本专利技术长短期记忆循环神经网络中一段神经单元的示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。传统的人机交互方式依赖于用户对对象的选择来完成交互，这种方法对于数量庞大的交互对象来说，存在很多弊端，包括交互效率随着交互对象的增加显著降低，交互随机性变大。本专利技术提供一种基于循环神经网络的虚拟现实场景下人机交互方法，应用于虚拟家居设计中，该方法包括以下步骤：1)获取用户输入的草图图像；2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；3)根据所述家居类别调用相关交互对象并显示。本专利技术的基本思想是利用对用户手工绘制的草图进行智能化识别，从而获得用户交互对象。本专利技术以场景内的手工绘制草图作为输入，采用草图->类别->该类别模型对象->场景中加载->家居模型设计的过程实现交互，如图1所示。1)基于循环神经网络的训练过程本专利技术采用了长短期记忆的循环神经网络进行相关的对象的训练，对象的训练主要是完成监督学习机制的最重要步骤，通过训练可以完成相关的参数的拟合，从而更好的进行相关对象的预测。长短期记忆循环神经网络，不同于传统的循环神经网络，它可以学习短距离的特征关联性，这种方法主要应用于对于语言文字的预测领域，但是对于图像来说，单个图像可以被看成由多个短距离相关的子图像组成的集合结果，即图像是领近区域高度相关的对象，这非常适合于长短期记忆的循环神经网络来进行相关的学习。本课题中，将单个图像按照行进行分割，每个图像分成由N个元素组成的集合(如一张100*100的图像，可以被分成100个元素的子图像集合)，且相邻的元素是紧密相关的。在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合的目的。长短期记忆神经网络的如片段的结构如图2所示。2)高效的网络预测机制。通过本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络的虚拟现实场景下人机交互方法，应用于虚拟家居设计中，其特征在于，该方法包括以下步骤：1)获取用户输入的草图图像；2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；3)根据所述家居类别调用相关交互对象并显示。

【技术特征摘要】
1.一种基于循环神经网络的虚拟现实场景下人机交互方法，应用于虚拟家居设计中，其特征在于，该方法包括以下步骤：1)获取用户输入的草图图像；2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；3)根据所述家居类别调用相关交互对象并显示。2.根据权利要求1所述的基于循环神经网络的虚拟现实场景下人机交互方法，其特征在于，所述步骤2)中，对所述草图图像进行识别时，将单个草图图像按照行进行分割，每个图像分成由N个元素组成的集合，且相邻的元素是紧密相关的，在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合。3.根据权利要求1所述的基于循环神经网络的虚拟现实场景下人机交互方法，其特征在于，所述步骤2)中，获得所述草图图像对应的家居类别采用的预测公式为：其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。4.根据权利要求1所述的基于循环神经网络的虚拟现实场景下人机交互方法，其特征在于，所述步骤3)具体为：根据家居类别调用相关交互对象并加载，显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。5.根据权利要求1或4所述的基于循环神经网络的虚拟现实场景下人机交互方法，其特征在于，所述步骤3)中，相关交互对象包括家居应用场景。6.一种基于循环神经网络的虚拟现实场景下人机交互系统，应用...

【专利技术属性】
技术研发人员：贾金原，周文，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31