三维场景的复现方法、系统、电子装置及存储介质制造方法及图纸

本发明专利技术公开了一种三维场景的复现方法、系统电子装置及存储介质，涉及图像处理技术领域，用于复现室内的三维场景，解决了现有技术中的STEAM教育器具不能对三维空间中的场景复现的问题，包括：控制无人机采集室内的当前场景信息；将当前场景信息进行预处理，得到预处理信息；将预处理信息输入预先生成的序列生成模型，生成当前指令序列；客户端根据当前指令序列使用客户端对无人机发送控制指令；无人机接收到控制指令后，采集室内的二维场景信息，并将二维场景信息发送至客户端；在客户端根据二维场景信息对三维空间中的场景进行重构及复现；而在客户端对三维空间中的场景的重构及复现后，能够给予学习者真实的场景体验及良好的学习体验。

3-D Scene Reproduction Method, System, Electronic Device and Storage Media

【技术实现步骤摘要】
三维场景的复现方法、系统、电子装置及存储介质
本专利技术涉及图像处理
，尤其涉及一种三维场景的复现方法、系统电子装置及存储介质。
技术介绍
在近年来，STEAM教育逐渐在市场上兴起，STEAM是一种教育学科，代表科学(Science)，技术(Technology)，工程(Engineering)，艺术(Arts)，数学(Mathematics)，而STEAM本身，也是上述五种代表的英文首字母缩写。STEAM教育就是集科学，技术，工程，艺术，数学多学科融合的综合教育。目前的STEAM教育课堂中的教育器具，主要是以乐高机器人为代表的机器人产品。这些教育器具越来越高度集成化，用户可以通过在教育器具提供的终端界面进行可视化操作，操作结果将会以控制指令的方式传输到教育器具装置，教育器具装置再根据接收到的操作控制指令进行相应的场景操作。但是，现有的教育器具的操作方式，只是便于使用教育器具的人操作，不能够对实际三维空间中的场景进行复现，因此不能给予学习者真实的场景体验及良好的学习体验。
技术实现思路
本专利技术的主要目的在于提供一种三维场景的复现方法、系统电子装置及存储介质，旨在解决现有技术中的STEAM教育器具不能对实际三维空间中的场景进行复现而不能给予学习者真实的场景体验及良好的学习体验的技术问题。为实现上述目的，本专利技术第一方面提供一种三维场景的复现方法，包括：控制无人机采集室内的当前场景信息，所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据；将所述当前场景信息进行预处理，得到预处理信息；将所述预处理信息输入预先生成的序列生成模型，生成当前指令序列，并将所述当前指令序列发送至客户端；客户端在接收到所述当前指令序列后，根据所述当前指令序列使用客户端对无人机发送控制指令；无人机接收到所述控制指令后，根据所述控制指令使用无人机采集室内的二维场景信息，并将所述二维场景信息发送至客户端；在客户端根据所述二维场景信息对三维空间中的场景进行重构及复现。进一步地，所述序列生成模型的生成方法包括：预先控制并使用无人机采集室内的场景信息，得到历史场景信息，所述历史场景信息为无人机上的传感器在过去时间点采集的传感器数据，并记录无人机在此时被控制所接收的样本指令序列；将所述历史场景信息进行预处理，得到预处理的历史场景信息，并使用预处理的历史场景信息训练卷积神经网络，其中，所述预处理包括标准化及向量化；将所述样本指令序列进行向量化，并使用向量化的样本指令序列训练第一循环神经网络；使用第二循环神经网络将所述卷积神经网络及所述第一循环神经网络结合，以使在所述历史场景信息与所述样本指令序列相匹配后，得到序列生成模型，所述序列生成模型用于在接收到所述当前场景信息后，将当前场景信息与历史场景信息相匹配，并将与历史场景信息相匹配的样本指令序列作为所述当前场景信息相匹配的当前指令序列。进一步地，所述将所述场景信息进行预处理，得到预处理信息包括：将所述场景信息进行标准化，得到标准化信息；将所述标准化信息进行向量化，得到预处理信息。进一步地，所述控制并使用无人机采集室内的当前场景信息包括：使用无人机自带的第一场景获取传感器采集室内的第一当前场景信息；使用无人机挂载的第二场景获取传感器采集室内的第二当前场景信息。本专利技术第二方面提供一种三维场景的复现系统，包括：当前场景信息采集模块，用于控制无人机采集室内的当前场景信息，所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据；预处理模块，用于对所述当前场景信息采集模块采集的当前场景信息进行预处理，得到预处理信息；指令序列生成模块，用于将所述预处理模块得到的预处理信息传输至序列生成模块，并将指令序列生成模块根据预处理信息生成的指令序列发送至客户端；指令发送模块，用于在客户端根据所述指令序列生成模块生成的指令序列向无人机发送控制指令，以控制无人机；二维场景采集模块，用于使用无人机根据所述指令发送模块发送的指令采集室内的二维场景信息，并将二维场景信息发送至客户端；复现模块，用于根据所述二维场景采集模块采集的二维场景信息对三维空间中的场景进行重构及复现。进一步地，所述序列生成模块包括：历史场景信息采集单元，用于预先控制并使用无人机采集室内的场景信息，所述历史场景信息为无人机上的传感器在过去时间点采集的传感器数据，得到历史场景信息，并记录无人机在此时被控制所接收的样本指令序列；预处理单元，用于将所述历史场景信息采集单元采集的历史场景信息进行预处理，得到预处理的历史场景信息，并使用预处理的历史场景信息训练卷积神经网络，其中，所述预处理包括标准化及向量化；向量化单元，用于将所述历史场景信息采集单元记录的样本指令序列进行向量化，并使用向量化的样本指令序列训练第一循环神经网络；序列模型生成单元，用于使用第二循环神经网络将预处理单元的卷积神经网络及向量化单元的第一循环神经网络进行结合，以使在历史场景信息采集单元采集的历史场景信息与所述样本指令序列相匹配后，得到序列生成模型，所述序列生成模型用于在接收到所述当前场景信息采集模块采集的当前场景信息后，将当前场景信息与历史场景信息相匹配，并将与历史场景信息相匹配的样本指令序列作为所述当前场景信息相匹配的当前指令序列。进一步地，所述预处理模块包括：标准化单元，用于将所述当前场景信息采集模块采集的当前场景信息进行标准化，得到标准化信息；向量化单元，用于将所述标准化单元得到的标准化信息进行向量化，得到预处理信息。进一步地，所述当前场景信息采集模块包括：第一当前场景信息采集单元，用于使用无人机自带的第一场景获取传感器采集室内的第一当前场景信息；第二当前场景信息采集单元，用于使用无人机挂载的第二场景获取传感器采集室内的第二当前场景信息。本专利技术第三方面提供一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述中的任意一项所述方法。本专利技术第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述中的任意一项所述方法。本专利技术提供一种三维场景的复现方法、系统电子装置及存储介质，有益效果在于：在将无人机采集的当前场景信息进行预处理而得到预处理信息后，能够通过序列生成模型，来定位无人机在三维空间中的位置，从而生成当前指令序列，使得客户端能够根据指令序列对无人机发送控制指令，从而使得无人机能够基于当前位置采集室内的二维场景信息，而在客户端则可以根据二维场景信息实现对三维空间中的场景的重构及复现，从而能够给予学习者真实的场景体验及良好的学习体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例三维场景的复现方法的流程示意框图；图2为本专利技术实施例三维场景的复现系统的结构示意框图；图3为本专利技术实施例电子装置的结构示意框图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进本文档来自技高网...

【技术保护点】
1.一种三维场景的复现方法，其特征在于，包括：控制无人机采集室内的当前场景信息，所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据；将所述当前场景信息进行预处理，得到预处理信息；将所述预处理信息输入预先生成的序列生成模型，生成当前指令序列，并将所述当前指令序列发送至客户端；客户端在接收到所述当前指令序列后，根据所述当前指令序列使用客户端对无人机发送控制指令；无人机接收到所述控制指令后，根据所述控制指令使用无人机采集室内的二维场景信息，并将所述二维场景信息发送至客户端；在客户端根据所述二维场景信息对三维空间中的场景进行重构及复现。

【技术特征摘要】
1.一种三维场景的复现方法，其特征在于，包括：控制无人机采集室内的当前场景信息，所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据；将所述当前场景信息进行预处理，得到预处理信息；将所述预处理信息输入预先生成的序列生成模型，生成当前指令序列，并将所述当前指令序列发送至客户端；客户端在接收到所述当前指令序列后，根据所述当前指令序列使用客户端对无人机发送控制指令；无人机接收到所述控制指令后，根据所述控制指令使用无人机采集室内的二维场景信息，并将所述二维场景信息发送至客户端；在客户端根据所述二维场景信息对三维空间中的场景进行重构及复现。2.根据权利要求1所述的三维场景的复现方法，其特征在于，所述序列生成模型的生成方法包括：预先控制并使用无人机采集室内的场景信息，得到历史场景信息，所述历史场景信息为无人机上的传感器在过去时间点采集的传感器数据，并记录无人机在此时被控制所接收的样本指令序列；将所述历史场景信息进行预处理，并使用预处理的历史场景信息训练卷积神经网络，其中，所述预处理包括标准化及向量化；将所述样本指令序列进行向量化，并使用向量化的样本指令序列训练第一循环神经网络；使用第二循环神经网络将所述卷积神经网络及所述第一循环神经网络结合，以使在所述历史场景信息与所述样本指令序列相匹配后，得到序列生成模型，所述序列生成模型用于在接收到所述当前场景信息后，将当前场景信息与历史场景信息相匹配，并将与历史场景信息相匹配的样本指令序列作为所述当前场景信息相匹配的当前指令序列。3.根据权利要求1所述的三维场景的复现方法，其特征在于，所述将所述场景信息进行预处理，得到预处理信息包括：将所述场景信息进行标准化，得到标准化信息；将所述标准化信息进行向量化，得到预处理信息。4.根据权利要求1所述的三维场景的复现方法，其特征在于，所述控制并使用无人机采集室内的当前场景信息包括：使用无人机自带的第一场景获取传感器采集室内的第一当前场景信息；使用无人机挂载的第二场景获取传感器采集室内的第二当前场景信息。5.一种三维场景的复现系统，其特征在于，包括：当前场景信息采集模块，用于控制无人机采集室内的当前场景信息，所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据；预处理模块，用于对所述当前场景信息采集模块采集的当前场景信息进行预处理，得到预处理信息；指令序列生成模块，用于将所述预处理模块得到的预处理信息传输至序列生成模块，并将指令序列生成模块根据预处理信息生成的指令序列发送至...

【专利技术属性】
技术研发人员：蒙山，严方林，
申请(专利权)人：深圳市易恬技术有限公司，
类型：发明
国别省市：广东,44