TOF相机仿真系统的运行系统、方法、设备及存储介质技术方案

本发明专利技术涉及数据仿真技术，揭露了一种TOF相机仿真系统，包括瞬态渲染模块、TOF成像仿真模块及TOF深度计算模块，其中：瞬态渲染模块，用于获取的场景文件、相机位姿和相机参数，并根据获取的数据生成瞬态照度图；TOF成像仿真模块，用于利用瞬态照度图的时间信息及预设调制信号函数得到接收调制信号，并对接收调制信号进行计算得到原始相位图；TOF深度计算模块，用于解析原始相位图得到仿真真实数据，其中，仿真真实数据包括仿真深度真实值、仿真真实点云、仿真真实距离的至少一种。本发明专利技术可以提高数据仿真的效率。数据仿真的效率。数据仿真的效率。

【技术实现步骤摘要】
TOF相机仿真系统的运行系统、方法、设备及存储介质


[0001]本专利技术涉及数据仿真
，尤其涉及一种TOF相机仿真系统的运行系统、方法、电子设备及存储介质。

技术介绍

[0002]三维重建，机器人导航，体感游戏等领域为了实现对画面场景距离或深度数据的精确测量，往往需要搭建复杂的深度学习网络，但深度学习的方法需要大量的数据来进行训练，目前获取数据主要是通过仿真系统生成数据，例如，使用blender等3D建模软件进行场景渲染，再根据真实的飞行时间相机参数仿真对应的数据。
[0003]但blender等3D建模软件的流程比较复杂，仿真效率低，且一般的仿真系统通常是通过光信号的叠加渲染来进行仿真，导致计算成像时计算资源的占用量极大，且系统一体化，无法对系统功能进行解耦，每次修改渲染参数都需重新渲染，进而导致数据仿真的效率较低。

技术实现思路

[0004]本专利技术提供一种TOF相机仿真系统的运行系统、方法及计算机可读存储介质，其主要目的在于解决数据仿真效率较低的问题。
[0005]为实现上述目的，本专利技术提供的一种TOF相机仿真系统，系统包括瞬态渲染模块、TOF成像仿真模块及TOF深度计算模块，其中：瞬态渲染模块，用于获取的场景文件、相机位姿和相机参数，并根据获取的数据生成瞬态照度图；TOF成像仿真模块，用于利用瞬态照度图的时间信息及预设调制信号函数得到接收调制信号，并对接收调制信号进行计算得到原始相位图；TOF深度计算模块，用于解析原始相位图得到仿真真实数据，其中，仿真真实数据包括仿真深度真实值、仿真真实点云、仿真真实距离的至少一种。
[0006]为了解决上述问题，本专利技术还提供一种TOF相机仿真系统的运行方法，方法包括：获取场景文件、相机位姿和相机参数，并根据获取的数据生成瞬态照度图；利用瞬态照度图的时间信息及预设调制信号函数得到接收调制信号，并对接收调制信号进行计算得到原始相位图；解析原始相位图得到仿真真实数据，其中，仿真真实数据包括仿真深度真实值、仿真真实点云、仿真真实距离的至少一种。
[0007]为了解决上述问题，本专利技术还提供一种TOF深度相机，包括发射端、接收端及处理器，其中：发射端，用于向被测量场景发射调制信号；接收端，用于采集经被测量场景反射回的调制信号并生成原始相位图传输至处理器；处理器，搭载已训练的神经网络模型，用于通过已训练的神经网络模型对原始相位图进行处理得到被测量场景的深度图像；其中，已训练的神经网络模型的训练数据包括上述的TOF仿真系统得到的对应的原始相位图和仿真深度图真值。
[0008]为了解决上述问题，本专利技术还提供一种电子设备，电子设备包括：处理器，用于搭载上述TOF相机仿真系统以实现仿真数据的获取；存储器，存储有可被所述处理器执行的计
算机程序，计算机程序被处理器执行时执行如前述的应用于TOF相机仿真系统的仿真方法。
[0009]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，至少一个计算机程序被电子设备中的处理器执行以实现上述应用于TOF相机仿真系统的仿真方法。
[0010]与现有技术相比，本专利技术实施例通过瞬态渲染的方式生成瞬态照度图，避免了对场景文件、相机位姿和相机参数进行光线叠加的渲染，从而提升了渲染仿真的效率；同时，将仿真系统拆分为多个功能模块，在不同功能模块内的参数需要修改时，无需对数据进行重新渲染，仅需从被修改参数的功能模块处开始渲染即可，进一步提升了渲染的效率。
附图说明
[0011]图1为本专利技术一实施例提供的TOF相机仿真系统的运行系统的系统架构图；
[0012]图2(a)至2(c)为为本专利技术其中一个实施例提供的墙角场景的三张不同时刻的瞬态照度图；
[0013]图3为本专利技术一实施例提供的距离转深度的原理示意图；
[0014]图4为本专利技术一实施例提供的应用于TOF相机仿真系统的仿真方法的流程示意图；
[0015]图5为本专利技术一实施例提供的一种TOF深度相机的结构示意图；
[0016]图6为本专利技术一实施例提供的实现TOF相机仿真系统的仿真方法的电子设备的结构示意图。
[0017]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0018]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0019]本申请实施例提供一种TOF相机仿真系统，该系统可搭载的主体包括但不限于服务端、终端等电子设备上以实现TOF相机的仿真数据获取。换言之，TOF相机仿真系统可以由搭载在终端设备或服务端设备的软件或硬件上，此处不作限制。
[0020]TOF相机主要包括发射端、接收端及处理器，其中，发射端，用于向被测量场景发射调制信号；接收端，用于采集经被测量场景反射回的调制信号并生成原始相位图传输至处理器，原始相位图为接收端采集反射回的调制信号得到的原始数据，也即rawphase图；处理器对原始相位图进行解算得到被测量场景的深度图。但由于TOF相机普遍存在多路径效应、镜头内散射等系统误差，传统解算方法难以消除或降低系统误差，而现有的解决路径是通过深度学习的方法。深度学习方法需要大量的数据来进行训练，目前获取数据主要有两种方法：搭建复杂的真实数据采集系统或通过仿真系统生成数据；其中，真实数据采集系统搭建比较复杂，采集数据费时费力；而现有的仿真系统依赖blender等3D建模软件，流程比较复杂，仿真效率低。由此，本申请提供一种TOF相机仿真系统及仿真方法以解决上述问题。
[0021]图1为本专利技术一实施例提供的TOF相机仿真系统的系统架构图。在本实施例中，TOF相机仿真系统包括瞬态渲染模块101、TOF成像仿真模块102及TOF深度计算模块103，其中，瞬态渲染模块101，用于获取的场景文件、相机位姿和相机参数，并根据获取的数据生成瞬态照度图；TOF成像仿真模块102用于利用瞬态照度图的时间信息及预设调制信号函数得到接收调制信号，并对接收调制信号进行计算得到原始相位图；TOF深度计算模块103用于解
析原始相位图得到仿真真实数据，其中，仿真真实数据包括仿真深度真实值、仿真真实点云、仿真真实距离的至少一种。
[0022]在一些实施例中，瞬态渲染模块101包括输入解析器单元1011、瞬态渲染单元1012，其中：输入解析单元1011用于获取并解析场景文件、相机位姿和相机参数生成渲染视角图像；瞬态渲染单元1012用于利用路径追踪算法追踪渲染视角图像内光线的多路径反射，并同时进行瞬态渲染得到瞬态照度图。
[0023]在一个实施例中，输入解析器单元1011获取的场景文件包括场景三维模型、材质、贴图及光源等数据；相机位姿是指相机运动时相机当前的位姿。优选地，本专利技术实施例可使用预先构建的小孔相机模型的参数作为相机参数。在本专利技术其他实施例中，可也使用预先构建的透镜组模型的参数作为相机参数。
[0024]在一个实施例中，瞬态渲染单元1012可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种TOF相机仿真系统，其特征在于，所述系统包括瞬态渲染模块、TOF成像仿真模块及TOF深度计算模块，其中：所述瞬态渲染模块，用于获取的场景文件、相机位姿和相机参数并生成渲染视角图像，对所述渲染视角图像进行瞬态渲染生成瞬态照度图；所述TOF成像仿真模块，用于利用所述瞬态照度图的时间信息及预设调制信号函数得到接收调制信号，并对所述接收调制信号进行计算得到原始相位图；所述TOF深度计算模块，用于解析所述原始相位图得到仿真真实数据，其中，所述仿真真实数据包括仿真深度真实值、仿真真实点云、仿真真实距离的至少一种。2.如权利要求1所述的TOF相机仿真系统，其特征在于，所述瞬态渲染模块包括输入解析器单元及瞬态渲染单元，其中：所述输入解析单元，用于解析所述场景文件、相机位姿和相机参数生成渲染视角图像；所述瞬态渲染单元，用于利用路径追踪算法追踪所述渲染视角图像内光线的多路径反射，并同时进行瞬态渲染得到所述瞬态照度图。3.如权利要求2所述的TOF相机仿真系统，其特征在于，所述瞬态渲染单元利用路径追踪算法追踪所述渲染视角图像内光线的多路径反射，并同时进行瞬态渲染得到得到瞬态照度图，包括：基于所述渲染视角图像内光线多路径反射的传播距离获取渲染视角图像内不同光路的光程，并根据所述不同光路的光程计算时间信息，其中，所述时间信息表征所述TOF相机中发射端发射的光线到达接收端的时间；利用预先设置的时间窗口总长度计算距离截断，所述距离截断表征停止追踪光线，所述时间窗口总长度由时间窗口的数目决定，每个所述时间窗口用于记录所述时间信息；根据所述时间信息及所述距离截断对所述渲染视角图像进行瞬态渲染，并同时连续曝光得到所述时间窗口总长度内的连续曝光图像序列，确定所述连续曝光图像序列对应为多帧瞬态照度图，其中，一个所述时间窗口记录一帧瞬态照度图的时间信息。4.如权利要求2所述的TOF相机仿真系统，其特征在于，所述瞬态渲染模块还包括真值渲染单元，用于识别渲染视角图像的距离图真值，并基于所述距离图真值计算点云真值和/或深度图真值。5.如权利要求1所述的TOF相机仿真系统，其特征在于，所述TOF成像仿真模块包括信号调制单元、原始相位图生成单元，其中，所述信号调制单元，用于根据每张瞬态照度图的时间信息和预设的调制信号函数生成每张所述瞬态照度图的接收调制信号；所述原始相位图生成单元，用于对所述接收调制信号与预设的发射参考信号进行积分完成相位差...

【专利技术属性】
技术研发人员：林跃宇，郭宇隆，徐玉华，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：